目录

Hadoop

• Hadoop介绍

• HDFS架构

• Yarn架构

• MapReduce过程

• Yarn调度MapReduce过程

• HDFS写流程

• HDFS读流程

• HDFS创建一个文件的流程

• Hadoop1.x和Hadoop2.x的区别

• Hadoop1.x的缺点

• HadoopHA介绍

• Hadoop的常用配置文件有哪些

• 小文件过多的危害和避免方法

• 启动Hadoop集群会分别启动的进程和各自的作用

Hive

• Hive内部表和外部表的区别

• Hive四种排序方式的区别

• Hive的metastore的三种模式

• Hive中join都有哪些

• Impala和Hive的查询有哪些区别

• Hive中大表JOIN小表的优化方法

• HiveSQL解析成MRJOB的过程

• HiveUDF简单介绍

• HiveSQL按照学生科目取每个科目的TopN

HBase

• HBase的架构

• HBase如何设计RowKey

• HBase的存储结构及优缺点

• HBase的HA实现及Zookeeper在其中的作用

• HMaster宕机的时候哪些操作还能正常工作

• HBase写数据的流程

• HBase读数据的流程

Spark

• Spark的运行架构

• Spark程序的执行流程

• Spark的shuffle介绍

• Spark的partitioner都有哪些

• Spark有哪几种join

• RDD有哪些特点

• 宽依赖和窄依赖

• Spark中的算子都有哪些

• RDD的缓存级别都有哪些

• RDD懒加载是什么意思

• Spark的几种部署方式

• SparkOnYarn模式下的Cluster模式和Client模式区别

• Spark运行原理,从提交一个jar到最后返回结果,整个过程

• Spark的stage是如何划分的

• Spark2.0为什么放弃了akka而用netty

• Spark的各种HA,master、worker、executor的HA

• Spark的内存管理机制

• Spark中的广播变量

• 什么是数据倾斜,怎样去处理数据倾斜

• Spark代码中哪些部分在Driver端执行,哪些部分在Worker端执行

Flink

• Flink的运行架构

• Flink的作业执行流程

• Flink具体是如何实现exactly-once语义

• Flink的window实现机制

• Flink的window分类

• Flink的state是存储在哪里的

• Flink是如何实现反压的

• Flink的部署模式都有哪些

• Flink-on-yarn的部署

• Flink中的时间概念，eventTime和processTime的区别

• Flink中的sessionWindow怎样使用

Kafka

• Kafka的架构

• Kafka与其他消息组件对比

• Kafka实现高吞吐的原理

• Kafka怎样保证不重复消费

• Kafka怎样保证不丢失消息

• Kafka与sparkStreaming集成,如何保证exactly-once语义

• Ack有哪几种,生产中怎样选择

• 如何通过offset寻找数据

• 如何清理过期数据

• 1条message中包含哪些信息

• Zookeeper在Kafka中的作用

• Kafka可以脱离zookeeper单独使用吗

• Kafka有几种数据保留策略

• Kafka同时设置了7天和10G清除数据,到第5天的时候消息到达了10G,这个时候kafka如何处理?

Zookeeper

• Zookeeper是什么,有什么功能

• ZK的几种部署模式

• ZK是怎样保证主从节点的状态同步

• ZK的通知机制

• ZK的分布式锁实现方式

• ZK采用的哪种分布式一致性协议还有哪些分布式一致性协议

• leader选举过程

Interview

• 面试题

• 2019大数据面试题

• BigDataGuide

工具

Git

• Git入门

Docker

• Docker 入门
• 一文搞懂 Docker 镜像的常用操作！

资料

书单

• 大数据程序员必备书单

Github榜单

• 大数据项目月榜单

---

说明

介绍

• 对于 大数据 初学者来说： 本文档倾向于给你提供一个比较详细的学习路径，让你对于Java整体的知识体系有一个初步认识。另外，本文的一些文章 也是你学习和复习 大数据 知识不错的实践；
• 对于非 大数据 初学者来说： 本文档更适合回顾知识，准备面试，搞清面试应该把重心放在那些问题上。要搞清楚这个道理：提前知道那些面试常见，不是为了背下来应付面试，而是为了让你可以更有针对的学习重点。

Markdown 格式参考：Github Markdown格式，表情素材来自：EMOJI CHEAT SHEET。

利用 docsify 生成文档部署在 Github pages: docsify 官网介绍

关于转载

如果你需要转载本仓库的一些文章到自己的博客的话，记得注明原文地址就可以了。

如何对该开源文档进行贡献

1. 笔记内容大多是手敲，所以难免会有笔误，你可以帮我找错别字。
2. 很多知识点我可能没有涉及到，所以你可以对其他知识点进行补充。
3. 现有的知识点难免存在不完善或者错误，所以你可以对已有知识点的修改/补充。

为什么要做这个开源文档？

初始想法源于自己的个人那一段比较迷茫的学习经历。主要目的是为了通过这个开源平台来帮助一些在学习大数据知识或者面试过程中遇到问题的小伙伴。

Contributor

下面是笔主收集的一些对本仓库提过有价值的pr或者issue的朋友，人数较多，如果你也对本仓库提过不错的pr或者issue的话，你可以加我的微信与我联系。下面的排名不分先后！