大数据技术学什么课程

　　学习大数据是比较复杂的，涉及到很多技术层面的知识。大数据技术学什么课程总体来说可以分为三大阶段：离线数仓阶段、实时仓库阶段和实践项目阶段。每一个阶段需要掌握的能力、技术点以及胜任的职位将在下文中为大家详细阐述。

大数据技术学什么课程

　　第一阶段：离线数仓(7周)

　　1.掌握能力

　　掌握企业级基建环境部署、Hive和Spark数据开发、数据仓库搭建、数据抽取、数据清洗、数据转换、数据加载、数据应用和京东离线ETL。

　　2.技术点

　　Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、数仓架构、维度建模、SuperSet、Azkaban、Airflow等。掌握企业级基建环境部署、Hive和Spark数据开发、数据仓库搭建、数据抽取、数据清洗、数据转换、数据加载、数据应用和京东离线ETL。

　　3.胜任职位

　　离线数据工程师、数据仓库工程师、ETL工程师、数据采集工程师、数据支持工程师、BI商业分析师、数据可视化工程师、Hadoop工程师、Spark工程师。

　　第二阶段：实时仓库(5周)

　　1.掌握能力

　　掌握流数据接入、基于Flink实时数据开发、流批一体数据仓库开发、数据湖开发、实时ETL、实时监控系统和京东实时数据开发。

　　2.技术点

　　Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis。

　　3.胜任职位

　　实时工程师、Flink工程师、实时数据仓库工程师、实时ETL工程师、Spark工程师。

　　第三阶段：实时仓库(4周)

　　1.掌握能力

　　掌握企业项目开发流程、用户画像开发、企业级推荐系统开发、数据治理、基于生产环境项目部署和京东项目性能调优。