有不少想要学习大数据技术的同学对大数据技术学什么课程感到迷茫。今天小千就以千锋教育大数据培训课程为例,为大家详细介绍大数据技术课程大纲。大纲内容涉及linux操作基础、shell编程、内存数据库redis、布式协调服务zookeeper、java高级特性增强、轻量级RPC框架开发、hadoop快速入门、HDFS增强、MAPREDUCE、federation介绍和hive使用等内容,具体介绍如下:
第一阶段离线数仓(7周)
掌握能力
掌握企业级基建环境部署、Hive和Spark数据开发、数据仓库搭建、数据抽取、数据清洗、数据转换、数据加载、数据应用和京东离线ETL。
胜任职位
离线数据工程师、数据仓库工程师、ETL工程师、数据采集工程师、数据支持工程师、BI商业分析师、数据可视化工程师、Hadoop工程师、Spark工程师
技术点
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、数仓架构、维度建模、SuperSet、Azkaban、Airflow等。掌握企业级基建环境部署、Hive和Spark数据开发、数据仓库搭建、数据抽取、数据清洗、数据转换、数据加载、数据应用和京东离线ETL。
项目
数据服务、大数据可视化、企业级Hadoop基建项目部署、分布式网络爬虫、基于Spark的大数据分析项目、ETL项目之Hive和SparkSQL、BI商业分析等。
第二阶段实时仓库(5周)
掌握能力
掌握流数据接入、基于Flink实时数据开发、流批一体数据仓库开发、数据湖开发、实时ETL、实时监控系统和京东实时数据开发
胜任职位
实时工程师、Flink工程师、实时数据仓库工程师、实时ETL工程师、Spark工程师
技术点
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis
项目
实时监控系统、基于Flink的实时数据开发、实时数据湖、大数据搜索系统
第三阶段实践项目(4周)
掌握能力
掌握企业项目开发流程、用户画像开发、企业级推荐系统开发、数据治理、基于生产环境项目部署和京东项目性能调优
胜任职位
数据服务工程师、离线数据仓库开发工程师、BI商业分析师、实时数据仓库工程师、实时监控系统工程师、ETL工程师、数据可视化工程师、数据治理工程师、高级数据开发工程师、推荐工程、数据平台工程师、数据架构师
技术点
数据采集与监控平台、准实时数据仓库、用户画像、推荐系统、基于Flink的实时数据仓库、元数据管理与数据治理。
以上是对大数据技术学什么课程相关问题的解答,想要获取完整学习大纲的同学可以点击在线名师免费获取。千锋好程序员大数据+数据智能,与京东物流大厂合作共建大数据技术领域的实战型前瞻深度课程,对大厂热门技术及项目进行系统、深度的研发和建设,形成独特的教研壁垒,感兴趣的同学可以来千锋教育免费试听!