要说大数据基础学什么,内容就多了,但其实很多内容都是其他方向的技术,在大数据的实际工作中运用的并不多,我们只需要作为了解就可以了,否则会浪费大量时间顾此失彼、得不偿失。下面来详细介绍:
大数据基础学习内容:
离线数仓:
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、数仓架构、维度建模、SuperSet、Azkaban、Airflow等。掌握企业级基建环境部署、Hive和Spark数据开发、数据仓库搭建、数据抽取、数据清洗、数据转换、数据加载、数据应用
实时仓库:
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis
Linux:
因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
以上是大数据所需要掌握的技术点,最终的实践项目还需要掌握数据采集与监控平台、准实时数据仓库、用户画像、推荐系统、基于Flink的实时数据仓库、元数据管理与数据治理。以上暂且作为了解即可。
上述是大数据基础所要了解的全部内容,但学习大数据,其实只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下。Hibernate或Mybites也能连接数据库,不是说学这些不好,而是说学这些可能会用掉很多时间,到最后实际工作中用到的比例也很少。
大数据基础学什么?虽然看起来内容很多,但有一些只是需要我们了解即可,如果选择一家靠谱的培训机构,一步一步跟着老师的节奏学习,多问多思考,学成大数据也是不难的。如果你对大数据培训有兴趣,欢迎随时咨询千锋教育!