零基础学编程需要什么基础？英语不好可以学吗 2022-09-06
零基础学编程需要什么基础？英语不好可以学吗？零基础学习编程需要具备扎实的计算机基础常识，较强的逻辑思维、计算机操作系统体系结构、计算...详情>
爬虫分类有哪些？ 2022-09-05
通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索...详情>
2022年it行业的就业方向及前景分析 2022-09-05
在2022年it主流就业方向包括前端开发、数据库管理、大数据开发、后台开发、嵌入式开发、AI智能和UI设计这七大方向，每个方向所需要的技能都会...详情>
SparkStreaming消费速度赶不上生产速度怎么办？ 2022-09-02
在默认情况下，Spark Streaming 通过receiver或者Direct方式以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的...详情>
SparkStreaming一个批次有多久？一个批次有多少条数据？ 2022-09-02
关于批次间隔需要结合业务来确定的，如果实时性要求高，批次间隔需要调小。 每个批次的数据量是和每天产生的数据量有直接关系，在计算的时候需...详情>
批次累加 2022-09-02
UpdataStateBykey updataStateBykey是特殊的reduceByKey， 相当于oldValue+reduceByKey(newValue1,newValue2)，通过传入一个updateFunc来实现...详情>
解决数据积压（重点） 2022-09-02
批处理时间<<批间隔时间：流量太小，集群闲置，浪费资源，批处理时间>>批间隔时间：流量太大，集群繁忙，数据积压导致系统崩溃#####通过设置sp...详情>
SparkStreaming整合Kafka（重点） 2022-09-02
receiver方式 sparkStream启动一个单独的线程receiver定时使用kafka高阶API向kafka拉取数据，并自动地更新zk的offsets。优点：用户专注于业务...详情>
DStream 2022-09-02
DStream是Spark Streaming的基础抽象，代表持续的数据流，它由一系列连续的RDD组成，一个批次间隔接收的数据只会存放在一个block中，因此每个...详情>
SparkSQL的时间类型？ 2022-09-02
SparkSQL的时间类型？SparkSQL的所有类型都在org.apache.spark.sql.types._的包下面，这个里面我们可以引入对应的schema类型，包括事件的Date...详情>
京公网安备 11010802030320号