Spark Structured Streaming 优势 2022-08-11
增量查询模型(Incremental query model)：Structured Streaming 将会在新增的流式数据上不断执行增量查询，同时代码的写法和批处理 API (基于 ...详情>
Spark读取MySQL大表超时问题 2022-08-11
场景为Spark读取一张MySQL表(innodb引擎)， 数据量8000万，无自增ID，业务中一个字段为(订单ID)主键。要将该表数据读取后写入到HDFS。详情>
Spark 数据倾斜调优10策（二） 2022-06-22
Spark通过 textFile(path, minPartitions) 方法读取文件时，使用 TextInputFormat。对于不可切分的文件，每个文件对应一个 Split 从而对应一个...详情>
凯哥 2022-01-14
原普科国际科技有限公司培训主管，曾任国内航运业高级研发经理。多年软件开发经验和教学经验，形成了一整套的成熟的教学体系。主持了金融信息...详情>
Mill 2022-01-14
原某软件、软通公司项目高级开发工程师，有5年以上研发经验，多年教学经验，拥有多年的离线和实时开发经验及项目实施经验，精通Spark、Hadoop...详情>
京公网安备 11010802030320号