课程介绍:
教程基于最新的Spark 3.0版本,拆解了Spark 3.0的最新特性:AQE(自适应查询执行)、DPP(动态分区裁剪)、Hint增强,新增了谓词下推、列剪裁、常量替换、基于CBO的优化等Spark SQL优化手段。教程内容涉及面广、系统性强,将常用的Spark优化手段综合分类,提供了多种解决方案,在讲解常见问题的前提下,更注重培养解决问题的通用思路,让学习者可以触类旁通举一反三。
课程截图:
〖课程目录〗:
- | └──8、大数据技术之Spark3.x性能优化
- | | ├──视频
- | | | ├──01-课程简介【 www.ko996.com】.mp4 16.70M
- | | | ├──02_执行计划_准备测试数据和表【 www.ko996.com】.mp4 19.46M
- | | | ├──03_执行计划_执行流程&案例实操解读【 www.ko996.com】.mp4 150.13M
- | | | ├──04-资源规划-资源设定上限估算【 www.ko996.com】.mp4 21.24M
- | | | ├──05-资源规划-精确内存估算【 www.ko996.com】.mp4 28.01M
- | | | ├──06-资源规划-精确调整内存各比例【 www.ko996.com】.mp4 15.72M
- | | | ├──07-缓存调优-RDD-进行cache【 www.ko996.com】.mp4 39.32M
- | | | ├──08-缓存调优-RDD-cache结合kryo序列化【 www.ko996.com】.mp4 21.24M
- | | | ├──09-缓存调优-DS-cache和序列化【 www.ko996.com】.mp4 45.65M
- | | | ├──10-CPU调优-合理利用CPU资源【 www.ko996.com】.mp4 86.32M
- | | | ├──11-语法优化-RBO-inner join的谓词下推【 www.ko996.com】.mp4 70.46M
- | | | ├──12-语法优化-RBO-外关联的谓词下推【 www.ko996.com】.mp4 67.87M
- | | | ├──13-语法优化-RBO-列裁剪&常量替换【 www.ko996.com】.mp4 21.49M
- | | | ├──14-语法优化-CBO-Statics统计&CBO使用效果【 www.ko996.com】.mp4 124.05M
- | | | ├──15-语法优化-广播Join【 www.ko996.com】.mp4 89.08M
- | | | ├──16-语法优化-Join-SMB Join原理【 www.ko996.com】.mp4 21.10M
- | | | ├──17-语法优化-Join-SMB Join效果演示【 www.ko996.com】.mp4 47.41M
- | | | ├──18-数据倾斜-现象&原因&抽样定位大key【 www.ko996.com】.mp4 33.99M
- | | | ├──19-数据倾斜-单表数据倾斜处理【 www.ko996.com】.mp4 58.08M
- | | | ├──20-数据倾斜-Join-使用广播Join【 www.ko996.com】.mp4 42.45M
- | | | ├──21-数据倾斜-Join-拆分key 打散大表 扩容小表【 www.ko996.com】.mp4 87.33M
- | | | ├──22-Map端优化-使用Map端预聚合【 www.ko996.com】.mp4 6.00M
- | | | ├──23-Map端优化-读取小文件优化【 www.ko996.com】.mp4 142.67M
- | | | ├──24-Map端优化-调大ShuffleWrite溢写时的输出流缓冲&源码分析【 www.ko996.com】.mp4 107.28M
- | | | ├──25-Reduce端优化-输出产生小文件优化-调整并行度&缩小分区【 www.ko996.com】.mp4 32.14M
- | | | ├──26-Reduce端优化-动态分区插入小文件优化【 www.ko996.com】.mp4 38.08M
- | | | ├──27-Reduce端优化-提高Reduce端缓冲区&重试次数&重试等待间隔【 www.ko996.com】.mp4 74.27M
- | | | ├──28-Reduce端优化-合理使用bypass【 www.ko996.com】.mp4 42.01M
- | | | ├──29-Job优化-调节数据本地化等待时间【 www.ko996.com】.mp4 99.06M
- | | | ├──30-Job优化-堆外内存的版本区别【 www.ko996.com】.mp4 43.81M
- | | | ├──31-Job优化-使用堆外缓存【 www.ko996.com】.mp4 40.56M
- | | | ├──32-Job优化-调整连接等待时长【 www.ko996.com】.mp4 45.39M
- | | | ├──33-Spark3.0-AQE-动态合并分区&动态申请资源【 www.ko996.com】.mp4 102.12M
- | | | ├──34-Spark3.0-AQE-动态切换Join策略【 www.ko996.com】.mp4 43.37M
- | | | ├──35-Spark3.0-AQE-自动优化join倾斜【 www.ko996.com】.mp4 87.61M
- | | | ├──36-Spark3.0-DPP-动态分区裁剪【 www.ko996.com】.mp4 69.25M
- | | | ├──37-Spark3.0-Hint增强【 www.ko996.com】.mp4 25.36M
- | | | └──38-常见故障思路简析【 www.ko996.com】.mp4 47.06M
- | | ├──笔记.zip 2.70M
- | | ├──代码.zip 45.67kb
- | | └──资料.zip 262.00M
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。