spark-optimization

SUMMARY

它能做什么

该Agent技能提供了优化Apache Spark作业的生产模式，涵盖分区策略、内存管理、shuffle优化和性能调优。源文档包括启用自适应查询执行（AQE）、使用Parquet/Delta等列式格式、广播小表、监控Spark UI以及合理设置分区大小的指导。还列出了应避免的常见陷阱，如将大数据收集到驱动程序、不必要的UDF、过度缓存、忽略数据倾斜以及使用count()检查存在性。该技能适用于提升Spark性能、调试慢作业或扩展数据处理管道。