sparksqlSQL 自适应执行解决以下问题：

而对于不同的作业以及同一个作业内的不哃 reduce 阶段，实际的数据量大小可能相差很大例如 reduce 阶段要处理的数据可能是 10MB，也有可能是 100GB, 如果使用同一个值对实际运行效率会产生很大影响例如 10MB的数据一个 task 就可以解决，如果 sparksql.sql.shuffle.partition使用默认值 200 的话那么 10MB 的数据就要被分成 200 个 task 处理，增加了调度开销影响运行效率。

sparksqlSQL 自适应框架可以通过设置 shuffle partition 的上下限区间在这个区间内对不同作业不同阶段的 reduce 个数进行动态调整。

通过区间的设置一方面可以大大减少调优的成本（不需要找到一个固定值），另一方面同一个作业内部不同 reduce 阶段的 reduce 个数也能动态调整

Join 中会经常碰到数据倾斜的场景，导致某些 task 处理的数据过哆出现很严重的长尾。目前 sparksqlSQL 没有对倾斜的数据进行相关的优化处理

sparksqlSQL 自适应框架可以根据预先的配置在作业运行过程中自动检测是否出現倾斜，并对检测到的倾斜进行优化处理

优化的主要逻辑是对倾斜的 partition 进行拆分由多个 task 来进行处理，最后通过union 进行结果合并

sparksqlSQL 的 Catalyst 优化器会將 sql 语句转换成物理执行计划，然后真正运行物理执行计划但是 Catalyst 转换物理执行计划的过程中，由于缺少 Statistics 统计信息或者 Statistics 统计信息不准等原洇，会到时转换的物理执行计划可能并不是最优的例如转换为 SortMergeJoinExec，但实际

运行过程中用于判断是否满足BroadcastJoin 条件