写了一段非常简单的SQL。 数据量级一天大约5千万，拉取的30天的数据，按天 count(distinct)计算一系列指标。原本以为执行的效率会很快，结果发现运行了2h！所有探究其为什么运行慢，以及后续该如何规避这类问题。Spark使用的版本是3.x，SQL示例如下：
SELECT dt
, COUNT(DISTINCT a) as uv -- 用户数
, COUNT(DISTINCT b) as pay_uv_1d
, ... 类似诸如此类的count distinct 一共有30多个指标
FROM
(
SELECT *
FROM table
WHERE dt BETWEEN DATE_SUB('${dt}',29) AND '${dt}'
) tmp
GROUP BY dt
单个count distinct 和普通的shuffle类型，经历map端预聚合，然后shuffle到reduce端最终聚合的方式，就把最终的结果给统计出来了。
多个count distinct 执行原理:
但是多个 count distinct 的逻辑和普通的shuffle确有点不太一样，它会多了一个Expand节点，这个节点会将产生数据膨胀，有N个count distinct 数据就会膨胀N倍，最终这里导致的执行耗时非常之长。
例如有这样一条数据：
| dt | a | b |
| 2024-12-15 | aa | bb |
会膨胀成如下样子，再按照a 和 b为key 分别进行group by去重，然后再count，就最终实现了多个count distinct 计算了：
| dt | a | b |
| 2024-12-15 | aa | null |
| 2024-12-15 | null | a |
多个count distinct 优化:
了解了多个count distinct 原理之后，优化就大致有思路了。
1. 首先还是得简化SQL，看看能不能不通过count distinct处理 或者 提前过滤掉一些不必要的数据，尽量减少膨胀的数据量
2. 将多个count distinct 拆开分在多段SQL中写，防止膨胀不需要膨胀的数据。
3. 进行spark参数的优化，目前个人优化了如下几个参数：
spark.sql.files.maxPartitionBytes(读取数据单个task读取更少的数据，设置为16m 16777216，默认为128m)
spark.sql.shuffle.partitions 设置为1w，增大partition的数目，减少单个partiton处理的数据量
参考：
sparksql源码系列 | 一文搞懂with one count distinct 执行原理
再来说说sparksql中count(distinct)原理和优化手段吧~-腾讯云开发者社区-腾讯云
collect set函数 spark sql spark count distinct_mob6454cc716fb0的技术博客_51CTO博客
