不过，

一、groupByKey 是 TopN 的超级陷阱

使用者痛点：任务执行时间长、Executor OOM数据倾斜时瞬间崩溃。

// ❌ 新手常写的代码——也是 OOM 的根源
rdd.groupByKey // 全量数据按 Key 分组
.mapValues.take) // ⚠ 所有 Value 加载到内存！// 问题: 某个 Key 有万条记录 → Executor OOM

groupByKey 的根本问题：它不做 Map 端预聚合。直接把全部 KV 对原封不动地 Shuffle 到 Reducer，接下来一次性装进内存，导致数据倾斜时直接炸掉。

二、调整方法全景图

从“避免全量 Shuffle”到“在 Reduce 前做局部 TopN”。再到“利用 Spark SQL 窗口函数一次搞定”，下面提供三条成熟路线供你选择。

三、方案一：二次排序

自定义排序键

// 按 classId 升序，score 降序
case class SecondarySortKey extends Ordered {
override def compare: Int = {
val cmp1 = this.classId.compareTo
if cmp1 else -this.score.compareTo // score 降序
}
}
// 构造 KV 并通过 sortByKey 完成全局有序
val sortedRDD = rdd.map { case =>
)
}.sortByKey

逐组处理

// 利用 sortByKey 后的有序性。在 mapPartitions 内逐组输出 TopN
val topNPerClass = sortedRDD.mapPartitions { iter =>
var currentClass = ""
val buffer = scala.collection.mutable.ListBuffer
iter.flatMap {
case ) =>
if {
// 切换分组前输出上一组的结果
val result = buffer.toList.take // 假设取前 10
currentClass = key.classId
buffer.clear
buffer += )
if result.iterator else Iterator.empty
} else {
buffer += )
Iterator.empty
}
} ++ {
// 最终一组的收尾工作
if buffer.toList.take.iterator else Iterator.empty
}
}

四、方案二：分组 TopN

❌ 反模式：groupByKey + 本地排序

rdd.groupByKey
.mapValues.take) // 每个 Key 的全部 Value 都会进入单节点内存 → OOM

⚠ 中等方案：reduceByKey + 局部 TopN

// Map 端先做局部合并，显著降低 Shuffle 数据量
val topNViaReduce = rdd.map { case => ) }
.reduceByKey { =>
.sortBy.take
}
.flatMapValues

✅ 推荐方法：Spark SQL 窗口函数

使用窗口函数一次完成分区排序与 TopN 提取，代码简洁且执行计划高度调整。

-- 每个班级取成绩前 N 名
SELECT class,name,score
FROM (
SELECT *,row_number OVER AS rn
FROM students
) t
WHERE rn <= 10;

// DataFrame API 实现一样逻辑
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._
val windowSpec = Window.partitionBy.orderBy.desc)
val topNDF = df.withColumn.over)
.where <= lit)
               .drop

五、groupByKey vs reduceByKey 本质区别对比表

" td colspan=2 align=center>如果业务可以表达为可结合的聚合，则优先使用 reduce/combiner；否则考虑窗口函数或自定义 UDAF。

Oops need proper closing tags. Let's correct table rows.

维度	groupByKey	reduceByKey / combineByKey
MapSideCombine	No ❌	Yes ✅
Shuffle 数据量	全部 KV 对原样发送	Map 阶段已合并。Shuffle 大幅削减
内存压力	高	低	适用场景

---