MySQL去重操作在数据清洗、报表生成等场景中非常常见，但随着数据量增长，DISTINCT 或 GROUP BY 可能导致查询变慢。优化去重性能不能只依赖SQL写法，需结合索引、表结构和执行计划综合调整。以下是几个实用技巧，帮助提升去重效率。
合理使用索引加速去重
去重操作通常涉及字段扫描和排序，如果有索引支持，可大幅减少IO和排序开销。
对用于去重的字段（如 SELECT DISTINCT col1, col2）建立联合索引，确保索引顺序与查询一致 覆盖索引能避免回表，例如索引包含所有查询字段时，MySQL可直接从索引取数据 避免在高基数字段上盲目建索引，索引维护本身也有成本 示例：为(user_id, status)建立联合索引，可加速
SELECT DISTINCT user_id, status FROM orders
避免全表扫描，缩小数据范围
去重前先过滤无效或无关数据，能显著减少参与去重的数据量。
在 WHERE 条件中尽早筛选出必要数据，比如按时间范围、状态等过滤 分区表可利用分区剪枝，只扫描目标分区 如果业务允许，考虑用增量方式处理，而非每次全量去重 例如：SELECT DISTINCT user_id FROM log_table WHERE create_time > '2024-01-01'比全表查询快得多
选择合适的去重方式
DISTINCT 和 GROUP BY 底层实现不同，性能表现也有所差异。
DISTINCT 自动去重，语法简洁，适合简单场景 GROUP BY 更灵活，支持聚合函数，有时执行计划更优 可通过 EXPLAIN 对比两种写法的执行计划，选择 cost 更低的方式 临时禁用 SQL_MODE 中的 ONLY_FULL_GROUP_BY，避免不必要的兼容性限制控制结果集大小，避免内存溢出
大数据量去重可能引发临时表磁盘写入或排序内存不足。
设置合理的 sort_buffer_size 和 tmp_table_size 参数 监控是否出现 Using temporary; Using filesort，这通常意味着性能瓶颈 考虑分页查询或异步导出，避免一次性返回过多数据基本上就这些。关键是在理解执行计划的基础上，结合索引设计和查询条件优化，把去重的数据量压下来。不复杂但容易忽略。
