浏览知识库目录

MySQL

聚合、窗口函数与分析查询

使用 GROUP BY、HAVING、条件聚合与窗口函数构建粒度明确、可复核的 StudyStore 分析查询,并在可重复的 StudyStore 实验中验证结果、失败边界与恢复方式。

聚合、窗口函数与分析查询

分析查询最常见的错误是混淆行粒度。GROUP BY 会把多行压成一行,窗口函数保留明细并在窗口上计算。开始写 SQL 前,先用一句话定义“结果每行代表什么”,再选择聚合层次。


一、学习目标

  • 定义输入粒度、分组键与输出粒度
  • 正确使用聚合、HAVING 与条件聚合
  • 处理 NULL、空集和 DECIMAL 精度
  • 使用窗口函数排名、累计和分组取首
  • 验证分析结果与执行成本

二、GROUP BY 粒度

按客户统计已支付订单:

SELECT customer_id,
       COUNT(*) AS order_count,
       SUM(total_amount) AS revenue
FROM orders
WHERE status = 'paid'
GROUP BY customer_id;

结果每行代表一个客户。ONLY_FULL_GROUP_BY 应保持启用,防止选择不在分组中且不具函数依赖的任意值。需要客户邮箱时连接保证 customer_id 唯一的客户表,或在合适层次聚合。


三、WHERE、HAVING 与条件聚合

WHERE 在分组前过滤行,HAVING 在分组后过滤结果:

HAVING SUM(total_amount) >= 1000

多个条件指标可用 CASE:

SUM(CASE WHEN status = 'paid' THEN total_amount ELSE 0 END)

条件聚合应明确 ELSE 和 NULL 语义。将可提前的过滤放 WHERE 减少输入,但不要改变分母或业务集合。


四、空集、NULL 与精度

COUNT(*) 统计行,COUNT(col) 忽略 NULL;SUM/AVG 在没有输入行时返回 NULL。报表需要 0 时用 COALESCE 在输出边界转换,并保留内部“没有数据”的区别。

金额先以 DECIMAL 聚合,百分比和除法明确精度与除零策略。不要在每个明细先四舍五入再求和,除非业务规则就是逐行结算。


五、窗口函数

窗口函数保留明细:

SELECT customer_id, id, total_amount,
       ROW_NUMBER() OVER (
         PARTITION BY customer_id
         ORDER BY created_at DESC, id DESC
       ) AS rn,
       SUM(total_amount) OVER (
         PARTITION BY customer_id
         ORDER BY created_at, id
         ROWS UNBOUNDED PRECEDING
       ) AS running_total
FROM orders
WHERE status = 'paid';

窗口 ORDER BY 也要追加唯一键。明确 ROWS 与 RANGE 窗口框架,重复排序值下结果可能不同。


六、分层分析与验证

复杂报表先按业务层次构造 CTE:明细清洗、订单聚合、客户聚合、最终排名。每层用小查询验证行数和金额守恒,再合并。

窗口与排序可能需要临时表和大量内存/磁盘。用 EXPLAIN ANALYZE、状态指标和真实分布评估。报表慢不意味着盲目加索引;先确认过滤、连接和排序能否减少输入。


七、从知识点到工程契约

本篇 SQL 最终要运行在长期存在的 schema、连接和事务中,而不是只在一个临时查询窗口里得到一次正确结果。先写清输入表与行数、会话设置、事务边界、允许的锁、期望结果和失败后的状态,再决定使用约束、查询、索引、存储对象还是运维命令。数据库行为同时受到版本、隔离级别、字符集、统计信息和并发会话影响,示例必须把这些前提显式化。

可以用以下顺序把知识点落到 StudyStore:

  1. 在全新数据库按迁移顺序建立最小 schema,保存 SHOW CREATE TABLE 与关键会话变量。
  2. 加入一个与“没有定义结果粒度便混合明细列和聚合列”相关的反例,记录错误码、SQLSTATE、事务是否仍可用以及数据是否改变。
  3. 为正常、空集、边界值、重复值和并发冲突准备确定性种子,不依赖手工残留数据。
  4. 对读查询检查结果集和 EXPLAIN ANALYZE;对写操作同时检查受影响行数、约束、提交与回滚。
  5. 最后才讨论性能优化。索引和参数调整必须有执行计划、等待事件或容量数据支持,并保留变更前基线。

审查数据库设计时至少回答四个问题:谁能写,哪条约束保护不变量,事务在哪一层结束,失败后如何恢复。MySQL 能保证声明范围内的事务和持久性,却不会替应用补上缺失约束、幂等键、备份演练或最小权限。只要这些问题没有明确答案,就不要把一次成功执行当成生产方案。

本篇最重要的能力是“定义输入粒度、分组键与输出粒度”。能由主键、唯一键、外键、CHECK 或数据类型表达的规则,应优先落到数据库;需要跨聚合或外部系统判断的规则,再由应用和事务协调。不要用注释或约定替代可执行约束。


八、验证策略与复盘

验证分为 schema、数据、并发和恢复四层。schema 层检查定义与会话基线;数据层断言结果和约束;并发层至少用两个独立连接观察锁与隔离;恢复层在新实例重放迁移、备份与恢复。只看客户端显示“Query OK”不能证明结果正确,更不能证明在另一组数据和并发时仍正确。

建议保存下面的实验记录:

项目 需要记录的证据
版本 SELECT VERSION() 与镜像标签
会话 sql_mode、time_zone、事务隔离与字符集
输入 schema 版本、种子行数和参数值
输出 结果集、受影响行数、警告、错误码与 SQLSTATE
性能 执行计划、实际行数、耗时与等待
恢复 COMMIT/ROLLBACK 结果、备份校验和与恢复行数

每组脚本都应能在空数据库从头执行,并通过显式断言退出非零。涉及权限时分别用管理员和最小权限账户连接;涉及锁时设置有限等待,避免测试永久挂起;涉及复制时等待 GTID 状态而不是固定 sleep。清理只删除本次创建的临时容器、网络和数据库。

本篇可以用以下目标做验收:正确使用聚合、HAVING 与条件聚合;处理 NULL、空集和 DECIMAL 精度;使用窗口函数排名、累计和分组取首。把每个目标转换为一条可重复 SQL、一个预期错误或一项恢复检查。若优化后结果正确但计划退化,应把执行计划也纳入回归证据。

发布前再从三个方向反向审查:把数据量放大两个数量级,判断扫描、锁和日志是否仍可控;让两个会话以最不利顺序并发,判断约束和事务是否仍保护不变量;让执行在任意一步失败,判断备份、回滚或幂等键能否恢复。只在十几行数据和单连接中成功的 SQL 仍只是功能草稿。

最后把脚本交给一个只知道镜像版本和入口命令的干净环境执行。脚本不得依赖图形客户端自动设置、个人默认数据库或先前会话变量;所有对象名、字符集、事务和预期错误都应明确。对仅用于说明、不可直接执行的片段要标注上下文,避免把省略条件的示意 SQL 当作完整迁移。

还要保存一份“结果为什么可信”的说明:约束证明哪些坏数据无法进入,事务证明哪些变化共同提交,执行计划证明访问了哪些行,权限测试证明哪些身份无法越界,恢复演练证明故障后能重新得到可用状态。这五类证据缺一时,都应在结论旁写明限制。数据库实验的价值不只是得到答案,而是让另一位操作者在不同机器、不同时间仍能重现同一判断。

若结论依赖当前数据分布或配置,应把适用范围写在 SQL 旁,并安排数据增长或版本升级后的复测条件;不要把一次测量永久固化为规则。


九、StudyStore 实验

实现每日收入、客户累计消费、每客户最近订单和商品销量排名。为无订单、退款、相同时间戳和 NULL 场景准备数据,验证金额守恒;保存窗口查询执行计划并解释排序成本。

完成本节后,不要只保存代码或 SQL。请同时保存执行命令、关键输出和失败案例;学习笔记真正有价值的部分,是能够说明输入、状态变化、输出以及失败后的恢复方式。


十、常见错误

  • 没有定义结果粒度便混合明细列和聚合列
  • 关闭 ONLY_FULL_GROUP_BY 让错误查询勉强执行
  • 混淆 COUNT(*) 与 COUNT(nullable_column)
  • 窗口 ORDER BY 不唯一导致排名不稳定
  • 忽略窗口排序和临时表的资源成本

十一、练习与自测

  1. 写一句话定义四个报表各自的每行粒度。
  2. 构造 SUM 空集并决定何处转换为 0。
  3. 比较 ROWS 与 RANGE 在重复时间值下的累计结果。
  4. 用 ROW_NUMBER 实现每客户最近一单并验证并列。

自测时应在干净的临时目录或临时数据库中重新执行,而不是依赖上一节遗留的状态。如果结果与预期不同,先记录实际输出,再缩小问题范围。


十二、官方资料

版本行为与二手文章不一致时,以本系列固定版本的官方文档、命令输出和可重复测试结果为准。

上一篇:连接、子查询、CTE 与集合运算 下一篇:InnoDB、索引与访问路径