浏览知识库目录

MySQL

连接、子查询、CTE 与集合运算

使用内外连接、EXISTS、派生表、递归 CTE 与 UNION 表达关系查询,并控制重复、NULL 和物化成本,并在可重复的 StudyStore 实验中验证结果、失败边界与恢复方式。

连接、子查询、CTE 与集合运算

JOIN 的难点不是记住关键字,而是确定每个输入关系的基数和输出是否允许重复。错误连接条件会成倍放大行数,外连接过滤位置会改变语义,相关子查询和 CTE 也可能被优化器改写或物化。先写集合含义,再看执行计划。


一、学习目标

  • 根据关系基数选择 INNER 与 OUTER JOIN
  • 控制一对多连接产生的重复
  • 使用 EXISTS 表达存在性
  • 用 CTE 分解查询并实现有限递归
  • 理解 UNION 与 UNION ALL 的去重成本

二、连接基数

订单与客户是一对多:

SELECT o.id, c.email, o.status
FROM orders AS o
JOIN customers AS c ON c.id = o.customer_id;

连接前写出每侧键是否唯一。把订单再连接订单项后,一张订单会出现多行;如果调用方需要订单粒度,应先聚合订单项或明确返回明细。不要用 DISTINCT 掩盖错误连接,它可能隐藏数据重复并增加排序或哈希成本。


三、外连接与过滤位置

找出没有订单的客户:

SELECT c.id, c.email
FROM customers AS c
LEFT JOIN orders AS o
  ON o.customer_id = c.id
WHERE o.id IS NULL;

右表条件放在 ON 或 WHERE 会改变结果。若 WHERE o.status='paid',NULL 扩展行被过滤,LEFT JOIN 实际接近 INNER JOIN。条件属于“如何匹配”还是“匹配后如何筛选”,必须按业务语义选择。


四、EXISTS 与子查询

只关心是否存在时使用 EXISTS:

SELECT p.id, p.sku
FROM products AS p
WHERE EXISTS (
  SELECT 1
  FROM order_items AS oi
  WHERE oi.product_id = p.id
);

优化器可能把相关子查询转换为半连接。IN、EXISTS 和 JOIN 并非永远谁更快,应比较语义和计划。标量子查询若返回多行会报错,且重复执行可能昂贵。


五、CTE 与递归

CTE 可分解复杂查询:

WITH paid_orders AS (
  SELECT id, customer_id
  FROM orders
  WHERE status = 'paid'
)
SELECT customer_id, COUNT(*)
FROM paid_orders
GROUP BY customer_id;

CTE 不保证一定物化或一定内联,查看执行计划。递归 CTE 必须有锚点、递归项和终止条件,并受递归深度限制。层级数据还要防环,不能只依靠“理论上没有坏数据”。


六、集合运算

UNION 去重,UNION ALL 保留重复且通常更便宜。各分支列数和类型需兼容,最终列名来自第一分支。排序和 LIMIT 通常作用于合并结果,分支级排序需要明确括号和语义。

若业务集合本来互斥,优先 UNION ALL 并用约束证明互斥;若重复代表数据问题,不要依赖 UNION 静默清理,应回到模型修复。


七、从知识点到工程契约

本篇 SQL 最终要运行在长期存在的 schema、连接和事务中,而不是只在一个临时查询窗口里得到一次正确结果。先写清输入表与行数、会话设置、事务边界、允许的锁、期望结果和失败后的状态,再决定使用约束、查询、索引、存储对象还是运维命令。数据库行为同时受到版本、隔离级别、字符集、统计信息和并发会话影响,示例必须把这些前提显式化。

可以用以下顺序把知识点落到 StudyStore:

  1. 在全新数据库按迁移顺序建立最小 schema,保存 SHOW CREATE TABLE 与关键会话变量。
  2. 加入一个与“连接条件遗漏一列后用 DISTINCT 隐藏重复”相关的反例,记录错误码、SQLSTATE、事务是否仍可用以及数据是否改变。
  3. 为正常、空集、边界值、重复值和并发冲突准备确定性种子,不依赖手工残留数据。
  4. 对读查询检查结果集和 EXPLAIN ANALYZE;对写操作同时检查受影响行数、约束、提交与回滚。
  5. 最后才讨论性能优化。索引和参数调整必须有执行计划、等待事件或容量数据支持,并保留变更前基线。

审查数据库设计时至少回答四个问题:谁能写,哪条约束保护不变量,事务在哪一层结束,失败后如何恢复。MySQL 能保证声明范围内的事务和持久性,却不会替应用补上缺失约束、幂等键、备份演练或最小权限。只要这些问题没有明确答案,就不要把一次成功执行当成生产方案。

本篇最重要的能力是“根据关系基数选择 INNER 与 OUTER JOIN”。能由主键、唯一键、外键、CHECK 或数据类型表达的规则,应优先落到数据库;需要跨聚合或外部系统判断的规则,再由应用和事务协调。不要用注释或约定替代可执行约束。


八、验证策略与复盘

验证分为 schema、数据、并发和恢复四层。schema 层检查定义与会话基线;数据层断言结果和约束;并发层至少用两个独立连接观察锁与隔离;恢复层在新实例重放迁移、备份与恢复。只看客户端显示“Query OK”不能证明结果正确,更不能证明在另一组数据和并发时仍正确。

建议保存下面的实验记录:

项目 需要记录的证据
版本 SELECT VERSION() 与镜像标签
会话 sql_mode、time_zone、事务隔离与字符集
输入 schema 版本、种子行数和参数值
输出 结果集、受影响行数、警告、错误码与 SQLSTATE
性能 执行计划、实际行数、耗时与等待
恢复 COMMIT/ROLLBACK 结果、备份校验和与恢复行数

每组脚本都应能在空数据库从头执行,并通过显式断言退出非零。涉及权限时分别用管理员和最小权限账户连接;涉及锁时设置有限等待,避免测试永久挂起;涉及复制时等待 GTID 状态而不是固定 sleep。清理只删除本次创建的临时容器、网络和数据库。

本篇可以用以下目标做验收:控制一对多连接产生的重复;使用 EXISTS 表达存在性;用 CTE 分解查询并实现有限递归。把每个目标转换为一条可重复 SQL、一个预期错误或一项恢复检查。若优化后结果正确但计划退化,应把执行计划也纳入回归证据。

发布前再从三个方向反向审查:把数据量放大两个数量级,判断扫描、锁和日志是否仍可控;让两个会话以最不利顺序并发,判断约束和事务是否仍保护不变量;让执行在任意一步失败,判断备份、回滚或幂等键能否恢复。只在十几行数据和单连接中成功的 SQL 仍只是功能草稿。

最后把脚本交给一个只知道镜像版本和入口命令的干净环境执行。脚本不得依赖图形客户端自动设置、个人默认数据库或先前会话变量;所有对象名、字符集、事务和预期错误都应明确。对仅用于说明、不可直接执行的片段要标注上下文,避免把省略条件的示意 SQL 当作完整迁移。

还要保存一份“结果为什么可信”的说明:约束证明哪些坏数据无法进入,事务证明哪些变化共同提交,执行计划证明访问了哪些行,权限测试证明哪些身份无法越界,恢复演练证明故障后能重新得到可用状态。这五类证据缺一时,都应在结论旁写明限制。数据库实验的价值不只是得到答案,而是让另一位操作者在不同机器、不同时间仍能重现同一判断。

若结论依赖当前数据分布或配置,应把适用范围写在 SQL 旁,并安排数据增长或版本升级后的复测条件;不要把一次测量永久固化为规则。


九、StudyStore 实验

编写客户订单明细、无订单客户、购买过商品的客户、月度订单 CTE 和两个来源合并查询。为每条查询写出预期基数,用种子数据验证重复与 NULL,再检查执行计划是否符合索引设计。

完成本节后,不要只保存代码或 SQL。请同时保存执行命令、关键输出和失败案例;学习笔记真正有价值的部分,是能够说明输入、状态变化、输出以及失败后的恢复方式。


十、常见错误

  • 连接条件遗漏一列后用 DISTINCT 隐藏重复
  • 把外连接右表过滤放错位置,改变保留行语义
  • 只需存在性却连接出大量重复行
  • 递归 CTE 没有可靠终止或防环
  • 默认使用 UNION 而不考虑去重是否必要

十一、练习与自测

  1. 为每张表标注主键和连接后的最大基数。
  2. 写两个仅过滤位置不同的 LEFT JOIN 并比较结果。
  3. 把 DISTINCT JOIN 改写为 EXISTS。
  4. 实现一个有深度列和终止条件的分类递归 CTE。

自测时应在干净的临时目录或临时数据库中重新执行,而不是依赖上一节遗留的状态。如果结果与预期不同,先记录实际输出,再缩小问题范围。


十二、官方资料

版本行为与二手文章不一致时,以本系列固定版本的官方文档、命令输出和可重复测试结果为准。

上一篇:INSERT、UPDATE、DELETE 与安全写入 下一篇:聚合、窗口函数与分析查询