试了二十种牌路条件，总能找到“神奇胜率”？多重检验的陷阱

问题不是只试了一次

当一套软件检索几十种历史形态、调整窗口长度、改变过滤条件，再报告“其中一个准确率异常高”，展示的通常是整次搜索中最显眼的结果。不能只用这一条结果的统计显著性，忽略其他所有没有入选的尝试。

“事先提出一个问题，再检验它”和“先看全部数据，挑一个最漂亮的问题”不是同一研究流程。后者需要考虑多重比较。

一个可计算的假阳性例子

假设二十项统计检验都研究实际上不存在的效应，每项都以 5% 为错误报警率，而且暂时假设二十项检验彼此独立。即使没有真实规律，出现至少一项假阳性结果的概率也是 1 − 0.95^20，约为 64.15%。

这里的“64%”不是百家乐任何策略的胜率，也不是现实牌路软件必然发生的比率。它仅说明在明确的独立检验模型下，反复寻找“显著结果”会增加至少误报一次的概率。

实际牌路指标往往共享输入，因此相关检验不符合独立条件，不能机械套用这个精确数值；但必须公开检验数量的原则仍成立。

调整阈值并不是修复所有偏差

Bonferroni 方法可以根据检验数降低单项显著性阈值，Holm 方法也是控制家族错误率的常见选择。但统计方法不能弥补未定义的研究问题、错误的数据、重复使用的训练样本或未来信息泄漏。

尤其当研究人员多次查看测试结果，又反复调整模型时，所谓“测试集”已经事实上参与了训练。即使最后只留下一个 p 值，也不等于拥有一次独立验证。

推荐的评估顺序

先在一组历史数据上探索，记录所有候选形态、参数及排除条件；随后冻结完整算法，包括触发规则、输出指标与容错处理；最后在时间上独立的新数据上评价。若发现效果不稳定，应如实公开，而非再调整后只展示新的最高点。

对于重叠形态匹配，还应明确定义是否允许同一手牌参与多个命中实例，避免把高度相关的样本当作完全独立。

一个合格的软件报告需要什么

除了最高结果，还应提供候选总数、各自样本量、测试区间、使用过的参数、评价指标、对比基准、统计修正方法和失败案例。这样读者才能理解“最佳策略”究竟只是多次选择的幸运结果，还是经过独立数据检验的发现。

多重检验是通用统计问题，并非任何牌局具有保证预测能力的证据。本文用于审计软件宣称与实验方法。