prai-experiments

《模式识别与人工智能》实验设计与呈现

本技能把《模式识别与人工智能》(Pattern Recognition and Artificial Intelligence, PR&AI) 论文的实证

部分落到可执行清单。本刊聚焦模式识别与机器学习，外审对实验严谨性要求高：公平基线、统计口径、消融、

开销缺一易被质疑。事实核验日期 2026-07-09，见 resources/official-source-map.md。

一、从主张到 RQ

先把贡献拆成可检验的研究问题(RQ)，每个 RQ 对应一组实验：

• RQ1（有效性）：本文方法是否在目标任务上优于最强基线？
• RQ2（机制）：哪个组件带来提升？（→消融）
• RQ3（鲁棒性）：在噪声/长尾/小样本/跨域等更难设定下是否仍有效？
• RQ4（开销）：精度提升的时间/显存/参数代价如何？

每个 RQ 的结论必须由对应证据支撑，不多不少。

二、公平基线（外审首要质询）

• 基线在相同数据划分、相同算力、相同调参预算下比较；不拿别人论文里不可比的数字直接对照。
• 覆盖相关工作中提到的代表性方法（见 prai-related-work），尤其是最接近工作。
• 复现基线时说明来源（官方代码/自实现），并诚实标注差异。
• 避免"只调自己方法、不调基线"的隐性不公。

三、评测指标与统计严谨

| 任务 | 常用指标 |

|---|---|

| 分类/识别 | 准确率、F1、精确率/召回率、AUC |

| 目标检测 | mAP、AP@IoU |

| 分割 | mIoU、Dice |

| 检索/排序 | mAP、NDCG、Recall@K |

| 长尾/不平衡 | 分组精度、平衡准确率 |

统计纪律：

• 多次运行（不同随机种子）报告均值±标准差，不报单次最优。
• 关键比较做显著性检验（如配对 t 检验、Wilcoxon），报告 p 值。
• 指标选择与任务匹配，避免只挑对自己有利的指标。

四、消融实验

• 逐组件消融，量化每个机制的独立贡献（去掉 X 掉多少）。
• 关键超参数的敏感性分析（给曲线或表）。
• 消融要能支撑"方法新意来自 Y 机制"这一主张，与相关工作 delta 呼应。

五、数据泄漏与评测污染

模式识别/机器学习实验的可信性红线：

• 训练/验证/测试严格划分，无样本重叠、无标签泄漏。
• 预训练语料/权重与评测集不重叠；用大模型时说明是否见过评测数据。
• 调参在验证集上做，测试集只用于最终报告。
• 数据增强、采样策略对所有方法一致。

六、开销与复杂度

• 报告训练/推理时间、显存、参数量、FLOPs（据任务选）。
• 精度-开销权衡用图或表呈现，避免只报精度不报代价。
• 硬件环境（GPU 型号、数量）写清，便于复现（见 prai-reproducibility）。

七、结果呈现

• 主表报告均值±标准差、样本量、最优加粗；对比方法与本文并列。
• 每条主张在正文有对应表图编号；图题表题中英文对照、黑白可辨。
• 失败案例/局限随结果讨论，不回避（威胁有效性见 prai-writing-style）。

八、常见被拒理由与对策

| 外审批评 | 根因 | 对策 |

|---|---|---|

| 基线不公平 | 划分/算力/调参不一致 | 统一设置、重跑 |

| 结果不可信 | 单次运行、无统计 | 多种子+显著性检验 |

| 消融不足 | 说不清提升来源 | 补逐组件消融 |

| 疑似数据泄漏 | 划分/预训练重叠 | 澄清划分、排查重叠 |

| 只报精度 | 忽略开销 | 补时间/显存/复杂度 |

九、实验章节自检清单

1. 每个 RQ 是否有对应实验与明确结论？
2. 基线是否在相同划分/算力/调参下比较、覆盖最接近工作？
3. 是否多种子报告均值±标准差并做显著性检验？
4. 消融是否支撑方法新意来源？
5. 是否排查数据泄漏/评测污染？
6. 是否报告精度-开销权衡？
7. 主张与表图编号是否一一对应？

十、与其他技能衔接

• 上游 prai-related-work 定对比方法；下游 prai-reproducibility 固定环境与复现包。
• 呈现体例见 prai-writing-style；投稿前证据-主张一致性核对见 prai-submission。

十一、数据集选择与报告

《模式识别与人工智能》(Pattern Recognition and Artificial Intelligence, PR&AI) 论文的说服力很大

程度取决于数据集选择是否恰当、报告是否透明：

• 覆盖代表性基准：用本子领域公认的公开数据集，便于与已有工作对比；只在自造小数据上验证难以

服众。

• 规模与多样性：数据集规模、类别数、分布特点(是否长尾/含噪)要写清，避免"挑软柿子"。
• 划分透明：train/val/test 划分与来源固定并说明；沿用标准划分时注明出处。
• 多数据集验证：单一数据集上的优势可能是过拟合到该集，多数据集一致提升更可信。
• 自采数据：说明采集/标注流程、标注一致性(如 kappa)、许可与隐私合规。

十二、结果分析而非堆数字

外审看重的是"为什么有效"的分析，而不仅是"更高的数字"：

• 结合数据特性解释增益来自何处（如"在高噪声子集上提升更大，印证方法抑制噪声的机制"）。
• 报告并分析失败案例，指出方法边界，这比掩盖局限更能取信。
• 用可视化（特征分布、注意力、决策边界、混淆矩阵）佐证机制性主张。
• 把定量结果与定性分析绑定，让"提升 x%"有可解释的来由。

十三、实验与其他技能的一致性

实验部分不能孤立：相关工作(prai-related-work)提到的对比方法要落为基线；方法章节声称的每个机制要

在消融中被验证；可复现性(prai-reproducibility)要求的种子、划分、环境要在实验设置里交代；补充材料

(prai-supplementary)决定超参全表、额外数据集实验的归属。投稿前用 prai-submission 核对每条主张

是否都有对应表图编号支撑，做到主张与证据一一对应、无悬空断言。

输出格式

[PR&AI 实验] 达标 / 待补
[RQ 覆盖] RQ1..n 是否各有证据：___
[基线公平] 相同划分/算力/调参？覆盖最接近工作？
[统计] 多种子均值±标准差？显著性检验 p 值？
[消融] 是否支撑方法新意来源：是/否
[泄漏排查] 划分/预训练/调参是否干净：___
[开销] 是否报告时间/显存/复杂度：是/否
[待补项] ___