jcrd-experiments

《计算机研究与发展》实验设计与呈现 (JCRD Experiments)

本技能帮助为《计算机研究与发展》(Journal of Computer Research and Development, JCRD) 稿件设计与

呈现实验。JCRD 走双盲多轮同行评审，外审专家审视实验的充分性、公平性与可复现性。原则

一句话：让证据匹配论断的形态——你声称什么，就用相应证据支撑什么，不多不少。

一、研究问题到证据

• 先把贡献拆成可检验的研究问题 (RQ)，每个 RQ 对应一组实验与一个结论。
• 每个论断都要有证据；反之，每组实验都要服务某个论断，避免「为做而做」的堆砌。

二、数据集与真实系统

• 优先公开数据集（利于复现与对比）；自建数据给构建/清洗脚本与统计描述。
• 系统类工作用真实平台或可信模拟器，说明配置与负载。
• 记录数据集版本与抽取日期（见 jcrd-reproducibility）。

三、基线与公平对比

• 选有代表性、够强的基线（含最新工作），避免只比弱基线。
• 同口径对比：同数据划分、同评测协议、同资源预算；复现基线时说明来源与超参。
• 若无法完全公平，明确说明差异并讨论其影响。

四、指标与统计显著性

• 指标定义清晰、与基线一致；分类/回归/系统各用恰当指标。
• 多次运行报告均值±标准差，做显著性检验（如配对检验），避免单次好结果。
• 报告效应量与置信区间时说明口径；系统度量给测量方法（预热、重复、取值）。

五、消融与敏感性

• 消融实验逐一去掉关键部件，量化各自贡献，支撑「哪个设计有效」。
• 敏感性分析：关键超参/规模/数据量变化下的稳健性。
• 失败案例分析：给出方法失效的场景，增强可信度。

六、真实平台度量（系统类）

• 报告吞吐/延迟/扩展性/能效时给硬件、并发、负载与测量方法。
• 扩展性给曲线（随规模/节点变化），说明瓶颈。
• 与工业/学术基线同环境对比。

七、大模型与挖掘类研究

• 防污染：核查评测集是否被训练数据污染，说明检查方式。
• 来源钉死：记录模型标识与日期、温度等参数，缓存原始输出（见 jcrd-reproducibility）。
• 挖掘研究记录仓库/数据版本 SHA、抽取日期、清洗规则。

八、结果呈现规范

• 表格用三线表，最优值加粗，给单位与口径；图给轴标与图例（见 jcrd-writing-style）。
• 结果先给结论再给数据：一句话论断 + 支撑表/图。
• 大表放补充材料，正文给关键摘要（见 jcrd-supplementary）。

九、常见退修点与修法

| 退修点 | 修法 |

|---|---|

| 基线太弱/过时 | 补最新强基线，同口径对比 |

| 只单次结果 | 多次运行 + 显著性检验 |

| 缺消融 | 补部件消融，量化各自贡献 |

| 对比不公平 | 统一数据划分与评测协议，说明差异 |

| 大模型可能污染 | 加污染检查与说明 |

| 结果不可复现 | 提供匿名材料与来源钉死，见 jcrd-reproducibility |

十、按方向的实验侧重

《计算机研究与发展》(Journal of Computer Research and Development, JCRD) 覆盖多个方向，不同方向的

实验侧重不同，投对口专题时尤其要贴合专题期望：

| 方向 | 实验侧重 | 常见外审关注 |

|---|---|---|

| 体系结构 | 真实平台/模拟器、性能能效权衡、扩展性 | 基线平台是否公平、能效测量口径 |

| 人工智能 | 公开数据集、强基线、显著性、消融 | 数据划分、污染、单次结果 |

| 网络与信息安全 | 威胁模型、攻防实测、开销评估 | 安全性论证是否严谨、实验代表性 |

| 大数据/系统 | 真实工作负载、吞吐延迟、可扩展性曲线 | 规模是否真实、瓶颈分析 |

| 软件技术 | 真实项目/缺陷集、可用性、案例研究 | 主体系统选取、外部效度 |

十一、结果可信度自问

• 若换一个随机种子，结论还成立吗？（多次运行 + 显著性）
• 若审稿人复现，能拿到同样的数字吗？（见 jcrd-reproducibility）
• 最强基线是否真的最强，还是回避了更强对手？
• 增益是否来自方法本身，还是超参调优或数据泄露？
• 失败案例是否被诚实报告，还是被悄悄隐去？

对以上任一问题回答「不确定」，都应在投稿前补足证据，否则易在双盲外审中被质疑。

十二、检查清单

• [ ] 每个论断有对应实验，每组实验服务某 RQ。
• [ ] 公开数据集/真实系统，版本与日期记录。
• [ ] 基线强且同口径，显著性检验到位。
• [ ] 消融与敏感性分析完整。
• [ ] 系统度量给硬件/负载/测量方法。
• [ ] 大模型/挖掘研究防污染 + 来源钉死。
• [ ] 结果呈现规范，先结论后数据。

小结

实验是《计算机研究与发展》(Journal of Computer Research and Development, JCRD) 双盲外审的重点

审视对象。让证据匹配论断、基线足够强且同口径、结果多次运行并做显著性、消融量化各部件贡献、大

模型与挖掘研究钉死来源并防污染——做到这些，实验部分才能经受外审并支撑复现。投对口专题时还应

贴合专题方向的实验侧重（体系结构重能效、系统重可扩展性、AI 重消融与污染检查）。

输出格式

[JCRD 实验] 充分 / 待补
[RQ→证据] 每个论断有对应实验？
[数据/系统] 公开数据集/真实平台 + 版本日期？
[基线] 强 + 同口径？
[统计] 多次 + 显著性？
[消融/敏感性] 完整？
[大模型/挖掘] 防污染 + 来源钉死？
[呈现] 三线表/轴标/先结论后数据？