cjms-empirical-validation

实证与数据检验（cjms-empirical-validation）

触发时机

• 预测/金融类稿件只有全样本内拟合，没有样本外
• "新方法更优"只凭一张误差表，没有显著性检验
• 数据来源、频率、区间交代不清，无法复现

核心：本刊实证的四道硬门

预测与决策、市场与投资分析两个栏目的稿件，外审按四道门检查：

1. 数据可溯源：来源（Wind/CSMAR/交易所官网/公开能源数据）、频率、起止区间、缺失处理逐项写明；关键序列给描述统计与平稳性检验。
2. 样本外为王：训练/验证/测试切分或滚动窗口预先声明；窗口长度、步长、再估计频率写清。样本内 R² 再高也不算证据。
3. 基准电池：至少三层——朴素基准（随机游走/等权组合）、经典基准（ARIMA/GARCH/均值-方差）、最强近敌（最新文献同型方法）。赢不过朴素基准的改进无发表价值。
4. 改进要显著：预测类给 DM 检验或 MCS；组合类报夏普比、最大回撤并做子区间稳健性；单点百分比改进不构成结论。

稳健性设计（按威胁分类，不是堆表）

| 结论威胁 | 对应检验 |

|----------|----------|

| 结果靠某段行情 | 子样本/牛熊分段、危机窗口单独报告 |

| 结果靠调参 | 参数敏感性网格、默认参数对照 |

| 结果靠某个数据源 | 换数据源/频率复跑 |

| 结果靠事后信息 | 检查前视偏差：特征、标准化、模型选择全部只用当期可得信息 |

与代码库的衔接

面板/因果类支线（如政策冲击对市场的影响）可直接改用 ../../resources/code/ 的 Stata/Python 骨架（清洗→描述→DiD/IV/RDD→稳健性→出表）；时间序列预测线建议同样落成"一键复现"目录结构，随稿准备可提供的复现材料。

执行桥（StatsPAI / Stata MCP）

四道硬门里有三道是算出来的，不是写出来的。工具全表见

[execution-with-mcp](../../../shared-resources/empirical-methods/execution-with-mcp.md)。

• 改进显著性：bootstrap 给误差差值的区间；预测线的 DM/MCS 若无现成实现，

至少用 bootstrap + romano_wolf 把"赢了几个基准"的多重比较校正掉——基准电池

越厚，单看一列 p 值越容易赢在运气上，这正是本刊外审最常追的一刀。

• 参数敏感性：spec_curve 把"换个窗长/换个参数就翻盘"一次画完，比补三张表更

能回答审稿人的"结果靠调参吗"。

• 因果支线：政策冲击类用 detect_design → preflight → did / iv /

rdd，再 audit_result 列出还欠哪些稳健性，逐条按它给的 suggest_function 补。

• 子样本：牛熊分段与危机窗口用同一个 result_id 派生，避免各段口径悄悄不一致。

服务器未连接时退回 ../../resources/code/ 的骨架照抄改写，并在稿中说明数字的来源——

不报没算过的数。

自检清单

• [ ] 数据来源/频率/区间/缺失处理可复现，关键变量有描述统计
• [ ] 样本外方案预先声明，滚动细节（窗长、步长、再估计）完整
• [ ] 基准电池三层齐全，含最强近敌
• [ ] 改进的统计显著性（DM/MCS 或子区间一致性）已报告
• [ ] 稳健性按威胁组织，每项检验能说出防的是哪条质疑
• [ ] 无前视偏差：逐环节核查信息时点

本刊实证节的外审期待

| 退稿信号（审稿常用语） | 根因 | 本刊期望的修法 |

|------------------------|------|----------------|

| "缺乏样本外检验" | 只报全样本拟合 | 滚动窗口方案入正文，细节可复现 |

| "对比方法选择不当" | 基准电池缺最强近敌 | 补近三年同型方法，正面交锋 |

| "改进幅度的显著性存疑" | 只报点值 | DM/MCS + 子区间一致性 |

| "结果可能依赖样本区间" | 区间恰避开极端行情 | 危机窗口单独报告，边界诚实 |

| "存在前视偏差之嫌" | 分解/标准化用了全样本信息 | 逐环节声明信息时点；分解类方法尤其要滚动重估 |

最后一条是预测栏目的高频雷区：EMD/VMD 类"分解-预测-集成"研究若对全样本一次性分解再切分训练测试，属于典型前视偏差，近年外审盯得很紧。

微型走查：碳价预测的检验设计

虚构稿件《基于模态自适应组合的全国碳市场价格预测》（示意设计）：

数据：全国碳排放权交易市场日收盘价，2021-07 至 2025-12，来源与
      缺失处理（节假日对齐）写明
样本外：滚动窗口 500 日，步长 1 日，每步重新分解与训练（防前视）
基准电池：朴素=随机游走；经典=ARIMA、GARCH；机器学习=LSTM、XGBoost；
          最强近敌=近三年文献的 VMD-LSTM 组合
指标：RMSE / MAE / MAPE + DM 检验（vs 逐个基准）+ MCS 90% 存活集
稳健性：履约季 vs 非履约季分段；窗长 250/750 敏感性；
        剔除政策公告日复跑

要点：履约季分段是碳市场特有的结构性检验——用情境知识设计稳健性，比堆通用检验更能说服本刊审稿人。

反模式

• 用样本内拟合优度讲故事，样本外一笔带过
• 基准只选弱者：跟十年前的方法比，回避最新同型文献
• 百分比误差改进 0.3% 就宣称"显著优于"，无任何检验
• 数据区间恰好停在方法失效的行情之前
• 把机器学习黑箱直接端上来，不报告特征与调参协议

输出格式

【数据】来源<…> 频率<…> 区间<…> 缺失处理<…>
【样本外方案】<切分或滚动细节>
【基准电池】朴素<…> 经典<…> 最强近敌<…>
【显著性】DM/MCS/子区间：<结果>
【稳健性矩阵】威胁→检验 × n
【下一步】cjms-numerical-experiments（如有仿真）或 cjms-managerial-insights