RigorMed
← 科研资源

计算机与 AI

机器学习数据划分怎么防止数据泄漏?

先定义模型上线时要预测谁、何时预测,再选择划分单位。一个设备的多条记录、同一原图的裁剪以及同一实体的重复观测,应按评测目标决定能否跨集合。

计算机与 AI

准备样本 ID、来源实体 ID、采集时间、标签可用时间和预处理脚本。明确结果要代表新记录、新设备,还是将来的数据。

泄漏也会发生在切分之后。如果缺失值填补、标准化、特征选择或调参用到了测试数据,测试分数便受到这些决定的影响。

怎么做

  1. 先写评测对象

    给测试集写一句定义,例如「来自训练期间从未见过的新设备」。若实际任务是预测同一设备的未来状态,写明预测时间、特征截止时间,以及哪些历史信息当时可用。

  2. 固定组或时间边界

    设备有多条记录时保存设备 ID,按组分割并检查训练和测试组的交集。时间预测按时间先后切分。特征窗口或标签窗口跨越边界时,按窗口长度设置隔离间隔。

  3. 把拟合步骤放进训练折

    在训练折拟合插补、标准化、特征选择或编码。验证和测试只调用已拟合的变换。交叉验证和超参数选择使用合适的分组或时间切分。

  4. 保存划分和审计证据

    记录输入版本、每折样本和组数、组交集、跨界窗口数、类别分布与锁定的最终测试集。模型结果出表时同时附划分版本。

示例对照表

合成例有 6 个设备,每台有 20 条记录。目标是在新设备上预测故障,下面的划分记录可随论文结果表一起交接。

示例对照表
检查项示例记录验收
组身份设备 A–D 训练,E 验证,F 测试三个集合的设备 ID 两两交集为 0
样本数量训练 80,验证 20,测试 20样本总量和设备数分别报告
预处理缺失值插补和标准化在训练记录上拟合验证与测试复用训练参数
最终结果指标绑定设备 F 和固定配置报告只有 1 台测试设备,外推能力有限

只有 1 台测试设备时,单次分数容易受该设备影响。后续应依据可用设备数规划分组评测,并报告每折结果及适用范围。

常见问题

随机种子能防泄漏吗?

种子让同一划分可重复。设备、主体、原始文件和时间窗口的交叉仍要单独审计。

同一设备能否出现在训练和测试里?

预测同一设备未来状态时可以有合法历史信息;用严格的时间边界限制信息,并按该任务解释分数。

核验来源

以下官方来源核验于 2026-11-13,页面发布前将再次检查访问条件和更新时间。

  1. scikit-learn — Common pitfalls and data leakage
  2. scikit-learn — Cross-validation

RigorMed 工作台

核对我的评测划分

带上样本、组、时间字段说明和切分脚本,请整理跨集合重叠、预处理拟合范围和测试口径检查表。