计算机与 AI
机器学习数据划分怎么防止数据泄漏?
先定义模型上线时要预测谁、何时预测,再选择划分单位。一个设备的多条记录、同一原图的裁剪以及同一实体的重复观测,应按评测目标决定能否跨集合。
准备样本 ID、来源实体 ID、采集时间、标签可用时间和预处理脚本。明确结果要代表新记录、新设备,还是将来的数据。
泄漏也会发生在切分之后。如果缺失值填补、标准化、特征选择或调参用到了测试数据,测试分数便受到这些决定的影响。
怎么做
先写评测对象
给测试集写一句定义,例如「来自训练期间从未见过的新设备」。若实际任务是预测同一设备的未来状态,写明预测时间、特征截止时间,以及哪些历史信息当时可用。
固定组或时间边界
设备有多条记录时保存设备 ID,按组分割并检查训练和测试组的交集。时间预测按时间先后切分。特征窗口或标签窗口跨越边界时,按窗口长度设置隔离间隔。
把拟合步骤放进训练折
在训练折拟合插补、标准化、特征选择或编码。验证和测试只调用已拟合的变换。交叉验证和超参数选择使用合适的分组或时间切分。
保存划分和审计证据
记录输入版本、每折样本和组数、组交集、跨界窗口数、类别分布与锁定的最终测试集。模型结果出表时同时附划分版本。
示例对照表
合成例有 6 个设备,每台有 20 条记录。目标是在新设备上预测故障,下面的划分记录可随论文结果表一起交接。
| 检查项 | 示例记录 | 验收 |
|---|---|---|
| 组身份 | 设备 A–D 训练,E 验证,F 测试 | 三个集合的设备 ID 两两交集为 0 |
| 样本数量 | 训练 80,验证 20,测试 20 | 样本总量和设备数分别报告 |
| 预处理 | 缺失值插补和标准化在训练记录上拟合 | 验证与测试复用训练参数 |
| 最终结果 | 指标绑定设备 F 和固定配置 | 报告只有 1 台测试设备,外推能力有限 |
只有 1 台测试设备时,单次分数容易受该设备影响。后续应依据可用设备数规划分组评测,并报告每折结果及适用范围。
常见问题
随机种子能防泄漏吗?
种子让同一划分可重复。设备、主体、原始文件和时间窗口的交叉仍要单独审计。
同一设备能否出现在训练和测试里?
预测同一设备未来状态时可以有合法历史信息;用严格的时间边界限制信息,并按该任务解释分数。
核验来源
以下官方来源核验于 2026-11-13,页面发布前将再次检查访问条件和更新时间。
RigorMed 工作台
核对我的评测划分
带上样本、组、时间字段说明和切分脚本,请整理跨集合重叠、预处理拟合范围和测试口径检查表。
