复现与实验追踪:从 notebook 到可信结果
约 14 分钟
Notebook适合探索,却容易隐藏执行顺序、手工状态和未保存参数。可信实验要把数据版本、代码提交、配置、环境、随机性、指标和产物绑定成一次不可混淆的运行。
配置即记录
学习率、模型、切分、增强、种子与硬件写入配置,由脚本读取;不要靠改代码常量后忘记。每次运行保存完整解析配置和代码提交号。
环境
锁定框架、CUDA与依赖版本,记录驱动和硬件。完全确定性可能降低性能且部分算子无确定实现,需说明确定性级别并跑多种子区间。
数据版本
保存原始数据校验和、清洗脚本和切分清单。外部链接内容会变化,不能只记URL。隐私数据记录访问与派生规则,不复制到公开仓库。
检查点
保存模型、优化器、调度器、随机状态和训练步,才能真正续训。只存权重可做推理,却不能保证恢复同一优化轨迹。
从零复现
让另一人在干净环境按一条命令重建关键表格。若还需作者口头点Notebook单元格,流程未交付。
日志平台中的图不是唯一记录,导出原始指标和配置到开放格式。外部服务失效后仍应能重画图表。秘密和个人数据不得写入配置仓库,使用受控环境变量并提供无敏感示例。
任务:把一个D2L notebook改成配置化脚本,固定数据清单并完成独立复现。
小纸条
只保存训练好的模型权重为什么通常不足以精确续训?