训练重启（Resume）的数值偏差：随机数生成器（RNG）状态恢复对复现性的影响 各位同学，大家好！今天我们来深入探讨一个在深度学习模型训练中经常被忽视，但却至关重要的问题：训练重启（Resume）时，随机数生成器（RNG）状态恢复对复现性的影响。 深度学习模型的训练本质上是一个随机过程。从模型参数的初始化，到训练数据的随机洗牌（shuffling），再到dropout层的随机失活，以及优化器中的随机梯度下降，都依赖于随机数生成器。因此，为了保证实验的可复现性，我们需要认真对待RNG状态的保存和恢复。 一、为什么需要训练重启（Resume）？ 在实际的深度学习项目中，训练中断的情况屡见不鲜。原因可能包括： 硬件故障： 服务器宕机，GPU错误等。 软件错误： 程序崩溃，代码bug等。 资源限制： 训练时间过长，需要暂停训练释放资源。 实验管理： 需要修改超参数或实验设置，从中断处继续训练。 在这种情况下，我们希望能够从上次中断的地方继续训练，而不是从头开始。这就是训练重启(Resume)的需求来源。简单地说，Resume就是加载之前保存的模型checkpoint，并从checkpoint …