本文介绍了如何在 PyTorch 中实现可复现的深度学习结果。文章涵盖了随机种子设置、数据分割、数据加载和确定性操作等关键步骤，并提供了相应的代码示例，以确保实验结果的一致性和可比性。通过遵循这些方法，可以有效地调试代码、比较模型，并优化深度学习流程。
本文讲述了在深度学习和LLM中实现可复现性的挑战，特别是使用Nvidia GPU时，浮点运算的非结合性以及硬件差异会导致结果不一致。文章分享了通过重写GEMM CUDA kernel，避免使用Tensor Cores，并确保运算顺序的确定性来解决这一问题，最终在不同硬件上实现了模型输出的一致性。
darinabal
ingonyama