PBT对Grokking任务影响研究：并非加速工具，而是参数空间逃逸利器

摘要：Shaurya Sharma的研究探讨了基于种群训练（PBT）在Grokking任务中的表现，发现PBT并不能加速模型学习过程，但在参数空间逃逸方面表现出色。研究表明，在学习率与权重衰减的优化中，PBT在参数空间死区（无固定设置可实现Grokking）内能成功找到解决方案，但整体速度较慢。其关键机制是通过动态调整参数跳出局部最优，而非直接加速收敛。

---

研究背景与目标

Grokking是一种在训练数据有限的情况下，模型通过长时间训练逐步理解任务的现象。Shaurya Sharma的研究旨在评估基于种群训练（PBT）是否能够加速Grokking过程，并探索其在不同参数空间中的表现。

方法与实验设计

研究采用模块加法（mod 97）作为任务，模型为小型多层感知机（MLP），训练集占比35%，步数为20,000步，批次为全批次。实验分为两组：

1. 固定超参数网格搜索 vs PBT：在相同计算量下，固定超参数网格搜索的最优配置在317 ± 29步内达到95%的验证准确率，而PBT则需要2667 ± 2244步。
2. 参数空间死区测试：在无固定设置可实现Grokking的参数范围内，快速PBT（每100步调整一次，学习率×0.5/×2）在约6850步内成功找到解决方案，而固定设置和慢速PBT均未成功。

主要发现

1. PBT并非加速工具：在所有种子中，PBT均比固定超参数设置慢。
2. PBT在参数空间死区表现优异：PBT能够通过动态调整学习率和权重衰减跳出局部最优，找到解决方案。
3. PBT的路径分析：PBT的路径通常为先降低学习率，再提高权重衰减，最后再提升学习率。
4. 消融实验：随机捐赠者仍能逃逸，但速度更慢；无选择机制时，群体成员会先达到Grokking状态，但随后失去。

结论与启示

PBT在Grokking任务中并非加速工具，而是一个在参数空间死区内逃逸的有效工具。其核心价值在于动态调整参数以跳出局部最优，而非直接加速收敛。研究建议，在实际应用中，PBT应被视为一种在复杂参数空间中寻找解决方案的策略，而非提高训练速度的手段。

开发者建议

1. 谨慎使用PBT：在已知参数空间内，PBT可能并非最佳选择。
2. 参数空间死区应用：在参数空间死区内，PBT是一个有效的解决方案。
3. 结合其他优化策略：PBT可与其他优化策略结合使用，以提升整体性能。

---

消息来源：Reddit r/MachineLearning (2026-10-26)

—— 完 ——

主题标签： #PBT 关注 #Grokking 关注 #深度学习 关注 #超参数优化 关注 #模型训练 关注