跑路日报 | PaoLuDaily 📰

最近，以超连接（HC）为例的研究通过扩展残差流宽度和多样化连接模式，扩展了过去十年建立的无处不在的残差连接范式。虽然产生了显著的性能提升，但这种多样化从根本上损害了残差连接固有的恒等映射属性，从而导致严重的训练不稳定性和受限的可扩展性，并且还会产生显著的内存访问开销。

为了应对这些挑战，我们提出了流形约束超连接（mHC），这是一个通用框架，可将 HC 的残差连接空间投影到特定的流形上，以恢复恒等映射属性，同时结合严格的基础设施优化以确保效率。

经验实验表明，mHC 对于大规模训练是有效的，可提供切实的性能改进和卓越的可扩展性。我们预计，mHC 作为 HC 的灵活且实用的扩展，将有助于更深入地理解拓扑架构设计，并为基础模型的演进提出有希望的方向。