LLM(34)：Batch size 与 Learning rate 的理论与实践

LLM(34)：Batch size 与 Learning rate 的理论与实践

在之前的文章中，笔者比较简略讨论过 scaling law 对 Batch size 与Learning rate 超参设置的指导，当时的主要结论如下：LLM(26)：从信息论的角度解释 scaling law当计算预算增加时，应增大 Batch size；当计算预算增加时，应减小 Learning rate;当计算预算…

Chinese technical note: LLM(34)：Batch size 与 Learning rate 的理论与实践

紫气东来 published a Zhihu article relevant to frontier and open model development. The original Chinese excerpt is included below so the feed can preserve the raw source while giving English readers enough context to triage the item.

原文链接

← English feed · 中文瀑布流