深度学习——Batchsize与学习率调整策略

一种常用的策略是按照线性缩放规则来调整学习率，即当BatchSize增加N倍时，学习率也增加N倍。另一种策略是保持权重的方差不变，此时学习率应该增加为原来的sqrt(N)倍。

William.csj

299人浏览 · 2024-07-11 10:34:48

William.csj  ·  2024-07-11 10:34:48 发布

一种常用的策略是按照线性缩放规则来调整学习率，即当BatchSize增加N倍时，学习率也增加N倍。
另一种策略是保持权重的方差不变，此时学习率应该增加为原来的sqrt(N)倍。

参考文章：

• 深度学习中的BatchSize选择与学习率调整策略

# 深度学习 # 学习 # 人工智能

EazyDevelop社区

一站式 AI 云服务平台

加入社区

更多推荐

• · 国内低代码平台：2025 年国内主流平台盘点
• · 5分钟搞定！MySQL/PostgreSQL 到 Elasticsearch 的实时同步
• · 从零开始搭建个人RAG知识库：RAGFlow+DeepSeek保姆级教程！

国内低代码平台：2025 年国内主流平台盘点

EazyDevelop社区

5分钟搞定！MySQL/PostgreSQL 到 Elasticsearch 的实时同步

EazyDevelop社区

从零开始搭建个人RAG知识库：RAGFlow+DeepSeek保姆级教程！

EazyDevelop社区

欢迎加入社区

取消 确定