《分布式机器学习:算法、理论与实践》的笔记-第179页

  • 章节名:MA
  • 页码:第179页 2019-02-20 23:01:17
1人阅读

> Hil_C的所有笔记(19篇)

Hil_C对本书的所有笔记  · · · · · ·

  • 第140页

    并不把边设置成通讯而是数据依赖的表示很不错 这种通信拓扑是基于DAG。出现在图中的工作节点...

  • 第175页

    同步SGD类 同步SGD相当于一个批量大小增大K倍的minibatch,批量增加K倍后,算法的收敛速度满...

  • 第179页
  • 第180页

    MA往往比较稳定,所以调高学习率。 在单机模型做SGD更新的时候,常常会加入冲量以有效地利用...

  • 第181页

    ADMM引入一个辅助变量z来控制各个工作节点上模型的差异,使他们都比较接近。 每次计算复杂,...

说明  · · · · · ·

表示其中内容是对原文的摘抄