《分布式机器学习:算法、理论与实践》的笔记-第175页

  • 章节名:分布式机器学习同步算法
  • 页码:第175页 2019-02-20 10:32:59
1人阅读

> Hil_C的所有笔记(19篇)

Hil_C对本书的所有笔记  · · · · · ·

  • 第138页

    因为IMR和MPI同步通信中的短板效应 worker对server的访问有push与pull 非常灵活 CMU的Paramet...

  • 第140页

    并不把边设置成通讯而是数据依赖的表示很不错 这种通信拓扑是基于DAG。出现在图中的工作节点...

  • 第175页
  • 第179页

    根据通信间隔的不同可以分成最终进行模型交换平均,中间多步以应对非凸问题

  • 第180页

    MA往往比较稳定,所以调高学习率。 在单机模型做SGD更新的时候,常常会加入冲量以有效地利用...

说明  · · · · · ·

表示其中内容是对原文的摘抄