分布式机器学习:算法、理论与实践的笔记(18)

>我来写笔记

按有用程度 按页码先后 最新笔记

  • Hil_C

    Hil_C

    MPI特点是同步吗?把通讯抽象成图的边不合理,通讯的体量和计算的体量差别大小 暑假看的07年的通信拓扑的总结性理论paper要标星星了

    2019-02-19 23:20   1人喜欢

  • Hil_C

    Hil_C

    1.计算并行模式:所有工作节点共享一块内存,对数据有完全的访问权限。 2.数据并行模式:数据样本划分的全局有放回随机抽样或者置乱划分基于维度 3.模型并行模式:线性模型对应不同数据维度的模型参数划分到不同的工作节点上,只需要全局信息和自己参数的信息,就能运算 emmmmm内容与前面重复了

    2019-02-18 15:48   1人喜欢

  • Hil_C

    Hil_C

    数据并行的框架下,通讯内容可以是子模型,或者非常重要的的样本(SVM中可以使用SV)。 模型并行就是中间的计算结果,可以用计算图和数据流来表示,传输量比较大可以考虑对信息进行压缩。 MapReduce通信的拓扑结构: 1.二分图的MapReduce的想法导致的问题是完全依赖硬盘IO逻辑导致的数据互访会使得效率很低。 2.中间状态不能维持,无法高效衔接。 迭代式MapReduce的结构: 1.完全依赖于内存的实现,不需要依赖IO接口(问题是这...

    2019-02-17 16:19   1人喜欢

  • Hil_C

    Hil_C

    ADMM引入一个辅助变量z来控制各个工作节点上模型的差异,使他们都比较接近。 每次计算复杂,实际收敛速度并不快,但是通信代价小,并行效率很高。 MA与ADMM,前者没有全局一致的拉格朗日正则项,因此,从本地优化的角度来看MA更加直接,计算量也更小泛化能力来看ADMM中的正则项使得模型聚合之后不容易出现过拟合。

    2019-02-20 23:55

  • Hil_C

    Hil_C

    MA往往比较稳定,所以调高学习率。 在单机模型做SGD更新的时候,常常会加入冲量以有效地利用历史更新信息来减小随机梯度下降中的梯度噪音的影响。那么类似的,我们也可以考虑在MA中对每次全局变量的更新采用冲量的该概念。Block-wise Model Update Filtering,使得历史上小批量迭代对全局模型更新的影响有一定的延续性,也能够达到加速模型优化进程的作用。

    2019-02-20 23:06

  • Hil_C

    Hil_C

    根据通信间隔的不同可以分成最终进行模型交换平均,中间多步以应对非凸问题

    2019-02-20 23:01

  • Hil_C

    Hil_C

    同步SGD类 同步SGD相当于一个批量大小增大K倍的minibatch,批量增加K倍后,算法的收敛速度满了K开方,吞吐增加了K倍,所以增加了K倍的速度。但是这并没有包括通讯。 如果每个小批量训练的计算量很大,而模型规模又不大(CNN),通信开销可以忽略。反之,无法忽略。 通过前一章节的内容,可以实现提速。 关于精度的分析,参考SGD的minibatch size选择的论文 1.增大size导致方差变小,减少了跳出了局部最优的可能。实现了尖锐的局...

    2019-02-20 10:32

  • Hil_C

    Hil_C

    并不把边设置成通讯而是数据依赖的表示很不错 这种通信拓扑是基于DAG。出现在图中的工作节点不仅包含计算本身,而是一个融合了解包,计算,打包,通信控制等多个功能的逻辑单元,这样各个工作节点才可以相互配合和衔接,从而合作完成整体的运算任务。每个节点需要两个通信通道:控制消息流和计算数据流。

    2019-02-20 00:53

  • Hil_C

    Hil_C

    因为IMR和MPI同步通信中的短板效应 worker对server的访问有push与pull 非常灵活 CMU的Parameter Server和Petuum谷歌的DistBelief和微软的DMTK/Multiverso

    2019-02-19 23:38

  • Hil_C

    Hil_C

    总结一下现在各大的使用到了的MPI模式的框架 Caffe2中的gloo通信库实现了自定制的AllReuce功能,百度的DeepSpeech系统采用了环状的AllReduce功能,Nvidia提供的集合通讯库NCCL中有AllReduce的原语

    2019-02-19 23:32

<前页 1 2 后页>

笔记是你写在书页留白边上的内容;是你阅读中的批注、摘抄及随感。

笔记必须是自己所写,不欢迎转载。摘抄原文的部分应该进行特殊标明。

分布式机器学习:算法、理论与实践

>分布式机器学习:算法、理论与实践