第49页 分布式机器学习框架

1.同步
早期盛行是由于MapReduce并且同步的方式在逻辑上清晰明了，但是有短板效应和系统宕机的时候
2.异步
有锁：保证写入的完整性，但是影响了吞吐量
无锁：不能保证全局的完整性
步调差异会导致的问题，会导致更新较慢的节点对全局模型的收敛造成问题。
算法：异步SGD  HogWild！ Cyclades 对延迟不敏感：AdaptiveRevision AdaDelay 补偿延迟：延迟补偿的异步SGD
混合的方法：
SSP，设置一个最快的阈值，最快的节点的超过阈值就要等大。在延迟不太大的时候可以考虑。
或者分组，根据快慢分等级，组内同步，组间异步通讯。