More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server - todo314 @ ウィキ

More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server

• 分散機械学習
• 理論と実用のトレードオフを実現したい
• 複数マシンでやる問題
  • ネットワークアクセスが重い
  • マシン性能が固定でない

• 理論サイド
  • アルゴリズムの正しさ・収束性
  • 仮定が非現実的
• 実装サイド
  • 動くけど正しいのか？

• 既存アプローチはあるけれど…
• 無駄な待ち時間

• 提案手法SSP
• イテレーション回数の差に上限sを設ける
• 基本非同期、だけど離れすぎることは無い
• 理論的保証があるのが良い

NIPS

2014-01-24 14:18:48 (Fri)