The Implicit Bias of AdaGrad on Separable Data

[nocotan]

一言でいうと

AdaGradの暗黙的バイアスについて分析．

論文リンク

NeurIPS2019
https://papers.nips.cc/paper/2019/file/3335881e06d4d23091389226225e17c7-Paper.pdf

著者/所属機関

Qian Qian (Ohio State University), Xiaoyuan Qian (Dalian University of Technology)

投稿日付(yyyy/MM/dd)

2019/12/13

概要

• AdaGradの更新方向，、十分小さなステップサイズで常に収束することを証明．
• 二次最適化問題の解として漸近方向を定式化．
• AdaGradのバイアスを研究するための新しいアプローチを提案．提案手法は更新方向に関する幾何学的推定に基づいており，収束レートの計算には依存しない．

新規性・差分

AdaGradのような適応的勾配法が，勾配降下法に汎化性能で劣る理由について新しい理由づけが可能になった．

手法

結果

コメント