【東北大ライブ講義】第4回: 勾配法の秘密【データ科学と機械学習の数理・2024年度東北大学工学部】
0勾配法には学習率といったパラメータの任意性があります。
どれくらいの大きさにしたら良いのか、それが不安のもとになります。
その大きさは何か数理的な背景をもとに明確に基準はないのでしょうか。
リプシッツ連続という概念を導入すれば明らかとなります。
コメントはslidoというアプリを利用して匿名でコメントを受け付けます。受講者は遠慮せずslidoで盛り上げましょう！
（全てのコメント・質問に返答します）
外部受講者（公式潜りの方々は）Youtube Live上でコメントをしてください。
（講義の時間の許す限りリアクションします）
どうぞよろしくお願いします。
#東北大学
#データ科学
#機械学習
【教員情報】
東北大学大学院情報科学研究科教授
大関 真之
Web page
https://altema.is.tohoku.ac.jp/~mohzeki/
twitter
https://twitter.com/mohzeki222
データ科学と機械学習第4回チャプター
【チャプター】
00:00 待機画面
03:56 OP
■開始前雑談
05:58 開始前挨拶
11:15 離れていてもいつも一緒!な環境づくり
15:24 講義オープニング
■本編
0:1342 ラジオ配信のお話、大関雅之のフーリエ愛など(雑談)
■前回の復習
16:01 前回の復習｜正則化とL2最少解
20:06 前回の復習｜L2ノルムはなんの意味もない
22:01 L2ノルム最小化｜ラグランジュ未定乗数法
24:10 ラグランジュ未定乗数法｜パラメータxの最小化(xで偏微分=0)
∟26:28 ラグランジュ未定乗数法｜ベクトルの微分：転置するの？しないの？
∟27:58 ラグランジュ未定乗数法｜パラメータxの最小化(xで偏微分=0)
∟28:07 ラグランジュ未定乗数法｜未定乗数λ
∟30:34 ラグランジュ未定乗数法｜n＜Nのときの擬似逆行列
∟33:23 [step up] 擬似逆行列
36:19 休憩
38:56 大関真之chatbot
◾ ️ 勾配法
43:02 勾配法
∟44:00 勾配法｜学習率ηはいくつ？
∟46:42 勾配法｜勾配法：近傍探索→ηは小さく
∟47:27 勾配法｜近傍探索→損失関数f(a)のテイラー級数展開
∟49:20 勾配法｜近傍探索なら２次関数までで良い！
∟52:26 損失関数f(a)のテイラー級数展開｜1/η：尖り具合
∟53:59 損失関数f(a)のテイラー級数展開｜人類のやるべきこと：二次関数で全て議論する！
∟54:57 雑談｜中学数学で習ったこと：xと置くこと！
∟56:06 雑談｜受講生が息を呑む瞬間が聞こえる
∟57:20 損失関数f(a)のテイラー級数展開｜平方完成
58:42 勾配法の凄さ｜近傍探索ならどんなf(a)でも２次近似の最小化にできる
1:02:55 η：小→損失関数f(a)≦２次近似(代理関数)→上界最小化
1:07:02 勾配法｜逐次最小化
☆リプシッツ連続
1:08:43 リプシッツ連続
∟1:09:22 リプシッツ連続｜モチベーション：f(a)≦代理関数
∟1:10:19 リプシッツ連続｜☆0から☆１、☆２を導く
∟1:11:55 リプシッツ連続｜☆１の導出
∟1:16:30 ☆２の導出｜積分 ≦ |積分|
∟1:18:30 ☆２の導出｜f'(x)-f'(a_0)≦1/η(x-a_0)の仮定
1:23:53 [step up] リプシッツ連続
1:29:25 リプシッツ連続｜学習率ηの設定
1:31:46 リプシッツ連続｜スカラー→ベクトルへ
1:34:02 本講まとめと次回予告