【東北大ライブ講義】第7回: 圧縮センシング【データ科学と機械学習の数理・2024年度東北大学工学部】
12劣決定系の方程式なのに問題を解ける。
そんな数理的背景をもとに、圧縮センシングという情報計測手段が登場しました。
LASSOではなく拡張ラグランジュ法、さらなる拡張を目指して新しい方法も紹介していきます。
コメントはslidoというアプリを利用して匿名でコメントを受け付けます。受講者は遠慮せずslidoで盛り上げましょう！
（全てのコメント・質問に返答します）
外部受講者（公式潜りの方々は）Youtube Live上でコメントをしてください。
（講義の時間の許す限りリアクションします）
どうぞよろしくお願いします。
#東北大学
#データ科学
#機械学習
【教員情報】
東北大学大学院情報科学研究科教授
大関 真之
Web page
https://altema.is.tohoku.ac.jp/~mohzeki/
twitter
https://twitter.com/mohzeki222
データ科学と機械学習第7回チャプター
【チャプター】
00:00 待機画面
00:22 OP
■開始前雑談
02:26 開始前雑談｜ファミコン時代のドラクエ３のお話
08:10 開始前雑談｜原作版の難易度は
09:28 オープニング
■本編
■前回の復習
10:04 前回の復習｜L1ノルム最少解の性質
12:47 前回の復習｜L1ノルムを使うと100％正解する領域がある
14:14 前回の復習｜情報統計力学と性能評価の重要性
15:34 前回の復習｜LASSO
☆変数を逃す
16:08 変数を逃す＋拡張ラグランジュ法
17:10 変数を逃す｜絶対値の微分イヤだ！
18:18 [step up] 変数を逃す
19:19 変数を逃す｜変数を逃すことの嬉しさ
20:41 拡張ラグランジュ法｜コスト関数(ラグランジュ関数)の定式化
∟21:13 s.t. z=xに対し拡張ラグランジュ法→平方完成
22:23 制約条件y=Ax
23:15 λ/ρ→uと置く
23:55 雑談｜s.t.→such that or subject to問題
24:22 zの最小化｜軟判定閾値関数
25:34 uの最小化｜拡張ラグランジュ法の更新
25:58 xの最小化
27:22 xの最小化｜xで偏微分
28:45 xの解を式に代入
30:38 νの最小化｜νで偏微分
32:14 x*の最適解の更新式の導出(νの更新式が消える)
34:08 拡張ラグランジュ法はy=Ax*を常に満たす
37:04 [step up] 拡張ラグランジュ法によるCS
40:05 正解がスパースな場合：M＜Nでもy=Axが解ける
44:13 休憩
46:16 雑談
47:36 雑談｜論文の査読が１年1ヶ月かかった話
◾ ️ LASSOを超える
49:37更なる正則化｜スパースの対象は何？
52:53 Fused LASSO
55:38 Fused LASSO｜正則化項は行列に
57:16 クラスターLASSO
59:31 一般化LASSO
1:00:56 スパースになる変換を学習させる方法もある(辞書学習)
1:02:22 一般化LASSOの素晴らしさ
1:03:11 質問回答｜一般化LASSOはOptunaでできるのか?
1:04:16 質問回答｜一般化LASSO:λ_1の項について、そこにiはあるんか
☆ADMM
1:05:33 ADMM
1:07:20 ADMM｜変数を逃す
1:07:26 質問回答｜一般化LASSO:λ_1の項について
1:07:58 ADMM｜変数を逃す(z=Dx)+拡張ラグランジュ法
1:09:42 ADMM｜拡張ラグランジュ法
1:10:31 ADMM｜平方完成
1:10:47 ADMMの嬉しさ→x,zどちらも手で解ける
1:13:16 雑談｜色々あるけど決定版はADMM
1:14:46 ｘの最小化｜xで偏微分
1:16:39 ADMMの弱点｜”事前に１回だけ”逆行列計算
1:20:25 雑談｜計算資源を大切に！
1:21:56 zの最小化｜軟判定閾値関数
1:22:22 λの更新式｜拡張ラグランジュ法
1:22:38 [step up] ADMMはズゴイ
1:29:25 雑談｜大関真之、ADMMとの出会いと布教活動
1:31:16 雑談｜”俺正則化”、”俺損失関数”
1:32:22 雑談｜これでADMM論文が読める！(ADMM界隈は論文が不親切)
1:39:10 本講まとめと次回予告