第9回: 機械学習への応用！情報基礎科学としての数理情報学・東北大学大学院情報科学研究科
0【2021年度東北大学大学院情報科学研究科】
第9回はレプリカ対称性の破れた解（RSB解）とレプリカ対称解の調べ方を紹介してAT線を導出します。そしてついに機械学習への応用へと進みます！
受講者は遠慮せずslidoで盛り上げましょう！
またはYoutube Live上でコメントをしてください。
どうぞよろしくお願いします。
途中話題に挙がった集中講義のランダム行列に関する回はこちらから！
• Statistical physics and information p...
#東北大学
#情報科学
#統計力学
【教員情報】
東北大学大学院情報科学研究科教授
大関 真之
Web page
https://altema.is.tohoku.ac.jp/~mohzeki/
twitter
https://twitter.com/mohzeki222
【チャプター】
00:00 待機画面
02:43 開始前トーク
04:10 OP
04:45 開始
05:42 前回までの復習
11:33 RS-RSB転移
∟13:55 C^mをテイラー展開する
∟17:10 T(=tanhの中身)をテイラー展開する
∟19:43 C^m・Tのテイラー展開(q0の式)
∟20:53 yについてガウス積分を行う
∟22:03 2乗してC_0^mで割る
∟23:11 q1も計算しよう
∟24:00 C^m・Tのテイラー展開(q1の式)
∟26:51 yについてガウス積分を行う
∟28:23 q1-q0の計算をする
∟30:00 レプリカ対称性が破れる所が分かった！
∟32:37 AT条件について
34:40 スピングラス理論研究の潮流
36:44 機械学習への応用
37:00 レプリカ法以外の解析手法はある？
39:21 教師あり学習
∟40:05 今やりたいこと
∟42:26 具体例：パーセプトロン
∟46:20 生徒モデル(俺モデル)の内容
∟52:30 スピングラスとの対応
∟55:22 パーセプトロンの性能を調べる
∟56:37 ハミルトニアン=生徒と正解の近さ
∟58:20 イジング変数以外でもレプリカ法使える？
∟59:33 過学習の抑制を組み込める？
∟1:01:25 全問正解する確率の分布を考える
∟1:05:46 分配関数と同じ形になっている
∟1:07:18 データセットx,yの設定
∟1:09:26 統計力学for機械学習の歴史的な経緯
∟1:12:37 識別のマージンを調べられるか？
∟1:15:36 レプリカ法のためにV^nの平均を計算する
∟1:16:46 それぞれの項の機械学習との対応
∟1:18:17 問題点：ヘヴィサイド関数の項
∟1:19:49 中心極限定理の説明
∟1:23:17 ヘヴィサイド関数の中身の確率分布を考えてみる
∟1:27:12 xについて平均と分散を計算
∟1:28:53 分散の式が表していること
1:32:21 次回の見通し