視覚は人間の感覚入力のうちおそらく最も大量の情報を処理するものだが、それでも周りの環境についての情報のうち、ごく一部を２次元の画像として得て、そこから脳内で最も可能性の高い情景を再構築しているものである。そのためには、ありうる情景の情報表現があらかじめ存在している必要であるが、コンピューター上の画像や、網膜上に並ぶ視細胞の信号の総体としての視覚入力の表現は、一般性が高い一方、見えている物体や状況の認識につなげるための構造を明示的に表現しない。しかし記憶容量、効率、そして汎化性の観点からは、まさにそのような偶然でない構造を情報表現することが必要である。最近の人工知能ブームの原因である畳み込みニューラルネットワークは、その構造から暗黙のうちにそのような表現をしていると思われる。本講演ではこれらの点を説明した後、JST CREST 数理モデリング領域におけるプロジェクトで進めている研究のうち、構造付き予測問題の最新成果（ラフ画の線画化、白黒写真のカラー化、画像補間）を紹介する。

 

本講演では、深層学習の汎化誤差を理論的な立場から議論する。学習の方式としては、経験誤差最小化とベイズ推定量を考える。汎化誤差を導出するにあたり、真の関数を表現する積分表現を考え、それに付随した再生核ヒルベルト空間を構築する。そうすることにより、無限次元空間に含まれる真の関数を有限次元モデルで近似する際の近似誤差をカーネル法の理論を用いて評価することができる。また、有限次元モデル内での推定誤差を評価することでバイアス-バリアンスのトレードオフを導出できる。解析により、汎化誤差は中間層に対応するカーネル関数の固有値が影響することを述べる。また、簡単な数値実験により理論と現実との整合性を議論する。