●AIの「世界モデル」－低次元構造の把握で空間認識
東京大学の松尾豊です。今日はディープラーニングの最新の動向について、お話ししたいと思います。
3つトピックがありますが、1つ目は「世界モデル」というものです。これはどういうものか、説明いたします。
ディープラーニングによって画像認識の精度は非常に良くなってきました。一方で、われわれ人間は何か物を見たとき、それが何かと認識するだけではなく、例えば三次元の空間的な配置についても、一瞬で理解することができるわけですが、そういったことは、今のディープラーニングではまだ十分にできていません。
物を見たとき、空間の形状、あるいは空間的な配置を理解するような仕組みというものができてくるのですが、これは三次元の空間というものを仮定すると、深さ推定の技術とか三次元的に複数の画像から推定する技術とか、実はこれまでにもいろいろあるのですね。
人間の知能、あるいは動物の知能でも同じですが、非常に興味深いのは、もともと赤ちゃんとして生まれてきたときには、世界が三次元であるということは知らないにもかかわらず、目で見て体を動かして、ということをやっているうちに、結局三次元だということに気づいているということです。これは、データの潜在的な低次元の構造、つまり次元数が減っているわけですね。三次元と解釈すると、非常につじつまが合う、整合的に説明できる。そういう構造を見つけ出しているのです。
そういった、原初の背後にある低次元な構造を見つけ出す技術というものが、実は今までのディープラーニングには十分になかった。それゆえに空間の移動をするようなナビゲーションのタスクとか、あるいは、把持、「グラスプ」といいますが、そういう物をつかむようなタスクとか、組み立てるようなタスクなど、いろいろなものに空間的な認知、あるいはタスクのコツのようなものが必要とされているわけです。
そうした今までできなかったことができるような技術が少しずつ出てきているのです。これを「世界モデル」といいますけれども、2018年、Deep Mind（ディープマインド）が「GQN（Generative Query Network）」という研究を出して、こういったあたりの技術が今後、進んでくるのではないかと思っています。
●ハイパーパラメータの設定が決め手となる「AutoML」
2つ目が「AutoML」といわれるもので、「Automated Machine Learning」のことです。この類の技術は実はたくさんあるのですが、どういうものかというと、ディープラーニング（機械学習）をやるとき、実はいろいろなハイパーパラメータといわれるものがあります。例えば、層の数を何層にするかとか、ニューロンの数を何個にするかとか、あるいは学習率というパラメータをどう設定するかとか、いろいろなハイパーパラメータがあるのです。
なぜ、「ハイパー」と呼ぶかというと、通常のパラメータは学習によるデータから決まるのに対して、ハイパーパラメータは開発者が事前に決めておかないといけません。ですから、ハイパーパラメータというわけです。つまり、より上位のパラメータということです。
ただ、ハイパーパラメータをどう決めるのかというのは、かなりノウハウがあって、「こういうデータの場合は何層にした方がいい」とか、「学習率はこういうふうに定めた方がいい」とか、そこにいろいろなノウハウがあるのです。
●メタ学習でハイパーパラメータを自動的に設定
ところが、ハイパーパラメータを定める問題自体をある種の学習問題と捉えて、自動的にやってしまおうという手法がたくさん出てきました。メタ学習とか、または「ニューラルアーキテクチャーサーチ（Neural Architecture Search）」といわれるような手法などがこれに当たります。例えば、あるタスクを解きたいときにはこういうニューラルネットワークのハイパーパラメータの設定が良かったとか、別の問題をやりたいときにはこういう設定が良かったとか、そういうデータがたくさんあって、ある問題を解きたいときにどういうハイパーパラメータの設定にすればいいかということを自動的に出してくれるような、そういう手法になります。
今まではディープラーニングのエンジニアがかなりチューニングをがんばってやらないといけなかったのです。実際の学習時間よりも、このハイパーパラメータ、すなわちいいハイパーパラメータを見つけるということが、結局すごく時間がかかっていたわけですが、そこの部分が非常にやりやすくなると思われます。
一方、これを提供しているものにグーグルのAutoMLとかアマゾンのSageMakerなどがあるのですが、そういったところにデータが集まってハイパーパラメータのチューニングをやるようになってくると、実はこれは産業的には競争上、かなり...