10MTVオピニオン|有識者による1話10分のオンライン講義
ログイン 会員登録
10MTVオピニオンは、有識者の生の声を10分間で伝える新しい教養動画メディアです。
すでにご登録済みの方は
このエントリーをはてなブックマークに追加

ディープラーニングを取り巻く3つの動きに注目

2019年ディープラーニングの最新事情

松尾豊
東京大学大学院工学系研究科 人工物工学研究センター/技術経営戦略学専攻 教授
情報・テキスト
近年、画像認識の精度が非常に上がっているディープラーニングだが、現状はどうなっているのか。「世界モデル」「AutoML」「多数パラメータの科学」といったキーワードを挙げて、ディープラーニングの最新の動向について解説する。
時間:10:20
収録日:2019/08/28
追加日:2019/10/03
タグ:
≪全文≫

●AIの「世界モデル」-低次元構造の把握で空間認識


 東京大学の松尾豊です。今日はディープラーニングの最新の動向について、お話ししたいと思います。

 3つトピックがありますが、1つ目は「世界モデル」というものです。これはどういうものか、説明いたします。

 ディープラーニングによって画像認識の精度は非常に良くなってきました。一方で、われわれ人間は何か物を見たとき、それが何かと認識するだけではなく、例えば三次元の空間的な配置についても、一瞬で理解することができるわけですが、そういったことは、今のディープラーニングではまだ十分にできていません。

 物を見たとき、空間の形状、あるいは空間的な配置を理解するような仕組みというものができてくるのですが、これは三次元の空間というものを仮定すると、深さ推定の技術とか三次元的に複数の画像から推定する技術とか、実はこれまでにもいろいろあるのですね。

 人間の知能、あるいは動物の知能でも同じですが、非常に興味深いのは、もともと赤ちゃんとして生まれてきたときには、世界が三次元であるということは知らないにもかかわらず、目で見て体を動かして、ということをやっているうちに、結局三次元だということに気づいているということです。これは、データの潜在的な低次元の構造、つまり次元数が減っているわけですね。三次元と解釈すると、非常につじつまが合う、整合的に説明できる。そういう構造を見つけ出しているのです。

 そういった、原初の背後にある低次元な構造を見つけ出す技術というものが、実は今までのディープラーニングには十分になかった。それゆえに空間の移動をするようなナビゲーションのタスクとか、あるいは、把持、「グラスプ」といいますが、そういう物をつかむようなタスクとか、組み立てるようなタスクなど、いろいろなものに空間的な認知、あるいはタスクのコツのようなものが必要とされているわけです。

 そうした今までできなかったことができるような技術が少しずつ出てきているのです。これを「世界モデル」といいますけれども、2018年、Deep Mind(ディープマインド)が「GQN(Generative Query Network)」という研究を出して、こういったあたりの技術が今後、進んでくるのではないかと思っています。


●ハイパーパラメータの設定が決め手となる「AutoML」


 2つ目が「AutoML」といわれるもので、「Automated Machine Learning」のことです。この類の技術は実はたくさんあるのですが、どういうものかというと、ディープラーニング(機械学習)をやるとき、実はいろいろなハイパーパラメータといわれるものがあります。例えば、層の数を何層にするかとか、ニューロンの数を何個にするかとか、あるいは学習率というパラメータをどう設定するかとか、いろいろなハイパーパラメータがあるのです。

 なぜ、「ハイパー」と呼ぶかというと、通常のパラメータは学習によるデータから決まるのに対して、ハイパーパラメータは開発者が事前に決めておかないといけません。ですから、ハイパーパラメータというわけです。つまり、より上位のパラメータということです。

 ただ、ハイパーパラメータをどう決めるのかというのは、かなりノウハウがあって、「こういうデータの場合は何層にした方がいい」とか、「学習率はこういうふうに定めた方がいい」とか、そこにいろいろなノウハウがあるのです。


●メタ学習でハイパーパラメータを自動的に設定


 ところが、ハイパーパラメータを定める問題自体をある種の学習問題と捉えて、自動的にやってしまおうという手法がたくさん出てきました。メタ学習とか、または「ニューラルアーキテクチャーサーチ(Neural Architecture Search)」といわれるような手法などがこれに当たります。例えば、あるタスクを解きたいときにはこういうニューラルネットワークのハイパーパラメータの設定が良かったとか、別の問題をやりたいときにはこういう設定が良かったとか、そういうデータがたくさんあって、ある問題を解きたいときにどういうハイパーパラメータの設定にすればいいかということを自動的に出してくれるような、そういう手法になります。

 今まではディープラーニングのエンジニアがかなりチューニングをがんばってやらないといけなかったのです。実際の学習時間よりも、このハイパーパラメータ、すなわちいいハイパーパラメータを見つけるということが、結局すごく時間がかかっていたわけですが、そこの部分が非常にやりやすくなると思われます。

 一方、これを提供しているものにグーグルのAutoMLとかアマゾンのSageMakerなどがあるのですが、そういったところにデータが集まってハイパーパラメータのチューニングをやるようになってくると、実はこれは産業的には競争上、かなり...
テキスト全文を読む
(1カ月無料で登録)
会員登録すると資料をご覧いただくことができます。