テンミニッツTV|有識者による1話10分のオンライン講義
会員登録 テンミニッツTVとは
社会人向け教養サービス 『テンミニッツTV』 が、巷の様々な豆知識や真実を無料でお届けしているコラムコーナーです。
DATE/ 2018.02.09

ディープラーニングだけではないAI進歩の秘密

 ディープラーニング(深層学習)によって、人工知能(AI)の画像認識精度が人間を超えたと騒がれたのが2015年。その成果はグーグルの「アルファGO」が囲碁チャンピオンを連破したことで世界に知られ、「AIにとってかわられる職業」が話題になりました。しかし、AIの進化に貢献したのはディープラーニングだけではありません。東京大学大学院工学系研究科技術経営戦略学専攻特任准教授でAI研究者の松尾豊氏に聞いてみましょう。

ディープラーニングで見直された「強化学習」

 松尾氏は、人工知能を研究開発する上でのレベルを4段階にまとめています。レベル1は「単純な制御プログラム」、レベル2は「古典的な人工知能」、レベル3は「機械学習ができる人工知能」、レベル4は「ディープラーニングを採り入れた人工知能」です。

 研究者たちがいま取り組んでいるのはレベル3とレベル4の段階なのですが、一般の家電で「AI」を称しているのはレベル1、質問対応ソフトや診断プログラムなどはレベル2で、一般人はあまりちゃんと区別せずに「AI」の言葉を使っています。

 また、すでにレベル4まで来ているなら、レベル3に戻る必要はないと思う人もいるでしょう。実はディープラーニングにより画像認識精度が上がったことと、ウェブなどにたまったビッグデータの組み合わせによって、機械学習の中でも「強化学習」が再度クローズアップされているのです。

偶然のラッキーをリピートするのが強化学習

 強化学習は、もう100年も前から研究が続けられてきた分野で、大雑把に言うと「行動を学習するしくみ」です。人間でいえば、サッカーボールを蹴っているうちにだんだん上手になるようなこと。「習うより慣れろ」と言われる習熟のプロセスには、たまたまうまく蹴ることができたときに、「今のはうまくいった」と感じて、その蹴り方を繰り返すというしくみが含まれているのです。

 「今のはうまくいった」と感じることは、脳の「報酬」になります。報酬が与えられることにより、行動が強化され、だんだん上手になっていく。これが強化学習のしくみなのですが、コンピュータにそれを覚えさせるには、「状況」と「行動」、そして「よかったか/悪かったか」をセットしなければなりません。

 これまでの強化学習では、「状況」を記述するのに、人間が定義した変数を使ってきました。ところが、ディープラーニングと組み合わせる方法にすると、画像認識で出てきた特徴量が使えます。違いはそこだけなのに、生まれた変化には非常に大きなものがあります。

状況がわかって、報酬があれば、熟練はできるのだ

 ディープラーニングと強化学習を組み合わせ、ゲームを学習するAIを作ったのが、ディープマインドという会社です。2013年にその技術を開発し、2014年にはグーグル社に買収されています。

 「ブロック崩し」も「スペースインベーダー」も、スコアを報酬と見ることにより、同じプログラムで学習させることができます。これまでだと、いちいち「これがインベーダー」「これがミサイル」「これが自分」という定義をしてやらないといけなかったのが、画像入力だけでOKになりました。

 この技術を応用すればロボットの行動に「熟練」が見られるようになることは、すぐに予測がつきます。2015年5月、カリフォルニア大学バークレー校は「試行錯誤しながら組み立て作業を行う」ロボットのBRETTを発表しました。

 考えてみると熟練は、人間だけが行なえる複雑なことではなく、犬でも猫でもできることです。AIに今までこれができなかったのは状況をつかむことができなかったから、と松尾氏は解説しています。

 状況がわかり、報酬のうまみをたっぷり浴びたAIは、これからどんなロボットに成長していくのでしょうか。
~最後までコラムを読んでくれた方へ~
雑学から一段上の「大人の教養」はいかがですか?
明日すぐには使えないかもしれないけど、10年後も役に立つ“大人の教養”を 5,600本以上。 『テンミニッツTV』 で人気の教養講義をご紹介します。
1

なぜ悪人と評価された?田沼意次の謎とその経済政策を追う

なぜ悪人と評価された?田沼意次の謎とその経済政策を追う

田沼意次の革新力~産業・流通・貨幣経済(3)田沼意次の5大政策

江戸経済の発展に伴い、貨幣供給の調整や産業振興が求められる中、田沼意次はどのような施策を打ち出し、実行していったのか。「幕府税収をいかに増やすか」に焦点化した意次の5つの政策を解説する。また、彼の人物像や評価につ...
収録日:2025/01/28
追加日:2025/06/13
養田功一郎
元三井住友DSアセットマネジメント執行役員
2

なぜ日本は夏暑く、冬寒いのか…断熱から考える住宅の問題

なぜ日本は夏暑く、冬寒いのか…断熱から考える住宅の問題

断熱から考える一年中快適で健康な住環境(1)日本の住宅の実態と問題点

なぜ日本は夏の暑さが厳しく、冬は寒すぎるのか。近年、気候変動の影響など温暖化の問題が指摘されているが、実は原因は日本の住環境にあった。毎年のように気温が変化する中、日本の住環境は100年以上前と基本的にほとんど同じ...
収録日:2024/06/20
追加日:2024/08/11
前真之
東京大学大学院 工学系研究科 建築学専攻 准教授
3

ヒントは睡眠負債…自分の適した睡眠時間を把握するために

ヒントは睡眠負債…自分の適した睡眠時間を把握するために

睡眠と健康~その驚きの影響(2)ショートスリーパーと睡眠負債

睡眠不足になると、生活習慣病だけでなく、うつ病など精神疾患に罹るリスクも高くなる。睡眠不足は、日々重なると「負債」となって容易に解消できなくなるという。果たして自分に適した睡眠時間はどう図るのか、“ショートスリー...
収録日:2025/03/05
追加日:2025/06/12
西野精治
スタンフォード大学医学部精神科教授
4

日本の財政は本当に悪いのか?将来世代と金利の問題に迫る

日本の財政は本当に悪いのか?将来世代と金利の問題に迫る

日本の財政と金融問題の現状(1)財政赤字の何が問題か

GDP比の債務残高が世界的に見てもかなり高い日本の財政状況。そのような状況にあって、他方では、日本は本当に財政不安なのかという意見もある。日本の財政状況を今一度正確に把握し、財政赤字がもたらす将来世代へのリスクや財...
収録日:2025/04/13
追加日:2025/06/10
木下康司
元財務事務次官
5

『太平記』は乱世における人間の処し方が学べる古典文学

『太平記』は乱世における人間の処し方が学べる古典文学

『太平記』に学ぶ激動期の生き方(1)なぜ今『太平記』を読むべきなのか

『太平記』の名は多くの人が知るところだろう。だが、『太平記』がどのような書物であるかを詳しく知っている人はそう多くない。実は『太平記』は、日本の古典文学の中でも特異な性質を持ち、後の日本に実に大きな影響を与えた...
収録日:2020/08/26
追加日:2020/11/01
兵藤裕己
学習院大学名誉教授