この講義シリーズの第1話は
登録不要で無料視聴できます!
人工知能のディープな可能性
強化学習とディープラーニングでロボットが自動的に習熟
人工知能のディープな可能性(2)自ら学習するロボット
科学と技術
松尾豊(東京大学大学院工学系研究科 人工物工学研究センター/技術経営戦略学専攻長 教授)
画像認識の精度を飛躍的に向上させたディープラーニングは、「強化学習」と組み合わせることで、自ら学習するロボットを生み出した。この技術を使えば、ルールややり方すら教えなくても、ロボットは自動的にゲームに習熟し、おもちゃを組み立てられようになる。東京大学大学院工学系研究科准教授・松尾豊氏が、最新事例を解説する。(全4話中第2話)
※テキストの文中に参考動画(YouTube)へのリンクがありますので、併せてご覧ください。
時間:12分39秒
収録日:2016年1月15日
追加日:2016年5月12日
収録日:2016年1月15日
追加日:2016年5月12日
カテゴリー:
≪全文≫
●「強化学習」にディープラーニングを組み込む
画像認識の精度は、今すごく上がっていますが、それと同時に、すごく面白いことが起こっています。画像認識と強化学習、ディープラーニングと強化学習を組み合わせるという技術が出てきています。
強化学習とは、大雑把に言うと「行動を学習する仕組み」です。これはもう100年ぐらい前から研究されています。例えば人間は、サッカーボールを蹴っているうちに、だんだん上手に蹴ることができるようになります。なぜ上手に蹴ることができるようになるかというと、たまたま上手く蹴ることができたら、「今のは上手く蹴ることができた」と思って、その蹴り方を繰り返すからですね。
このように「上手く蹴らることができたな」と思えることを、「報酬」と言います。報酬が与えられると、その前にやった行動を強化する。こういう仕組みによって、行動がだんだん上手になってくるのです。犬にお手を教えるというときにどうやるかというと、たまたま犬がお手をしたらエサをあげるということを繰り返していく。すると、お手をするようになるわけです。これは犬から見ると、エサという報酬がもらえた前にやった行動を強化しているわけですね。
これが強化学習の仕組みです。犬も、いつもお手をしていればいいわけではなく、ご主人さまが「お手をしなさい」と言ったときにお手をするといいわけですね。ですから、どういう状況でどういう行動をすると良かったか、あるいは悪かったか、すなわち「状況」と「行動」、そして「良かったか/悪かったか」、これらをセットにして、コンピュータに学習させていくわけです。
●ブロック崩しのテクニックを「学ぶ」人工知能
今までの強化学習では、「どういう状況で」という「状況」の記述をするのに、人間が定義した変数を使っていたのです。ところが、このディープラーニングと組み合わせる方法では、「状況」の記述にディープラーニングで画像認識をして出てきた特徴量を使うことで、その変数を人間がつくらなくてよくなります。後の部分は、今までの強化学習と一緒です。違いはそこにしかないのですが、それによって非常に大きな変化が起こります。
動画をお見せします。まず2013年後半の研究です。ディープマインドという会社がありまして、これは2014年初頭にGoogleに買収された会社です。この会社がどういうことをやった...
●「強化学習」にディープラーニングを組み込む
画像認識の精度は、今すごく上がっていますが、それと同時に、すごく面白いことが起こっています。画像認識と強化学習、ディープラーニングと強化学習を組み合わせるという技術が出てきています。
強化学習とは、大雑把に言うと「行動を学習する仕組み」です。これはもう100年ぐらい前から研究されています。例えば人間は、サッカーボールを蹴っているうちに、だんだん上手に蹴ることができるようになります。なぜ上手に蹴ることができるようになるかというと、たまたま上手く蹴ることができたら、「今のは上手く蹴ることができた」と思って、その蹴り方を繰り返すからですね。
このように「上手く蹴らることができたな」と思えることを、「報酬」と言います。報酬が与えられると、その前にやった行動を強化する。こういう仕組みによって、行動がだんだん上手になってくるのです。犬にお手を教えるというときにどうやるかというと、たまたま犬がお手をしたらエサをあげるということを繰り返していく。すると、お手をするようになるわけです。これは犬から見ると、エサという報酬がもらえた前にやった行動を強化しているわけですね。
これが強化学習の仕組みです。犬も、いつもお手をしていればいいわけではなく、ご主人さまが「お手をしなさい」と言ったときにお手をするといいわけですね。ですから、どういう状況でどういう行動をすると良かったか、あるいは悪かったか、すなわち「状況」と「行動」、そして「良かったか/悪かったか」、これらをセットにして、コンピュータに学習させていくわけです。
●ブロック崩しのテクニックを「学ぶ」人工知能
今までの強化学習では、「どういう状況で」という「状況」の記述をするのに、人間が定義した変数を使っていたのです。ところが、このディープラーニングと組み合わせる方法では、「状況」の記述にディープラーニングで画像認識をして出てきた特徴量を使うことで、その変数を人間がつくらなくてよくなります。後の部分は、今までの強化学習と一緒です。違いはそこにしかないのですが、それによって非常に大きな変化が起こります。
動画をお見せします。まず2013年後半の研究です。ディープマインドという会社がありまして、これは2014年初頭にGoogleに買収された会社です。この会社がどういうことをやった...
「科学と技術」でまず見るべき講義シリーズ
MLBのスーパースターも一代限り…生物学から迫る性の実態
長谷川眞理子
人気の講義ランキングTOP10
ヒトは共同保育の動物――生物学からみた子育ての基礎知識
長谷川眞理子