生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要で無料視聴できます!
第1話へ
▶ この講義を再生
この講義の続きはもちろん、
6,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
(会員の方に広告は表示されません)
生成AIの推論術、鍵となる「宝くじ仮説」と注意機構とは
生成AI・大規模言語モデルのしくみ(4)「自己教師あり学習」のしくみ
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
「自己教師あり学習」によって、出力の精度を高める生成AI。その学習の過程では、いったいどのようなプロセスが行われているのだろうか。そのことについて、わかりやすく解説していく。さらに、実はAIは、「宝くじ仮説」で大量のデータを元にした無数の仮説を削っていったり、「注意機構」と呼ばれるしくみによって必要な情報を取り出したりしているという。いったいどういうことなのか。生成AIの推論術を解説する。(全6話中第4話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:9分25秒
収録日:2024年4月16日
追加日:2024年7月30日
≪全文≫

●周辺情報を分析してふさわしい単語を推測する


―― そういうパターンが実際にどういうふうにできているのかというのは、また次のところですね。

岡野原 そうですね。ここに具体的に例文を挙げて、どれくらい理解していないと、ここは当てられないかという話をさせていただければと思います。

 ここに例文で挙げているのは、「こうしたことから、私は父と一緒に***へ行き相談した」です。この「***」の部分を当てるという話なのですけれど、この部分を当てようと思った場合に、ヒントはいっぱい周りにあるわけです。例えば、「私」と「父」という言葉が出ているので、私が何者か――たとえば私が先生だとか、父が実は病気がちだとか――、そういう情報がもし分かっていれば、「ここは病院ではないか」と当たりそうですよね。

 そういう形で、周りの文章の中でヒントになっている情報があって、それがあれば、少しでもここに入ってくる単語を当てられる可能性が上がります。

 ここで重要なのは「少しでも」ということで、間違えるたびに、大規模言語モデルはせっせと「何が悪かったのか」「どこでヒントを使えたのか」ということを、たくさんのパラメータの中で持っていて、そこのパラメータを次から使うように変えようということが起きてくるのです。

 しかも、今話した「私」とか「父」とか「こうしたことから」というのは、この場では書かれていなくて、それより前の部分に書かれています。「私」は前で登場して、その周辺の文章ではどう言っていたのかということも、情報を集めて持ってこなければいけないのです。

 例えば、こういう文章を読もうとしたときに、今のような、「どの単語がどの単語と関係していて、こういう係り受け関係だ、意味は何か」ということを、それこそ言語の専門家の方が設計してやっていたのが、今言った話を全部、人間が何も与えなくてもたくさんの単語を予測するという問題を解くだけで勝手に獲得していくというのが、大規模言語モデルが内部でやっている「自己教師あり学習」になります。

―― 岡野原さんの本を読んでいてもすごく印象深かったのですが、だから人間からすると、なぜそうなっているのかということが分からないのですよね。

岡野原 そうですね。今はもう少し技術が進んでいるので、実際に学習したモデルを解剖し...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
(会員の方に広告は表示されません)
「科学と技術」でまず見るべき講義シリーズ
現在の宇宙の姿(1)星はなぜ自ら輝くのか
星はなぜ自ら輝くのか…宇宙と銀河の「現在の姿」を概観する
岡村定矩
「宇宙の創生」の仕組みと宇宙物理学の歴史(1)宇宙の階層構造
「宇宙の階層構造」誕生の謎に迫るのが宇宙物理学のテーマ
岡朋治
知性の進化と科学技術文明の未来(1)ヒトは本当に賢いか
なぜ人類は進化できたか?…5つの環境要因と脳の発達
長谷川眞理子
科学的思考はなぜ大切か(1)「状態図」という概念
科学的思考とは「なぜ?」を追究していくこと
岡部徹
ブラックホールとは何か(1)私たちが住む銀河系
太陽系は銀河系の中で塵のように小さな存在でしかない
岡朋治
性はなぜあるのか~進化生物学から見たLGBT(1)有性生殖と無性生殖
なぜ雄と雌の2つの性別があるのか…「性」の謎とLGBT
長谷川眞理子

人気の講義ランキングTOP10
編集部ラジオ2026(40)上月豊久先生のロシア史講義
【10min解説】日本人が知らない「ロシア史」の真髄
テンミニッツ・アカデミー編集部
【入門】日本仏教の名僧・名著~親鸞編(1)親鸞と法然の違い
親鸞が「非僧非俗」と名乗った真意と妻・恵信尼の影響
賴住光子
ロシア人の見る「ロシアの歴史」(1)会ってみたプーチン…その実像
ロシア人の見る「ロシアの歴史」を知るとロシアがよくわかる・・・実際に会ってみたプーチンの印象とは?
上月豊久
「良き対話」とは?――哲学から考える(5)対話嫌いにならないために
1on1ミーティングなどで「対話」をやらされたり、不毛な対話経験をしたりすることで「対話嫌い」になってしまったら?
納富信留
歴史から考える「ロシアの戦略」(1)ロシアの基本戦略と行動
なぜウクライナに侵攻?弱小国を狙ってきたロシアの歴史
山添博史
営業の勝敗、キリンの教訓(1)やる気のない社員になる理由
なぜ「やる気のある社員」が日本では6%しかいないのか?
田村潤
小澤開作と満洲事変・日中戦争(1)少年時代の苦労と五族協和の夢
満洲で「五族協和」に命を懸けた小澤征爾の父・小澤開作
小澤俊夫
『「甘え」の構造』と現代日本(1)「甘え」のインパクト
「甘え」は現代においてダメなものなのか…名著『「甘え」の構造』への2種類の誤解とは?
與那覇潤
高齢者のフレイル・認知症とその予防対策(5)サルコペニア・フレイル対策
認知症予防にはどんな食事がいいのか?鍵はビタミンDの充足
小川純人
日本人とメンタルヘルス…心のあり方(3)稲作社会と頑張る日本人
ダメなのは「頑張りが足らない」から…うつを招く稲作的発想
與那覇潤