生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要で無料視聴できます!
第1話へ
▶ この講義を再生
この講義の続きはもちろん、
6,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
(会員の方に広告は表示されません)
生成AIの推論術、鍵となる「宝くじ仮説」と注意機構とは
生成AI・大規模言語モデルのしくみ(4)「自己教師あり学習」のしくみ
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
「自己教師あり学習」によって、出力の精度を高める生成AI。その学習の過程では、いったいどのようなプロセスが行われているのだろうか。そのことについて、わかりやすく解説していく。さらに、実はAIは、「宝くじ仮説」で大量のデータを元にした無数の仮説を削っていったり、「注意機構」と呼ばれるしくみによって必要な情報を取り出したりしているという。いったいどういうことなのか。生成AIの推論術を解説する。(全6話中第4話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:9分25秒
収録日:2024年4月16日
追加日:2024年7月30日
≪全文≫

●周辺情報を分析してふさわしい単語を推測する


―― そういうパターンが実際にどういうふうにできているのかというのは、また次のところですね。

岡野原 そうですね。ここに具体的に例文を挙げて、どれくらい理解していないと、ここは当てられないかという話をさせていただければと思います。

 ここに例文で挙げているのは、「こうしたことから、私は父と一緒に***へ行き相談した」です。この「***」の部分を当てるという話なのですけれど、この部分を当てようと思った場合に、ヒントはいっぱい周りにあるわけです。例えば、「私」と「父」という言葉が出ているので、私が何者か――たとえば私が先生だとか、父が実は病気がちだとか――、そういう情報がもし分かっていれば、「ここは病院ではないか」と当たりそうですよね。

 そういう形で、周りの文章の中でヒントになっている情報があって、それがあれば、少しでもここに入ってくる単語を当てられる可能性が上がります。

 ここで重要なのは「少しでも」ということで、間違えるたびに、大規模言語モデルはせっせと「何が悪かったのか」「どこでヒントを使えたのか」ということを、たくさんのパラメータの中で持っていて、そこのパラメータを次から使うように変えようということが起きてくるのです。

 しかも、今話した「私」とか「父」とか「こうしたことから」というのは、この場では書かれていなくて、それより前の部分に書かれています。「私」は前で登場して、その周辺の文章ではどう言っていたのかということも、情報を集めて持ってこなければいけないのです。

 例えば、こういう文章を読もうとしたときに、今のような、「どの単語がどの単語と関係していて、こういう係り受け関係だ、意味は何か」ということを、それこそ言語の専門家の方が設計してやっていたのが、今言った話を全部、人間が何も与えなくてもたくさんの単語を予測するという問題を解くだけで勝手に獲得していくというのが、大規模言語モデルが内部でやっている「自己教師あり学習」になります。

―― 岡野原さんの本を読んでいてもすごく印象深かったのですが、だから人間からすると、なぜそうなっているのかということが分からないのですよね。

岡野原 そうですね。今はもう少し技術が進んでいるので、実際に学習したモデルを解剖し...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
(会員の方に広告は表示されません)
「科学と技術」でまず見るべき講義シリーズ
海底の仕組みと地球のメカニズム(1)海底の生まれるところ
地球上の火山活動の8割を占める「中央海嶺」とは何か
沖野郷子
知能と進化(1)知性と身体性
AI、ディープラーニングとは…知能と身体性は不可分か?
長谷川眞理子
現在の宇宙の姿(1)星はなぜ自ら輝くのか
星はなぜ自ら輝くのか…宇宙と銀河の「現在の姿」を概観する
岡村定矩
生成AI・大規模言語モデルのしくみ(1)生成AIとは何か
10年で劇的な進歩を遂げた生成AIと日本の開発事情
岡野原大輔
ChatGPT~AIと人間の未来(1)ChatGPTは何ができて、何ができないか
ChatGPTは考えてない?…「AIの回答」の本質とは
西垣通
「宇宙の創生」の仕組みと宇宙物理学の歴史(1)宇宙の階層構造
「宇宙の階層構造」誕生の謎に迫るのが宇宙物理学のテーマ
岡朋治

人気の講義ランキングTOP10
ロシア人の見る「ロシアの歴史」(9)エカテリーナ2世・ニコライ1世
リベラル志向と強権政治、戦勝と敗戦の波にもまれた皇帝たち…エカテリーナ2世、ニコライ1世、アレクサンドル2世
上月豊久
ソニー流「人的資本経営と新規事業」成功論(1)人を真に活かす人事評価とは
ソニー流の「人材論」「新規ビジネス論」を具体的に語ろう
水野道訓
地政学入門 歴史と理論編(1)地政学とは何か
地政学をわかりやすく解説…地政学の「3つの柱」とは?
小原雅博
ロシアのハイブリッド戦争と旧ソ連諸国(1)ロシアの勢力圏構想とNATO拡大
「ハイブリッド戦争」の実像…ロシアが考えていることとは何か?
廣瀬陽子
「良き対話」とは?――哲学から考える(6)プラトン『ゴルギアス』の教え
対話は着地しなくてもいい…プラトン『ゴルギアス』が描くソクラテスの対話は破綻しているが、それでも豊かで麗しい
納富信留
「満洲」から考える日本とアジア(1)「満洲」を知る意義とは
「満洲史」はなぜ現代日本でタブー視されるのか?…王道楽土の夢とアヘンなどの裏面から見えてくる現代への教訓
宮脇淳子
編集部ラジオ2026(40)上月豊久先生のロシア史講義
【10min解説】日本人が知らない「ロシア史」の真髄
テンミニッツ・アカデミー編集部
ポスト国連と憲法9条・安保(1)国連の構造的問題
核保有する国連常任理事国は、むしろ安心して戦争できる
橋爪大三郎
海底の仕組みと地球のメカニズム(1)海底の生まれるところ
地球上の火山活動の8割を占める「中央海嶺」とは何か
沖野郷子
高齢者のフレイル・認知症とその予防対策(1)老年病科と高齢者の疾患・病態の特徴
頻尿、低栄養、転倒、誤嚥、フレイル…増える老年症候群と高齢者の疾患・病態の特徴
小川純人