生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要で無料視聴できます!
第1話へ
▶ この講義を再生
この講義の続きはもちろん、
6,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
(会員の方に広告は表示されません)
生成AIの推論術、鍵となる「宝くじ仮説」と注意機構とは
生成AI・大規模言語モデルのしくみ(4)「自己教師あり学習」のしくみ
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
「自己教師あり学習」によって、出力の精度を高める生成AI。その学習の過程では、いったいどのようなプロセスが行われているのだろうか。そのことについて、わかりやすく解説していく。さらに、実はAIは、「宝くじ仮説」で大量のデータを元にした無数の仮説を削っていったり、「注意機構」と呼ばれるしくみによって必要な情報を取り出したりしているという。いったいどういうことなのか。生成AIの推論術を解説する。(全6話中第4話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:9分25秒
収録日:2024年4月16日
追加日:2024年7月30日
≪全文≫

●周辺情報を分析してふさわしい単語を推測する


―― そういうパターンが実際にどういうふうにできているのかというのは、また次のところですね。

岡野原 そうですね。ここに具体的に例文を挙げて、どれくらい理解していないと、ここは当てられないかという話をさせていただければと思います。

 ここに例文で挙げているのは、「こうしたことから、私は父と一緒に***へ行き相談した」です。この「***」の部分を当てるという話なのですけれど、この部分を当てようと思った場合に、ヒントはいっぱい周りにあるわけです。例えば、「私」と「父」という言葉が出ているので、私が何者か――たとえば私が先生だとか、父が実は病気がちだとか――、そういう情報がもし分かっていれば、「ここは病院ではないか」と当たりそうですよね。

 そういう形で、周りの文章の中でヒントになっている情報があって、それがあれば、少しでもここに入ってくる単語を当てられる可能性が上がります。

 ここで重要なのは「少しでも」ということで、間違えるたびに、大規模言語モデルはせっせと「何が悪かったのか」「どこでヒントを使えたのか」ということを、たくさんのパラメータの中で持っていて、そこのパラメータを次から使うように変えようということが起きてくるのです。

 しかも、今話した「私」とか「父」とか「こうしたことから」というのは、この場では書かれていなくて、それより前の部分に書かれています。「私」は前で登場して、その周辺の文章ではどう言っていたのかということも、情報を集めて持ってこなければいけないのです。

 例えば、こういう文章を読もうとしたときに、今のような、「どの単語がどの単語と関係していて、こういう係り受け関係だ、意味は何か」ということを、それこそ言語の専門家の方が設計してやっていたのが、今言った話を全部、人間が何も与えなくてもたくさんの単語を予測するという問題を解くだけで勝手に獲得していくというのが、大規模言語モデルが内部でやっている「自己教師あり学習」になります。

―― 岡野原さんの本を読んでいてもすごく印象深かったのですが、だから人間からすると、なぜそうなっているのかということが分からないのですよね。

岡野原 そうですね。今はもう少し技術が進んでいるので、実際に学習したモデルを解剖し...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
(会員の方に広告は表示されません)
「科学と技術」でまず見るべき講義シリーズ
性はなぜあるのか~進化生物学から見たLGBT(1)有性生殖と無性生殖
なぜ雄と雌の2つの性別があるのか…「性」の謎とLGBT
長谷川眞理子
IoTとは何か~モノのインターネットの本質(1)TRONは究極の「縁の下の力持ち」
坂村教授が開発したTRON―知られざる世界標準
坂村健
ブラックホールとは何か(1)私たちが住む銀河系
太陽系は銀河系の中で塵のように小さな存在でしかない
岡朋治
社会はAIでいかに読み解けるのか(1)経済学理論の役割
AIやディープラーニングによって社会分析の方法が変わる
柳川範之
水から考える「持続可能」な未来(1)気候変動の現在地
最悪10メートル以上海面上昇…将来に禍根残す温暖化の影響
沖大幹
科学的思考はなぜ大切か(1)「状態図」という概念
科学的思考とは「なぜ?」を追究していくこと
岡部徹

人気の講義ランキングTOP10
「良き対話」とは?――哲学から考える(6)プラトン『ゴルギアス』の教え
対話は着地しなくてもいい…プラトン『ゴルギアス』が描くソクラテスの対話は破綻しているが、それでも豊かで麗しい
納富信留
【入門】日本仏教の名僧・名著~親鸞編(1)親鸞と法然の違い
親鸞が「非僧非俗」と名乗った真意と妻・恵信尼の影響
賴住光子
ロシア人の見る「ロシアの歴史」(1)会ってみたプーチン…その実像
ロシア人の見る「ロシアの歴史」を知るとロシアがよくわかる・・・実際に会ってみたプーチンの印象とは?
上月豊久
ソニー流「人的資本経営と新規事業」成功論(1)人を真に活かす人事評価とは
ソニー流の「人材論」「新規ビジネス論」を具体的に語ろう
水野道訓
編集部ラジオ2026(40)上月豊久先生のロシア史講義
【10min解説】日本人が知らない「ロシア史」の真髄
テンミニッツ・アカデミー編集部
司馬遼太郎のビジョン~日本の姿とは?(1)1923年生まれの3人の作家
司馬遼太郎と日本人…まず遠藤周作、池波正太郎との比較で考える
片山杜秀
ポスト国連と憲法9条・安保(1)国連の構造的問題
核保有する国連常任理事国は、むしろ安心して戦争できる
橋爪大三郎
和食の深い秘密~なぜ身体に良いのか(1)和食の特徴と日本人
日本人は地球上最もベジタリアンだった?和食の7つの基本
小泉武夫
人生100年時代の「ライフシフト概論」(1)人生100年時代のインパクト
80歳まで現役でいるために大切なこと…人生100年時代の発想法
徳岡晃一郎
国家の利益~国益の理論と歴史(4)「リヴァイアサン」を考える
ホッブス『リヴァイアサン』とスピノザ、ロック、ルソー
小原雅博