生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要で無料視聴できます!
第1話へ
▶ この講義を再生
この講義の続きはもちろん、
6,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
(会員の方に広告は表示されません)
生成AIの推論術、鍵となる「宝くじ仮説」と注意機構とは
生成AI・大規模言語モデルのしくみ(4)「自己教師あり学習」のしくみ
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
「自己教師あり学習」によって、出力の精度を高める生成AI。その学習の過程では、いったいどのようなプロセスが行われているのだろうか。そのことについて、わかりやすく解説していく。さらに、実はAIは、「宝くじ仮説」で大量のデータを元にした無数の仮説を削っていったり、「注意機構」と呼ばれるしくみによって必要な情報を取り出したりしているという。いったいどういうことなのか。生成AIの推論術を解説する。(全6話中第4話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:9分25秒
収録日:2024年4月16日
追加日:2024年7月30日
≪全文≫

●周辺情報を分析してふさわしい単語を推測する


―― そういうパターンが実際にどういうふうにできているのかというのは、また次のところですね。

岡野原 そうですね。ここに具体的に例文を挙げて、どれくらい理解していないと、ここは当てられないかという話をさせていただければと思います。

 ここに例文で挙げているのは、「こうしたことから、私は父と一緒に***へ行き相談した」です。この「***」の部分を当てるという話なのですけれど、この部分を当てようと思った場合に、ヒントはいっぱい周りにあるわけです。例えば、「私」と「父」という言葉が出ているので、私が何者か――たとえば私が先生だとか、父が実は病気がちだとか――、そういう情報がもし分かっていれば、「ここは病院ではないか」と当たりそうですよね。

 そういう形で、周りの文章の中でヒントになっている情報があって、それがあれば、少しでもここに入ってくる単語を当てられる可能性が上がります。

 ここで重要なのは「少しでも」ということで、間違えるたびに、大規模言語モデルはせっせと「何が悪かったのか」「どこでヒントを使えたのか」ということを、たくさんのパラメータの中で持っていて、そこのパラメータを次から使うように変えようということが起きてくるのです。

 しかも、今話した「私」とか「父」とか「こうしたことから」というのは、この場では書かれていなくて、それより前の部分に書かれています。「私」は前で登場して、その周辺の文章ではどう言っていたのかということも、情報を集めて持ってこなければいけないのです。

 例えば、こういう文章を読もうとしたときに、今のような、「どの単語がどの単語と関係していて、こういう係り受け関係だ、意味は何か」ということを、それこそ言語の専門家の方が設計してやっていたのが、今言った話を全部、人間が何も与えなくてもたくさんの単語を予測するという問題を解くだけで勝手に獲得していくというのが、大規模言語モデルが内部でやっている「自己教師あり学習」になります。

―― 岡野原さんの本を読んでいてもすごく印象深かったのですが、だから人間からすると、なぜそうなっているのかということが分からないのですよね。

岡野原 そうですね。今はもう少し技術が進んでいるので、実際に学習したモデルを解剖し...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
(会員の方に広告は表示されません)
「科学と技術」でまず見るべき講義シリーズ
断熱から考える一年中快適で健康な住環境(1)日本の住宅の実態と問題点
なぜ日本は夏暑く、冬寒いのか…断熱から考える住宅の問題
前真之
知性の進化と科学技術文明の未来(1)ヒトは本当に賢いか
なぜ人類は進化できたか?…5つの環境要因と脳の発達
長谷川眞理子
IoTとは何か~モノのインターネットの本質(1)TRONは究極の「縁の下の力持ち」
坂村教授が開発したTRON―知られざる世界標準
坂村健
現在の宇宙の姿(1)星はなぜ自ら輝くのか
星はなぜ自ら輝くのか…宇宙と銀河の「現在の姿」を概観する
岡村定矩
海底の仕組みと地球のメカニズム(1)海底の生まれるところ
地球上の火山活動の8割を占める「中央海嶺」とは何か
沖野郷子
性はなぜあるのか~進化生物学から見たLGBT(1)有性生殖と無性生殖
なぜ雄と雌の2つの性別があるのか…「性」の謎とLGBT
長谷川眞理子

人気の講義ランキングTOP10
【入門】日本仏教の名僧・名著~親鸞編(1)親鸞と法然の違い
親鸞が「非僧非俗」と名乗った真意と妻・恵信尼の影響
賴住光子
「良き対話」とは?――哲学から考える(5)対話嫌いにならないために
1on1ミーティングなどで「対話」をやらされたり、不毛な対話経験をしたりすることで「対話嫌い」になってしまったら?
納富信留
ロシア人の見る「ロシアの歴史」(1)会ってみたプーチン…その実像
ロシア人の見る「ロシアの歴史」を知るとロシアがよくわかる・・・実際に会ってみたプーチンの印象とは?
上月豊久
編集部ラジオ2026(40)上月豊久先生のロシア史講義
【10min解説】日本人が知らない「ロシア史」の真髄
テンミニッツ・アカデミー編集部
チームパフォーマンスを高める心理的安全性(1)心理的安全性が注目される理由
なぜ今「心理的安全性」なのか、注目を集める背景に迫る
青島未佳
高齢者のフレイル・認知症とその予防対策(1)老年病科と高齢者の疾患・病態の特徴
頻尿、低栄養、転倒、誤嚥、フレイル…増える老年症候群と高齢者の疾患・病態の特徴
小川純人
「進化」への誤解…本当は何か?(1)進化の意味と生物学としての歴史
実は生物の「進化」とは「物事が良くなる」ことではない
長谷川眞理子
日本人とメンタルヘルス…心のあり方(1)米を食べる日本人と『分裂病と人類』
日本人の生きづらさの特徴は?~中井久夫著『分裂病と人類』
與那覇潤
民主主義の本質(1)近代民主主義とキリスト教
なぜ民主主義が「最善」か…法の支配とキリスト教的背景
橋爪大三郎
【入門】日本仏教の名僧・名著~道元編(1)道元の生涯と禅の歴史
禅の原点とは――中国から禅をもたらした道元の生涯に迫る
賴住光子