生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要で無料視聴できます!
第1話へ
▶ この講義を再生
この講義の続きはもちろん、
6,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
(会員の方に広告は表示されません)
正解がタダ!?大規模言語モデルの「自己教師あり学習」とは
生成AI・大規模言語モデルのしくみ(3)言語モデルと「自己教師あり学習」
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
生成AIによる出力の精度を飛躍的に向上させた大規模言語モデル。はたしてこれまでの言語モデルとはどのような違いがあるのか。1940年代に出た言語モデルの原型を手始めにその仕組みを解説しながら、大規模言語モデルの画期性を解き明かす。キーワードは「自己教師あり学習」だ。(全6話中第3話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:10分14秒
収録日:2024年4月16日
追加日:2024年7月23日
≪全文≫

●単語の出現確率から文章を生成した初期の言語モデル


―― そういう話になってくると、ますます、どうやってそういう能力をいわゆるAIが身につけていくのかというところを、まず知った上でないと判断が難しいと思うのですが、早速その話に入っていきたいと思います。

 まず挙げていただいた言語モデルというところですね。これはどういうことになりますでしょうか。

岡野原 大規模言語モデルの「言語モデル」という部分に関して、まず説明させていただきます。

 言語モデル(ランゲージモデル)というのは、今の大規模言語モデルがこれだけブームになるよりずっと前からある分野です。それこそ、情報理論を発明して、今のコンピュータの礎をつくったシャノンという有名な研究者が1940年代に出したいちばん最初の情報理論の論文にも、その言語モデルの原型が出ています。

 この言語モデルでは、今のような文章を丸ごと生成するのは難しいので、1単語ずつ順番に生成していきます。まず最初に、いろいろあり得る単語の候補の中で「私」というのが出る確率を出すようなモデルを用意します。

 例えば、「私」というのはありとあらゆる単語の中で0.005の確率で出現する(とする)。いちばん出やすいのは、例えば「東京」とか、もっと別の単語かもしれないですけれど、たまたまサイコロを振ったら「私」が出る確率が0.005と設定します。次に、「私」の次に何の単語が出やすいかという確率を用意します。例えば「は」が0.02(の確率で)出る(とする)。

 こういうふうに、何か文字列を生成しよう、確率を与えようという場合に、まず1単語目がどういう確率で出るか。次に、1単語目に決めたものの次の2単語目に何が出やすいかということで決める。3単語目は、1単語目と2単語目の次に何が出やすいのかということを決める。こういう形で、単語列というものに対して、これがサイコロを振ったらどれくらいの確率で出るのかということを出せるようなモデルが、言語モデルになっています。

―― そうすると、その先ほどから意味の部分の話をしていますけれど、(むしろ)意味というよりは、確率でどれが確からしいかというところで並べ替えていくということですね。

岡野原 そうです。まさに今、非常に重要なところを話してもらいました。人間ですとどうしても、こういう...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
(会員の方に広告は表示されません)
「科学と技術」でまず見るべき講義シリーズ
「宇宙の創生」の仕組みと宇宙物理学の歴史(1)宇宙の階層構造
「宇宙の階層構造」誕生の謎に迫るのが宇宙物理学のテーマ
岡朋治
発酵はマジックだ!
色を消し、脂を溶かし、水を分解―スゴすぎる発酵の力!
小泉武夫
水から考える「持続可能」な未来(1)気候変動の現在地
最悪10メートル以上海面上昇…将来に禍根残す温暖化の影響
沖大幹
知能と進化(1)知性と身体性
AI、ディープラーニングとは…知能と身体性は不可分か?
長谷川眞理子
ブラックホールとは何か(1)私たちが住む銀河系
太陽系は銀河系の中で塵のように小さな存在でしかない
岡朋治
断熱から考える一年中快適で健康な住環境(1)日本の住宅の実態と問題点
なぜ日本は夏暑く、冬寒いのか…断熱から考える住宅の問題
前真之

人気の講義ランキングTOP10
「良き対話」とは?――哲学から考える(6)プラトン『ゴルギアス』の教え
対話は着地しなくてもいい…プラトン『ゴルギアス』が描くソクラテスの対話は破綻しているが、それでも豊かで麗しい
納富信留
【入門】日本仏教の名僧・名著~親鸞編(1)親鸞と法然の違い
親鸞が「非僧非俗」と名乗った真意と妻・恵信尼の影響
賴住光子
ロシア人の見る「ロシアの歴史」(1)会ってみたプーチン…その実像
ロシア人の見る「ロシアの歴史」を知るとロシアがよくわかる・・・実際に会ってみたプーチンの印象とは?
上月豊久
編集部ラジオ2026(40)上月豊久先生のロシア史講義
【10min解説】日本人が知らない「ロシア史」の真髄
テンミニッツ・アカデミー編集部
「満洲」から考える日本とアジア(1)「満洲」を知る意義とは
「満洲史」はなぜ現代日本でタブー視されるのか?…王道楽土の夢とアヘンなどの裏面から見えてくる現代への教訓
宮脇淳子
和食の深い秘密~なぜ身体に良いのか(1)和食の特徴と日本人
日本人は地球上最もベジタリアンだった?和食の7つの基本
小泉武夫
ポスト国連と憲法9条・安保(1)国連の構造的問題
核保有する国連常任理事国は、むしろ安心して戦争できる
橋爪大三郎
人生100年時代の「ライフシフト概論」(1)人生100年時代のインパクト
80歳まで現役でいるために大切なこと…人生100年時代の発想法
徳岡晃一郎
仏教とキリスト教が照らし出す日本の宗教(5)「原則なし」の日本
世界は「原則」でできているが、日本は「原則はなし」にする
橋爪大三郎
AI大格差~最新研究による仕事と給料の未来(1)最新研究から見えてくる未来像
AI大格差…なぜ日本の雇用環境では「ショックが大きい」のか?
宮本弘曉