生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要で無料視聴できます!
第1話へ
▶ この講義を再生
この講義の続きはもちろん、
6,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
(会員の方に広告は表示されません)
正解がタダ!?大規模言語モデルの「自己教師あり学習」とは
生成AI・大規模言語モデルのしくみ(3)言語モデルと「自己教師あり学習」
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
生成AIによる出力の精度を飛躍的に向上させた大規模言語モデル。はたしてこれまでの言語モデルとはどのような違いがあるのか。1940年代に出た言語モデルの原型を手始めにその仕組みを解説しながら、大規模言語モデルの画期性を解き明かす。キーワードは「自己教師あり学習」だ。(全6話中第3話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:10分14秒
収録日:2024年4月16日
追加日:2024年7月23日
≪全文≫

●単語の出現確率から文章を生成した初期の言語モデル


―― そういう話になってくると、ますます、どうやってそういう能力をいわゆるAIが身につけていくのかというところを、まず知った上でないと判断が難しいと思うのですが、早速その話に入っていきたいと思います。

 まず挙げていただいた言語モデルというところですね。これはどういうことになりますでしょうか。

岡野原 大規模言語モデルの「言語モデル」という部分に関して、まず説明させていただきます。

 言語モデル(ランゲージモデル)というのは、今の大規模言語モデルがこれだけブームになるよりずっと前からある分野です。それこそ、情報理論を発明して、今のコンピュータの礎をつくったシャノンという有名な研究者が1940年代に出したいちばん最初の情報理論の論文にも、その言語モデルの原型が出ています。

 この言語モデルでは、今のような文章を丸ごと生成するのは難しいので、1単語ずつ順番に生成していきます。まず最初に、いろいろあり得る単語の候補の中で「私」というのが出る確率を出すようなモデルを用意します。

 例えば、「私」というのはありとあらゆる単語の中で0.005の確率で出現する(とする)。いちばん出やすいのは、例えば「東京」とか、もっと別の単語かもしれないですけれど、たまたまサイコロを振ったら「私」が出る確率が0.005と設定します。次に、「私」の次に何の単語が出やすいかという確率を用意します。例えば「は」が0.02(の確率で)出る(とする)。

 こういうふうに、何か文字列を生成しよう、確率を与えようという場合に、まず1単語目がどういう確率で出るか。次に、1単語目に決めたものの次の2単語目に何が出やすいかということで決める。3単語目は、1単語目と2単語目の次に何が出やすいのかということを決める。こういう形で、単語列というものに対して、これがサイコロを振ったらどれくらいの確率で出るのかということを出せるようなモデルが、言語モデルになっています。

―― そうすると、その先ほどから意味の部分の話をしていますけれど、(むしろ)意味というよりは、確率でどれが確からしいかというところで並べ替えていくということですね。

岡野原 そうです。まさに今、非常に重要なところを話してもらいました。人間ですとどうしても、こういう...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
(会員の方に広告は表示されません)
「科学と技術」でまず見るべき講義シリーズ
「進化」への誤解…本当は何か?(1)進化の意味と生物学としての歴史
実は生物の「進化」とは「物事が良くなる」ことではない
長谷川眞理子
断熱から考える一年中快適で健康な住環境(1)日本の住宅の実態と問題点
なぜ日本は夏暑く、冬寒いのか…断熱から考える住宅の問題
前真之
海底の仕組みと地球のメカニズム(1)海底の生まれるところ
地球上の火山活動の8割を占める「中央海嶺」とは何か
沖野郷子
知性の進化と科学技術文明の未来(1)ヒトは本当に賢いか
なぜ人類は進化できたか?…5つの環境要因と脳の発達
長谷川眞理子
「宇宙の創生」の仕組みと宇宙物理学の歴史(1)宇宙の階層構造
「宇宙の階層構造」誕生の謎に迫るのが宇宙物理学のテーマ
岡朋治
ブラックホールとは何か(1)私たちが住む銀河系
太陽系は銀河系の中で塵のように小さな存在でしかない
岡朋治

人気の講義ランキングTOP10
ロシア人の見る「ロシアの歴史」(10)「国民統一の日」と愛国主義への転換
「革命記念日」を「国民統一の日」に…プーチンが歴史を語るときには裏がある。その隠された意図をどう読み解くか
上月豊久
ポスト国連と憲法9条・安保(1)国連の構造的問題
核保有する国連常任理事国は、むしろ安心して戦争できる
橋爪大三郎
ソニー流「人的資本経営と新規事業」成功論(1)人を真に活かす人事評価とは
ソニー流の「人材論」「新規ビジネス論」を具体的に語ろう
水野道訓
編集部ラジオ2026(41)片山杜秀先生がゴジラで語る文明論
【10min解説】『ゴジラ-0.0』と伊福部昭で考える西洋vs.東洋&日本
テンミニッツ・アカデミー編集部
ロシアのハイブリッド戦争と旧ソ連諸国(1)ロシアの勢力圏構想とNATO拡大
「ハイブリッド戦争」の実像…ロシアが考えていることとは何か?
廣瀬陽子
「良き対話」とは?――哲学から考える(6)プラトン『ゴルギアス』の教え
対話は着地しなくてもいい…プラトン『ゴルギアス』が描くソクラテスの対話は破綻しているが、それでも豊かで麗しい
納富信留
おもしろき『法華経』の世界(1)法華経はSFだ!
法華経はSFだ!…心を元気にしてくれる法華経入門
鎌田東二
近現代史に学ぶ、日本の成功・失敗の本質(6)東條内閣で行われた行政改革
悲惨な末路につながった東條英機内閣での兼職と省庁再編
片山杜秀
海底の仕組みと地球のメカニズム(1)海底の生まれるところ
地球上の火山活動の8割を占める「中央海嶺」とは何か
沖野郷子
「満洲」から考える日本とアジア(1)「満洲」を知る意義とは
「満洲史」はなぜ現代日本でタブー視されるのか?…王道楽土の夢とアヘンなどの裏面から見えてくる現代への教訓
宮脇淳子