生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要無料視聴できます!
▶ 第1話を無料視聴する
閉じる
この講義の続きはもちろん、
5,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
正解がタダ!?大規模言語モデルの「自己教師あり学習」とは
生成AI・大規模言語モデルのしくみ(3)言語モデルと「自己教師あり学習」
科学と技術
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
生成AIによる出力の精度を飛躍的に向上させた大規模言語モデル。はたしてこれまでの言語モデルとはどのような違いがあるのか。1940年代に出た言語モデルの原型を手始めにその仕組みを解説しながら、大規模言語モデルの画期性を解き明かす。キーワードは「自己教師あり学習」だ。(全6話中第3話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:10分14秒
収録日:2024年4月16日
追加日:2024年7月23日
≪全文≫

●単語の出現確率から文章を生成した初期の言語モデル


―― そういう話になってくると、ますます、どうやってそういう能力をいわゆるAIが身につけていくのかというところを、まず知った上でないと判断が難しいと思うのですが、早速その話に入っていきたいと思います。

 まず挙げていただいた言語モデルというところですね。これはどういうことになりますでしょうか。

岡野原 大規模言語モデルの「言語モデル」という部分に関して、まず説明させていただきます。

 言語モデル(ランゲージモデル)というのは、今の大規模言語モデルがこれだけブームになるよりずっと前からある分野です。それこそ、情報理論を発明して、今のコンピュータの礎をつくったシャノンという有名な研究者が1940年代に出したいちばん最初の情報理論の論文にも、その言語モデルの原型が出ています。

 この言語モデルでは、今のような文章を丸ごと生成するのは難しいので、1単語ずつ順番に生成していきます。まず最初に、いろいろあり得る単語の候補の中で「私」というのが出る確率を出すようなモデルを用意します。

 例えば、「私」というのはありとあらゆる単語の中で0.005の確率で出現する(とする)。いちばん出やすいのは、例えば「東京」とか、もっと別の単語かもしれないですけれど、たまたまサイコロを振ったら「私」が出る確率が0.005と設定します。次に、「私」の次に何の単語が出やすいかという確率を用意します。例えば「は」が0.02(の確率で)出る(とする)。

 こういうふうに、何か文字列を生成しよう、確率を与えようという場合に、まず1単語目がどういう確率で出るか。次に、1単語目に決めたものの次の2単語目に何が出やすいかということで決める。3単語目は、1単語目と2単語目の次に何が出やすいのかということを決める。こういう形で、単語列というものに対して、これがサイコロを振ったらどれくらいの確率で出るのかということを出せるようなモデルが、言語モデルになっています。

―― そうすると、その先ほどから意味の部分の話をしていますけれど、(むしろ)意味というよりは、確率でどれが確からしいかというところで並べ替えていくということですね。

岡野原 そうです。まさに今、非常に重要なところを話してもらいました。人間ですとどうしても、こういう...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
「科学と技術」でまず見るべき講義シリーズ
進化生物学から見た「宗教の起源」(1)宗教の起源とトランス状態
私たちにはなぜ宗教が必要だったのか…脳の働きから考える
長谷川眞理子
未来を知るための宇宙開発の歴史(1)宇宙開発の流れを概観する
宇宙開発の歴史、そして未来へ…6枚の写真で概観する
川口淳一郎
「宇宙の創生」の仕組みと宇宙物理学の歴史(1)宇宙の階層構造
「宇宙の階層構造」誕生の謎に迫るのが宇宙物理学のテーマ
岡朋治
ヒトの性差とジェンダー論(1)「性」とは何か
MLBのスーパースターも一代限り…生物学から迫る性の実態
長谷川眞理子
海底の仕組みと地球のメカニズム(1)海底の生まれるところ
地球上の火山活動の8割を占める「中央海嶺」とは何か
沖野郷子
2050年「プラチナ社会」実現への挑戦(1)「プラチナ社会」実現のルーツと現況
2025年頭所感~5つのプラチナ産業イニシアティブ創りへ
小宮山宏

人気の講義ランキングTOP10
数学と音楽の不思議な関係(4)STEAM教育でつくる喜びを全ての人に
世界で最もクリエイティブな国は? STEAM教育が広がる理由
中島さち子
続・日本人の「所得の謎」徹底分析(2)政府債務と預金残高の背景
なぜ日本の所得水準は低いのに預金残高は大きいのか
養田功一郎
経験学習を促すリーダーシップ(2)経験から学ぶ力
米長邦雄のアンラーニング、弟子の弟子になってV字成長
松尾睦
「集権と分権」から考える日本の核心(5)島国という地理的条件と高い森林率
各々の地でそれぞれ勝手に…森林率が高い島国・日本の特徴
片山杜秀
外交とは何か~不戦不敗の要諦を問う(1)著書『外交とは何か』に込めた思い
外交とは何か…いかに軍事・内政と連動し国益を最大化するか
小原雅博
未来を知るための宇宙開発の歴史(9)宇宙開発を継続するための国際月探査
「国際月探査」とは?アルテミス合意と月探査の意味
川口淳一郎
第2の人生を明るくする労働市場改革(1)日本の労働市場が抱える問題
シニアの雇用、正規・非正規の格差…日本の労働市場の問題
宮本弘曉
戦前日本の「未完のファシズム」と現代(8)満州事変と世界大恐慌
「100年戦争」と考えて戦争に突入した日本の現実
片山杜秀
弥生人の実態~研究結果が明かす生活と文化(1)弥生時代はいつ始まったのか
なぜ弥生時代の始まりが600年も改まった?定説改訂の背景
藤尾慎一郎
海底の仕組みと地球のメカニズム(1)海底の生まれるところ
地球上の火山活動の8割を占める「中央海嶺」とは何か
沖野郷子