生成AI・大規模言語モデルのしくみ
この講義シリーズは第2話まで
登録不要で無料視聴できます!
第1話へ
▶ この講義を再生
この講義の続きはもちろん、
6,000本以上の動画を好きなだけ見られる。
スキマ時間に“一流の教養”が身につく
まずは72時間¥0で体験
(会員の方に広告は表示されません)
大規模言語モデルを成功させた要因「Transformer」とは
生成AI・大規模言語モデルのしくみ(5)言語モデルの大規模化とTransformer
岡野原大輔(株式会社Preferred Networks 共同創業者、代表取締役 最高研究責任者)
大規模言語モデルを成功させた要因の1つに“Transformer”と呼ばれる言語モデルの登場がある。Transformerは、必要な情報を取り出す「注意機構」と、長期的な記憶から情報を探索する「MLPブロック」によって構成されるのだが、この“Transformer”の場合は、大規模化することで、どこまで性能が上がるかがクリアにわかるようになった。それが「べき乗則」と呼ばれるものである。そして、さらに予想外のことも起こっているという。いったいどういうことなのか。Transformerモデルの画期性とともにその詳細を解説する。(全6話中第5話)
※インタビュアー:川上達史(テンミニッツTV編集長)
時間:8分39秒
収録日:2024年4月16日
追加日:2024年8月6日
≪全文≫

●自己注意機構とMLPブロックで構成される“Transformer”モデル


―― 次にTransformerというところですね。

岡野原 そうですね。このTransformerが、今(第5話で)説明した「注意機構」と、もう1つ、記憶の主翼を担っている「MLPブロック」と呼ばれるモデルで構成されています。ちなみにこのTransformerがある種、今の大規模言語モデルを成功させた主要因の1つだといわれています。

 このTransformerも、「注意」のしくみを元にすると簡単な話で、中身は2つからなっています。

 1つは説明した「注意」、どこから情報を持ってくるのかという部分です。では「注意」でどこから情報を持ってきますかというと、前のときの、どこかの自分の処理の途中結果を取ってくるのです。これがたくさんあって、自分の処理の途中結果を集めてくる。例えば、「彼」というところにあるブロックの周りから、この「彼」というところに情報を集めてくる。(つまり)「彼」に関する情報を集めてくるのです。

 次に、「彼」に溜まっている情報と別の場所の単語を「この情報、自分がほしいから取ってください」というように、「自己注意機構」でどんどん情報を行き来させる。これが1つです。

 もう1つ、この(スライドの)右側の「MLPブロック」というのは何を実現しているかというと、長期記憶です。今見ている文章ではない、過去に読んだ文章でも、たくさん役に立つ情報はもちろんあるわけです。例えば、「病院というのはこういう機能を持っていますよ」だとか、「こういう人が行きやすいですね」だとか、そういう情報がものすごく大量に詰まっているのです。

 Transformerは、この2つが、たくさん組み合わさってできているモデルになっている。次の単語を予測するために、「自己注意機構」で周りからどんどん必要な情報を集めてくる。さらには、今の文章ではない、昔読んだ文章からもどんどん情報を持ってこなければいけないということで、「MLPブロック」からも情報を集める。これが100層とか、何回も処理されて、ここまでやってようやく1つの単語を予測するというモデルになっています。

―― なるほど。今のお話を聞いていると、たしかに「理解」というものにだいぶ近くなっている気がしますね。

岡野原 そうですね。なので、1個1個がやっていること自体は、ものすごく単純な...

スキマ時間でも、ながら学びでも
第一人者による講義を1話10分でお届け
さっそく始めてみる
(会員の方に広告は表示されません)
「科学と技術」でまず見るべき講義シリーズ
性はなぜあるのか~進化生物学から見たLGBT(1)有性生殖と無性生殖
なぜ雄と雌の2つの性別があるのか…「性」の謎とLGBT
長谷川眞理子
知性の進化と科学技術文明の未来(1)ヒトは本当に賢いか
なぜ人類は進化できたか?…5つの環境要因と脳の発達
長谷川眞理子
水から考える「持続可能」な未来(1)気候変動の現在地
最悪10メートル以上海面上昇…将来に禍根残す温暖化の影響
沖大幹
生成AI・大規模言語モデルのしくみ(1)生成AIとは何か
10年で劇的な進歩を遂げた生成AIと日本の開発事情
岡野原大輔
IoTとは何か~モノのインターネットの本質(1)TRONは究極の「縁の下の力持ち」
坂村教授が開発したTRON―知られざる世界標準
坂村健
現在の宇宙の姿(1)星はなぜ自ら輝くのか
星はなぜ自ら輝くのか…宇宙と銀河の「現在の姿」を概観する
岡村定矩

人気の講義ランキングTOP10
ロシア人の見る「ロシアの歴史」(9)エカテリーナ2世・ニコライ1世
リベラル志向と強権政治、戦勝と敗戦の波にもまれた皇帝たち…エカテリーナ2世、ニコライ1世、アレクサンドル2世
上月豊久
地政学入門 歴史と理論編(1)地政学とは何か
地政学をわかりやすく解説…地政学の「3つの柱」とは?
小原雅博
編集部ラジオ2026(40)上月豊久先生のロシア史講義
【10min解説】日本人が知らない「ロシア史」の真髄
テンミニッツ・アカデミー編集部
「良き対話」とは?――哲学から考える(6)プラトン『ゴルギアス』の教え
対話は着地しなくてもいい…プラトン『ゴルギアス』が描くソクラテスの対話は破綻しているが、それでも豊かで麗しい
納富信留
大統領に告ぐ…硫黄島からの手紙の真実(2)翻訳に込めた日米の架け橋への夢
アメリカ人の心を震わせた20歳の日系二世・三上弘文の翻訳
門田隆将
百人一首の和歌(1)謎の多い『百人一首』
『百人一首』の歌が選ばれた理由とは?今も残る3つの謎
渡部泰明
高齢者のフレイル・認知症とその予防対策(1)老年病科と高齢者の疾患・病態の特徴
頻尿、低栄養、転倒、誤嚥、フレイル…増える老年症候群と高齢者の疾患・病態の特徴
小川純人
ポスト国連と憲法9条・安保(1)国連の構造的問題
核保有する国連常任理事国は、むしろ安心して戦争できる
橋爪大三郎
「アメリカの教会」でわかる米国の本質(3)回心と覚醒
「回心」「覚醒」…アメリカを突き動かす「信仰復興の波」
橋爪大三郎
人生100年時代の「ライフシフト概論」(8)変身資産を磨く
80歳まで現役へ、磨くべき「5つの変身資産」とは何か
徳岡晃一郎