●単語の出現確率から文章を生成した初期の言語モデル
―― そういう話になってくると、ますます、どうやってそういう能力をいわゆるAIが身につけていくのかというところを、まず知った上でないと判断が難しいと思うのですが、早速その話に入っていきたいと思います。
まず挙げていただいた言語モデルというところですね。これはどういうことになりますでしょうか。
岡野原 大規模言語モデルの「言語モデル」という部分に関して、まず説明させていただきます。
言語モデル（ランゲージモデル）というのは、今の大規模言語モデルがこれだけブームになるよりずっと前からある分野です。それこそ、情報理論を発明して、今のコンピュータの礎をつくったシャノンという有名な研究者が1940年代に出したいちばん最初の情報理論の論文にも、その言語モデルの原型が出ています。
この言語モデルでは、今のような文章を丸ごと生成するのは難しいので、1単語ずつ順番に生成していきます。まず最初に、いろいろあり得る単語の候補の中で「私」というのが出る確率を出すようなモデルを用意します。
例えば、「私」というのはありとあらゆる単語の中で0.005の確率で出現する（とする）。いちばん出やすいのは、例えば「東京」とか、もっと別の単語かもしれないですけれど、たまたまサイコロを振ったら「私」が出る確率が0.005と設定します。次に、「私」の次に何の単語が出やすいかという確率を用意します。例えば「は」が0.02（の確率で）出る（とする）。
こういうふうに、何か文字列を生成しよう、確率を与えようという場合に、まず1単語目がどういう確率で出るか。次に、1単語目に決めたものの次の2単語目に何が出やすいかということで決める。3単語目は、1単語目と2単語目の次に何が出やすいのかということを決める。こういう形で、単語列というものに対して、これがサイコロを振ったらどれくらいの確率で出るのかということを出せるようなモデルが、言語モデルになっています。
―― そうすると、その先ほどから意味の部分の話をしていますけれど、（むしろ）意味というよりは、確率でどれが確からしいかというところで並べ替えていくということですね。
岡野原 そうです。まさに今、非常に重要なところを話してもらいました。人間ですとどうしても、こういう...
