●言語モデルの能力〈1〉少ないデータ数で学習できる
―― それをやったために、いろいろな能力が生み出されてきているということになるわけですね。
岡野原 そうですね。この（スライドにある）「創発」というのは、「いろいろな種類の能力が突然できる」という話なのですけれど、もう少し違う種類も含めて、4つ紹介させていただきます。
1つ目は、大規模言語モデルの何がすごいかというと「少ないデータで学習ができる」ことです。これは、先ほど（第2話で）説明した機械学習のグランドチャレンジだったことの1つで、普通は、機械学習はたくさんデータを見せないと学習してくれません。犬猫を分類したいという場合でも、1000回くらい犬と猫を見せないと学習してくれないのです。
人間だと、1回見たら、（あるいは）写真を見せたら、新しい動物でも（それが何のことか）いえますけれど、今のAIは残念ながらいえなかったのです。
ところが、大規模言語モデルの場合ですと、少ない枚数、例えば5回だとか10回だけ例を見せてあげると、実際にその問題の例に合わせてその場で学習して、それが解けるようになります。
なので、よく大規模言語モデルを利用する場合は、最初にこういう場合はこうしてくださいという例を5つくらい見せる場合があるのですけれど、それで内部で実際に性能がグッと上がっているということが分かっています。
この上がる能力ですが、大規模言語モデル以外では1000回くらいデータを見せないといけなかったものと、10回しか見せていない大規模言語モデルが、だいたい同じくらいの性能で達成できています。
―― これはまた基本的な質問になってしまうのですけれど、1回、「べき乗則」でたくさんのデータを読み込ませたものだと、新しいデータがすぐ読めるようになるということですか。
岡野原 そうです。
―― そういう形ですね。なるほど。1回そういうものができてしまったら、そこから先はすごく速いのですね。
岡野原 そうです。
―― どこかの境界線を超えたらすごく速いということになるわけですね。
岡野原 少したとえが正確ではないのですけれど、ある意味、大規模言語モデルは、ものすごくいろいろな練習をしているスーパーアスリートみたいなものです。運動...
