●周辺情報を分析してふさわしい単語を推測する
―― そういうパターンが実際にどういうふうにできているのかというのは、また次のところですね。
岡野原 そうですね。ここに具体的に例文を挙げて、どれくらい理解していないと、ここは当てられないかという話をさせていただければと思います。
ここに例文で挙げているのは、「こうしたことから、私は父と一緒に***へ行き相談した」です。この「***」の部分を当てるという話なのですけれど、この部分を当てようと思った場合に、ヒントはいっぱい周りにあるわけです。例えば、「私」と「父」という言葉が出ているので、私が何者か――たとえば私が先生だとか、父が実は病気がちだとか――、そういう情報がもし分かっていれば、「ここは病院ではないか」と当たりそうですよね。
そういう形で、周りの文章の中でヒントになっている情報があって、それがあれば、少しでもここに入ってくる単語を当てられる可能性が上がります。
ここで重要なのは「少しでも」ということで、間違えるたびに、大規模言語モデルはせっせと「何が悪かったのか」「どこでヒントを使えたのか」ということを、たくさんのパラメータの中で持っていて、そこのパラメータを次から使うように変えようということが起きてくるのです。
しかも、今話した「私」とか「父」とか「こうしたことから」というのは、この場では書かれていなくて、それより前の部分に書かれています。「私」は前で登場して、その周辺の文章ではどう言っていたのかということも、情報を集めて持ってこなければいけないのです。
例えば、こういう文章を読もうとしたときに、今のような、「どの単語がどの単語と関係していて、こういう係り受け関係だ、意味は何か」ということを、それこそ言語の専門家の方が設計してやっていたのが、今言った話を全部、人間が何も与えなくてもたくさんの単語を予測するという問題を解くだけで勝手に獲得していくというのが、大規模言語モデルが内部でやっている「自己教師あり学習」になります。
―― 岡野原さんの本を読んでいてもすごく印象深かったのですが、だから人間からすると、なぜそうなっているのかということが分からないのですよね。
岡野原 そうですね。今はもう少し技術が進んでいるので、実際に学習したモデルを解剖し...
