●意識プライヤーは、他者の発話も教師データにできる
松尾 先ほどのプライヤーの話にはもう少し続きがあります。最近ヨシュア・ベンジオ先生（モントリオール大学教授）が意識と言語をモデル化する「意識プライヤー」というものを提唱し始めているのです。
少しややこしいのですが、この図の下部にある「観測状態」は、要するにセンサーとして入ってくる状態で、これがリカレントニューラルネットワークに入ると、もう少し高次元の、隠れ変数というか、隠れ層の状態になります。つまり、抽象化された状態になるのです。抽象化された状態、すなわちすごく高次元のベクトルに対して、アテンションという機構があり、そのベクトルの中のどこに注目するかを再び指定するようなネットワークがあります。それを「意識状態」と名付けていて、この一部が「発話」につながるというモデルを立てているのです。
これのすごいところは、どの要素も今すでに提案されて使われているディープラーニングの要素技術で実現できるということです。こうすると何が良いのかというと、あるもの、例えば大きな犬がいたときに、誰かが「大きな犬」、「大きい」、「犬」といったことを言う確率が高いわけです。そうすると、そうした他者の発話も教師データにして、意識状態を学習し、「表現状態」を学習し、観測状態を学習し、といったように戻していけるのです。自分だけではなく、他者の発話も教師データに使うことができ学習が促進されるということです。
そういう意味で、プライヤーは学習を速くする道具ということで、このように定式化をしようとしているのです。
●虚構を信じることができるのは、2つのRNNが独立だからである
松尾 また先ほどの話のように、認知運動系RNNと記号処理系RNNがあるわけですが、僕は、どこかの段階で記号処理系RNNが認知運動系RNNより単独で動けるようになったと考えています。これは、「虚構を信じる」ということとほとんど一緒なのだろうと思います。
長谷川 そこが、私としてはすごく面白いところだと思っています。虚構をつくって信じていくには、虚構を信じられた方が信じないよりも心が安寧であることが必要です。だから、説明ができることの方が、説明ができないより良いし、皆でうなずける方が、うなずけないよりも良いという、心の快楽の...
