●経済学はパラメータをあらかじめ限定して理論を構築してきた
柳川 前回松尾先生が言われた点は、先ほどの経済学の分析でも、かなり重要です。「理論」として前回申しあげた話は、説明変数のパラメータをある程度、理論で最初から絞ったものです。これは自然科学でも、おそらくそうだったのだと思います。
ある種の行動を説明したり規定したりする理由には、いくつかの可能性があります。例えば、我々が今日コーヒーを飲んだとします。その際、なぜコーヒーを飲んだのかについては、いろいろな可能性があります。例えば、喉が渇いていたか、その人が本質的に紅茶よりコーヒーが好きかどうかなどが、コーヒーを飲むことに大きく影響されるだろうと推測（guess）されます。そこで、これらをパラメータ化することで、コーヒーを飲むか飲まないかという現象が説明されるかどうかということを、その候補のパラメータについて調べます。
しかし、影響する無限の可能性を全部入れると、とても計算やデータの分析はできません。砂漠のなかで宝石を探すに近いようなことにもなりかねません。そこである種、現実的な対応として、「こういうものが重要だろう」という候補を挙げて、そのパラメータに関してだけ、データを分析し、結果との相関を見るということをやってきました。
●AIによってデータから理論を構築することが可能になるかも
柳川 松尾さんが言ったような多数パラメータの話は、最初からある種の推測を追ってパラメータの候補を見てしまうと、場合によってはすごく大きな不十分性をもたらしてしまうということです。ディープラーニングでは、あまり制約をせずに、全てのパラメータを見ることによって、重要なパラメータを見つけ出すことができます。これは、より正確に相関関係を見つけ出すことにもつながります。
さらに、結果から2つのパラメータに相関があるのかを虚心坦懐に見ることで、新しい理論をつくることができるかもしれません。もともとは、理論から実証、あるいは理論からデータを見るという流れだったのが、データからAIを通して理論を組み立てていくという流れになるということが、今、起きつつあるのかなと思います。
●表現力の高いモデルを理解するのは難しい
松尾 そうですね。例えば、がんの発症を分析するのに、いろいろなデータを使います。最近明らかになったのは、入れる特徴量（学習の入力として使う測定可能な特性）には、ロングテイル性があるということです。だから、ヘッドの変数に絞っても、推定はそこそこ当たるのですが、伸ばしていくとどんどん当たるようになってくるので、結局全部入れたほうが良いということになります。
そうした構造は、がんの発症の分析だけでなく、結構いろいろなところにあるのかもしれません。リソースが少ないときには、やはりヘッドの部分の要因だけに注目し、そこでモデルをつくる必要があったと思うのですが、精度を上げたいのであれば、全部含めたほうが良いということになります。そうすると、データが多く、パラメータも多い、表現力の高いというモデルを使ったほうが良いことになります。
そうすると今度は、モデル化できることと理解することとのギャップが出てきます。このギャップとは、一体何なのでしょうか。僕はある種諦めのような、「分かんないけれども正しい」ということを認めざるを得ないようになると思っています。これは別に変なことではなくて、例えば熟練の職人さんが「なんか分かんないけど、これ、ダメだよ」と言っているのは、まさにこうした多数パラメータ系を学習して言っているようなことです。
●人は理由の説明できないモデルを実際に使っている
松尾 これは、その理由をうまく説明できるかどうかとは全く別の話です。「なんか分かんないけど」良いとか、悪いとか言っている。例えば、僕らが学生の卒論の指導をしているときに「あ、これはちょっとダメだな」とか、「あ、これは良いかもな」と思うような状況があるとします。でも、「じゃあ、どこで見て言っているんですか？」と言われても、それは困るのです。これも、多数パラメータ系の学習をしている状況です。
われわれが生きる社会では、こうした多数パラメータ系の、理由が説明できないモデルを実際に使っています。これは確かで、人が脳のなかで学習しているものです。それが今度は、AIという形で外在化して学習されたときに、それを信用して使えるのか、あるいはそこに何か説明があったときに、それによってどのぐらい安心できるのか、という問題が出てきます。このあたりに、もう少し自覚的になる必要があるのではないかと思います。
●AI的に多数パラメータを捉える仕組みとは
―― 理解を深めるためにお聞きしたいのですが、多数パラメータをAI的に捉えるという...
