生成AIの致命的な「弱点」…！つくったもの「心がこもっていない」と感じる「科学的な」理由（田口 善弘,川原 繁人）

川原　今先生がおっしゃったことと『知能とはなにか』に書いてあることは、繋がっているように思います。物理量と心理量は、まったく違うものですよね。

田口　違いますね。

川原　「脳は現実のシミュレーターである」ということと密接に関わると思うんですが……科学的に、効率的に考えるのであれば、LLMで対談を作った方が「正しい」のかもしれない。だけれども、受け取る側の心理量は、必ずしもそれとは一致しませんよね。「心がこもっていることが大事」という主張が科学的かどうかは、「科学的」の定義にもよりますが、「非科学的」でもないんではないかと。今でも、メールより手書きの方が心がこもっていると感じる人はいるわけじゃないですか。

田口　そうですね笑

川原　その部分を非科学的・非効率的として切り捨てるのも一つの立場だとは思うんですけど、物理量と心理量は違うということは、もっと多くの人に知ってほしい笑

ATMを開発した人の奥さんは、ATMを意地でも使わなかったそうです。なぜかというと、銀行での窓口でするおしゃべりが大好きだったから。その愛しい時間を削って、機械を相手にすることの意味がわからないとおっしゃっていた。効率性を考えれば、銀行窓口へ行くよりもATMで下ろした方が楽。でも、人間の心理って不思議なもので、効率性だけを追求していった先に人間の幸福があるかはわからないんですよね。

田口　今のシミュレーターは、物理しかシミュレーションできない。そういう意味では、相手の心理もシミュレーションして対応できるようにならないと、やはり不完全なんですよね。

川原　そうですね。多分「心の理論」（Theory of Mind, ToM）を持っていないですから。

田口　今の生成AIには、心はシミュレーションできないから、『ジャイアントロボ』（横山光輝、初出1967年〜『週刊少年サンデー』／小学館）のロボのように、少年の命令に反して、地球を救うために自爆するということはできない。先ほどの倫理の話とも関係しますね。

川原　ChatGPTなどは、最終的に10%ほどは人間のフィードバックを介してトレーニングし直すというふうに言っていますが、それで身につくものなんでしょうか。ChatGPTに「爆弾の作り方を教えて」と言うと、ちゃんと「それはできません」と返すようになっている、というのはよく聞く話ですが……。

田口　だけど詐欺師というのは、本当は相手をまったく愛していないのに、相手に「自分は愛されている」と思わせることができる。別に中身はいらないですよね、明らかに。であれば、ChatGPTが同じことをできたとしても、おかしくはない。だけど、中身がないことに変わりはないから、やばいわけです。

川原　やばいと思いますよ。