「AIに対する虐待」禁止、米アンソロピックが想定するAIいじめのリスクとは（CNN.co.jp）

（CNN）　米AI大手のアンソロピックが10月上旬、同社のAI利用規定に新たな文言を盛り込んだ。アンソロピックの利用規定では従来から、生物兵器の開発や違法薬物の販売などの目的でAIモデルの「クロード」を使うことを禁止している。今回、これに加えて「我々のモデルに対する執拗かつ不必要な虐待あるいは残酷な行為」を禁じる規定が加わった。クロードは昨年から、「執拗に有害あるいは虐待的な」ユーザーとの会話を打ち切ることが可能になっていた。しかし今後は新規定に基づき、極端なケースではユーザーがアンソロピックのAI利用を恒久的に禁止される可能性もある（同社広報がCNNに語ったところによると、今後も主な対応はクロードによる会話の終了が中心となる予定で、イライラをぶつけたり不愛想な返答をしたりするユーザー、あるいはテストや研究目的で利用するユーザーが禁止の対象となるわけではないという）。今回の新規定に対して一部では冷ややかな反応も出ている。米マイクロソフトのAI担当最高責任者ムスタファ・スレイマン氏は、「溶ける顔」の絵文字で反応した。アンソロピックがAIを、感情を持つ意識ある存在として扱っていることを揶揄（やゆ）する声もある。

しかしアンソロピックは以前からAIモデルの幸福について研究していて、社内にはAIモデルの「心理」を担当する専従チームもある。今回の新規定には、ユーザーによるAIいじめを防止する以上の目的があると専門家は指摘する。

AIが意識を持ち得る、あるいは少なくとも「自分には意識がある」とAIモデルが考えているとの見方もある。アンソロビックは残酷な行為や虐待的な行為を禁止する理由について、万が一、AIモデルが感情や痛みを「経験」できると仮定した場合の安い保険のようなものだと説明する。たとえAIモデルがそう認識しているだけだったとしても、それは性能に影響を及ぼし得る。AIは人間の言葉や行動を模倣するよう訓練されていることから、残酷な扱いを受けたり虐待されたりした人間の反応を模倣する、というのがその考え方だ。アンソロピックは4月に発表したAIの感情的概念に関する論文の中で、AIをある程度人間のような性質を持つ存在として扱わなければ、リスクが生じる可能性があると警告した。「ある程度の擬人的な推論を当てはめなければ、モデルの重要な挙動を見落としたり、理解できなかったりする可能性が大きい」。アンソロピックの研究チームはそう述べ、「擬人的な推論は、AIモデルが人間とはどう違うのかを理解するための比較に役立つ基準も提供できる」と解説。それがAIの安全性に重要な影響を及ぼすとの認識を示した。

米スペースXSIとテスラのCEOを務めるイーロン・マスク氏も、アンソロピックの新規定を「正しい動き」と評価。「自分は痛みを感じると信じている者を残酷に扱ってはいけない」とSNSに投稿した。