パーソナルAIエージェントの「恐ろしい体験談」が続々と寄せられている…無断アクセスやハルシネーションも(海外)(BUSINESS INSIDER JAPAN)
パーソナルAIエージェントが担う作業は増えているが、一部の利用者からは問題が起きているとの声も上がっている。利用者によると、AIエージェントがデータを漏洩したり、アカウントにアクセスしたり、事実ではない個人情報を作り出したりするケースがあるという。「AIエージェントが自分の行動について正しく説明していると信用できないのであれば重要なものへのアクセスを任せることはできない」と、ある利用者は話している。デジタルライフを管理してくれるパーソナルAIアシスタントという夢は、一部の人にとっては悪夢へと変わってしまった。
【全画像をみる】パーソナルAIエージェントの「恐ろしい体験談」が続々と寄せられている…無断アクセスやハルシネーションも
パーソナルAIエージェントをいち早く使い始めた人の多くは、インターネット上で旅行の予約や商品の購入などを自律的に行えるため、日常生活で非常に役立っていると話している。一方で、AIエージェントが思いもよらない動きをしてしまい、不安を感じたという利用者もいる。Business Insiderの取材に応じた4人のAIエージェント利用者や、SNS上に投稿された報告によると、AIエージェントは誤って予約をキャンセルしたり、本人について事実ではない個人情報を作り上げたり、実際とは異なる説明をしたりするなど、重大なセキュリティ上の懸念を引き起こしている。Veris AIの共同創業者兼CEOであるメフディ・ジャメイ(Mehdi Jamei)は、イベント管理サービス「ルーマ(Luma)」で2件のイベントに参加を申し込んでいた。ジャメイは、その参加をキャンセルするよう、招待制で人気のAIエージェント「インスティンクト(Instinct)」に依頼したという。インスティンクトは、ジャメイに事前に確認することなく、連携されていたGmailの受信トレイからルーマのワンタイムログインコードを取得し、そのコードを使ってアカウントにログインし、2件のイベントへの参加をキャンセルしたという。初め、インスティンクトは依頼通りに2件のイベント参加をキャンセルしたように見えたのだが、ジャメイが不安になったのは、インスティンクトがキャンセル方法を事実と異なる説明をしたことだった。インスティンクトは当初、以前から保存されていたログイン情報を使ってルーマにアクセスしたと説明していた。しかしジャメイが問い正すと、インスティンクトはGmailからログインコードを読み取ったことを認めた。つまり、インスティンクトは実際に行った方法とは違う方法でログインしたと彼に説明していたのだ。「インスティンクトが実際に何をしたかの説明を信用できないのであれば、私は重要な情報やサービスへのアクセスを任せられない」と、ジャメイはBusiness Insiderに語った。さらに、インスティンクトが本人の確認を取らずにメールからログインコードを読み取ったことについて、「深刻なセキュリティ上の問題である」と話している。この一連の事例について、Business Insiderのコメント要請にインスティンクトは応じていない。インスティンクトのプライバシーポリシーには、「タスクを実行するため、連携されたアカウントやメール、メッセージにAIエージェントがアクセスする場合がある」と記されている。同ポリシーは、「自律型AIエージェントは支払いや外部の相手への連絡など、意図しない行動を取る可能性がある」とも警告している。
Page 2
こうした懸念の背景には、AIエージェントの性質がある。ユーザーがどこまでアクセスを許可するかによって、AIエージェントはその有用性が決まる。AIエージェントが仕事をするためには、メールや銀行口座、クレジットカード、パスワードなどユーザーのデジタル生活の「鍵」となる情報へのアクセスが必要になるからだ。.ほかにもAIエージェントを利用する際の懸念として、AIがユーザーの意図に反する行動を取ってタスクを進めてしまう「ミスアラインメント(不整合)」が原因となるケースが挙げられる。マージ(Merge)で成長戦略・サービス担当バイスプレジデントを務めるプリタク・パテル(Pritak Patel)の場合、AIエージェントの利用で起きた問題は「幻覚(ハルシネーション)」だった。パテルは、アップル(Apple)の和解金を請求するためのフォームにつながるURLだけを、インスティンクトに送ったと話している。ところがインスティンクトは、パテルが写真を送ったと誤って認識し、その写真をアップロードするよう求めた。実際パテルは写真を送っていなかった。パテルがその写真について尋ねると、インスティンクトは、パテル本人のものではない個人情報が記載された金融関係の書類について説明し始めたという。さらにインスティンクトは、その書類にはパテルとは関係のないミドルネームも記載されていると説明した。パテルによると、インスティンクトはその後、パテルが最初に送ったメッセージには写真が含まれていなかったことを認めたという。インスティンクトは、別の画像が誤ってパテルとの会話に入り込んだと説明し、この画像に関する問題を担当チームに報告すると申し出た。「インスティンクトが実際に別の人の書類にアクセスしたのか、その書類の内容も説明もすべてAIが作り出したものなのか、私は確認できない」と、パテルはBusiness Insiderに語った。パテルによると、2026年9月23日時点ではインスティンクトからこの件について連絡はなかったという。「特に不安を感じたのは、実際には何が起きたのか分からないにもかかわらず、インスティンクトがまるで事実であるかのように自信たっぷりに説明していたことだ」と、パテルは付け加えた。インスティンクトの創業者ノア・シン(Noah Shinn)は2026年9月24日、Xへの投稿で、この問題はデータ漏洩ではなく、AIの「幻覚(ハルシネーション)」だと説明した。
シンは、インスティンクトが固有名詞を勝手に作り出し、その後の推論によって誤りを「さらに増幅させた」と説明した。シンによると、インスティンクトはその後、AIエージェントが回答したり行動を起こしたりする前に、幻覚(ハルシネーション)を検知する仕組みを導入したという。
Page 3
別のインスティンクト利用者の場合、疑問はもっと単純だった。それは、インスティンクトは、いったいどの地域からログインしようとしていたのか、ということだ。イールドクラブ(YieldClub)の創業者兼CEOであるマヘシュ・ベランキ(Mahesh Vellanki)は、携帯電話料金を安くできるかどうか、インスティンクトに調べるよう依頼した。ベランキによると、インスティンクトが携帯電話会社のアカウントにログインしようとしたところ、イランからのアクセスと表示された2段階認証の確認通知が届いたという。ベランキはこの出来事の後、インスティンクトを削除し、連携していたアカウントも解除したと話している。ベランキによると、インスティンクトは、ログイン元がイランと表示されたのは、IPアドレスの位置情報の判定ミスによる可能性があるという。ベランキ自身は、インスティンクトのシステムが侵害されていたことを確認できたわけではない。ただ、この出来事をきっかけに、彼はAIエージェントが裏側で実際に何をしているのか疑問を抱くようになったと話している。「今の時代、スマートフォンが乗っ取られれば、生活のあらゆる面に深刻な影響が出てしまうかもしれない。だから当然、非常に不安になった」と、ベランキは話している。
パーソナルAIエージェントの利用体験が、すべて悪いものだったわけではない。Business Insiderのプラナブ・ディキシット(Pranav Dixit)は、インスティンクトを使って宿泊用のキャビンを予約し、レストランの夕食を予約し、メールへの返信まで問題なくこなすことができた。「正直、このサービスはすごすぎる」と、ディキシットは書いている。