iPhoneかざして｢これ何？｣を即解決。これぞ、カメラコントロールボタンの本気だ

カメラコントロールボタンの、本当に使える機能。

来月のiOS 18.4のアップデートで日本にやってくる便利機能、｢ビジュアルインテリジェンス｣。

調べたいものにレンズをかざすだけで、それが何かを教えてくれたり、情報を読み取ったりできる機能です。ひとあし先にベータ版で使ってみました。

カメラコントロールから即時に｢これ何？｣を教えてくれる

iPhone 16シリーズで使える本機能、カメラコントロールボタンを長押しして立ち上げます。カメラコントロールボタンがないiPhone 16eでも、アクションボタンなどに割り当てればOK。

調べたいものにレンズをかざし、｢質問｣か｢検索｣どちらかのアクションを実行できます。

｢質問｣を押すと、ChatGPT経由で対象物が何なのか教えてもらえて、｢検索｣からは、Google検索の結果を返してくれます。

お昼ごはんのガパオライス、試しにかざしてみると、名前だけではなく食材含めて丁寧に教えてくれました。入力バーで｢これは何ですか？｣と尋ねてもいいですが、｢質問｣を押すだけで何なのかを教えてくれます。

対象についてもっといろいろ聞きたいなら、チャット形式で追加質問を投げちゃいましょう。何かを聞くだけでなく、対象にまつわるさまざまな疑問を解消できます。

翻訳だけじゃ終わらない

翻訳も対応。翻訳したい文章を読み取り、日本語に変換してくれます。

さらに、翻訳した文をコピーしたり、読み上げてもらったりすることも可能。海外旅行に行ったときなどに使い倒せそうな機能です。

ざっくり要約が逆にいい

読み取った文を要約してくれる機能はかなり便利だと思いました。使ってみた感想としては、要約はざっくりだけど、逆にコンパクトにまとまっていてアリ。

今すぐに内容を理解したいドキュメントや、展覧会の説明文などを、バシバシ読み取って頭に情報を詰め込むのに最適です。これかなり効率上がるんじゃないでしょうか。

情報を読み取り、アクション実行

かざした情報を読み取って取得できるのも実用的です。

URLからリンク先に飛べて、メールアドレスからメールを作成できたり、電話番号から電話をかけられたり、日付からカレンダーに追加もできちゃいます。

もらった名刺を読み取ってすぐに連絡、なんて使い方これからよくしそう。

他にも、植物や動物の名前も識別して教えてくれます。アウトドアがもっと楽しくなりそうですね。

調べて使える、実用性

カメラコントロールボタンから即座に起動できて、レンズをかざすだけで対象を読み取ってくれる、この取り扱いのシンプルさがいいなと思いました。

さらに、それが何なのか？だけにとどまらず、より詳しく聞きたいことを質問できたり、読み取った情報を元にアクションできたりして、実用的です。

来月のアップデート、待ち遠しい！

特別な許可を得てベータ版ソフトウェアを利用して記事を書いています。

Photo: 小野寺しんいち Source: Apple