AIにない曖昧さと“ゆらぎ”こそが、人間の創造性を進化させる：音楽家・小室哲哉×AIエンジニア・山田剛

音楽家・小室哲哉はメディアアートやテクノロジーへの造詣も深く、2022年3月からは理化学研究所の客員主管研究員として人工知能（AI）を活用した作曲支援システムの開発​​などにも携わってきた。自身の音楽活動の演出にもAIを積極的に利用し、「カンヌライオンズ国際クリエイティビティ・フェスティバル 2023」やTM NETWORKの40周年記念ツアー「TM NETWORK 40th FANKS intelligence Days ～YONMARU～」、「Japan Expo Paris 2024」のライブなどでAIとの“共演”を果たしている。

かねてよりAIは進歩の速度が指数関数的だと言われてきたが、生成AIが世に出始めた2022年以降は、AIに関わる情報は3カ月も経過すれば古くなるほどだと言われている。また、そうした急速な技術革新を背景に、AIが人間の創造性を凌駕する日が訪れるのではないかと危惧する声もある。

だが、40年以上の音楽家としてのキャリアを通して貪欲に新技術を取り入れながら制作活動を続けてきた小室は、創造的な活動においてAIが人を超えることはないと断言する。その真意について小室に尋ねるとともに、彼の近年のAIとのコラボレーションをエンジニアとして技術面で支えてきた日経イノベーション・ラボ副所長の山田剛に、一連の取り組みの舞台裏を訊いた。

渡仏の24時間前にかかってきた電話

──近年の小室さんはAIを積極的に活用したプロジェクトを展開していますが、それらを山田さんが技術面で支えてこられました。そもそも、小室さんと山田さんが一緒に仕事をするようになったのは、どのような経緯からだったのでしょうか。

山田　最初のきっかけは2021年の「NIKKEI宇宙プロジェクト」という国際宇宙ステーションに関わる案件でした。そのなかでmicroSDカードをスペースXのロケットに乗せて運び、何カ月か滞在した後に地球に戻す企画に日経として参加できることになったのが発端です。SDカードに入れられるデータなら何を入れてもよかったので、何かおもしろいことをしたいと考えたところ、そういえば宇宙やスペースコロニーをテーマにしたアニメーション映画とテーマ音楽があったなと。

──機動戦士ガンダムですね。

山田　そうです。『機動戦士ガンダム 逆襲のシャア』のテーマ曲「BEYOND THE TIME (メビウスの宇宙を越えて)」​​のデータを入れたカードが国際宇宙ステーションに行ったらおもしろいと思ったんです。そこで小室さんに提案をしてご快諾いただけたのが、最初のご縁でした。

──その後、2023年6月22日に「カンヌライオンズ国際クリエイティビティ・フェスティバル2023」でもご一緒されましたね。

山田　あれは小室さんとのAIに関する最初の取組みでしたね。カンヌライオンズは、日本の事務局を日経が担当していたことで1時間ほどの講演枠がありました。「世界中から集まる人たちに向けて小室さんに日本のクリエイティビティの真髄をお話いただけませんか？」と、最初は講演という形式で小室さんに打診をしたんです。そうしたら「自分は音楽家だからメッセージは音楽で伝えたい」とお返事をいただきました。

小室　実はあのとき、お断りに近いくらいの意図で「ぼくは音楽以外は無理です」とお伝えしたので、多分そのお話はなくなるんだろうなと思っていたんです。ところが、予想に反して「ライブでいいです」という連絡が来たんですよね。

山田　ロンドンにあるカンヌライオンズの運営会社に確認したところ、ライブなら小室さんの音楽家としての実績もわかるし、むしろ何が駄目なの？くらいの感じでお返事をいただいたんです。そうした経緯で開催することになったライブの演出にAIを使いたいというアイデアを小室さんからいただきました。

小室　ライブをするステージは背後にLEDディスプレイが設置されていました。普段はスピーカーの方たちが講演中にいろいろなデータを見せながら話をするためですが、ライブ中に何も映っていないのもな……と思い、せめて何か色くらい出そうよ、くらいの感じで、いつも映像をお願いしている高梨くん［編註：映像クリエイターの高梨洋一］とふたりで考え始めたんです。それが出発の48時間前でした。

その時点では演奏する曲ごとにそれに合った色を表示するくらいでサラッと終わらせようと思っていたんです。でも、いやいや、ちょっと待って。せめて演奏する曲を紹介する言葉くらいは出さないとな、と思い直しました。

カンヌライオンズは音楽好きが集まるフェスではなく、来場される方は広告業界の人がメインなので、ぼくの作品を知らない人がほとんどです。ですから、アートの展示で作品の横に表示されている説明書きに当たるものを映像でできればと思いました。

でも、その説明をただぼくが書くのだとつまらない。誰かに論評してもらうにしても時間がない。そこで行き着いたアイデアが、楽曲をコンピューターに寸評してもらうというものです。

ちょうど「ChatGPT」が世の中で話題になっていたタイミングでもありましたから、テキストならちょうどいいという感じで。でも去年の段階では、直接その場で音楽の演奏を聞かせてリアルタイムでAIが感想を出力するところまでは技術が進んでいなかったと思います。

山田　カンヌライオンズのときは限られた開発時間のなかでリアルタイム生成を実現することは難しかったので、小室さんから楽曲に対する考えを聞き、歌詞などの背景情報を基にAIに判断させる役割をぼくが担当しました。小室さんがいまおっしゃったアイデアを、出発直前にいただいたところからのスタートです。突然、電話が来て「いまから来れますか？」と（笑）

──その時点で先ほどの48時間前から、さらに時間が経過していますよね。

山田　小室さんと高梨さんの話が48時間前なので、ぼくのところに話が来たのは出発の24時間前です。小室さんのスタッフから電話が来て、演奏する曲に対するAIの解釈が欲しいとオーダーをいただいたので、それならできると思いました。

そこで曲の感想をAIに書かせるために、ぼくがAIとの間に立つインターフェイスの役割を担い、入力はマルチモーダルを採用しました。つまり、小室さんから聞いた楽曲の解釈や意図、そして歌詞などの情報、音楽のデータを入力し、最もしっくりくるものを選定していったんです。

出力したテキストの内容にはできるだけ人間の意思が入らないようにしつつ、きれいに出力されすぎて不自然な場合にはAIのほうをチューニングしました。それから高梨さんと相談しながら、行の長さや表示の秒数などをオーディエンスが見やすいように整えていきました。そのような感じで大急ぎで制作して完成したデータを小室さんに渡した直後に、「じゃあ、フランスに行くから」と空港に向かわれたんです。

虚実の狭間を演出するAIの違和感

──2024年4〜5月に実施したTM NETWORKのツアー「TM NETWORK 40th FANKS intelligence Days ～YONMARU～」では、1988年のアルバムと小説を軸にしたメディアミックス作品“CAROL組曲”を演奏されました［編註：TM NETWORKが88年にリリースした6枚目のオリジナルアルバム『Carol: A Day in a Girl's Life 1991』と小説を軸にしたメディアミックス作品。ロンドン在住の少女キャロル・ミュー・ダグラスが世界から盗まれた「音」を取り戻すために異世界を冒険する物語］。この演奏は2024年に合わせてビジュアライズされていましたが、その際にはどのようなことを重視されましたか？

小室　CAROLはTM NETWORKの節目節目で必ず演奏している楽曲ですが、見せ方としてはその時代を反映したものにしています。いちばん新しいやり方で見せられる限り、エンターテインメントとしてできるだけオーディエンスに驚いて楽しんでもらえるものを選んできました。結果的にその時代ごとの最新テクノロジーを取り入れるかたちになっていましたね。

2014年の30周年ツアーのときのCAROLは、ぼくがロンドンで映像を撮影した実写メインの演出にしました。昔、U2の「ZOO TV ツアー」であったようなマルチチャンネルの映像演出を一度はやってみたかったので、それなりに満足のいくものができたと思っていたんですね。だから40周年の今回はCGかな、アニメーションかな、もう1回実写か、それとも実演かな、でもどれも新しくないからしっくり来ないな……と、ギリギリまで考えていました。

一方で、ぼく自身もずっと研究やリサーチをしていたAIに関しては、最近だと動画生成も相当に進んでいることがわかっていたので、それが選択肢に入ったんですね。でも、20〜30分の動画まで生成できるのかなと。そういうことを尋ねる相手は山田さんだな……ということで、また相当に時間的に切羽詰まっているタイミングで連絡をとりました。

山田　カンヌのときと同じように「ちょっと来て」と言われたのが始まりです。最初は1曲ぶんの演出でと言われたので「わかりました」と言って訪ねたら、そこでツアーの演出の核心にかかわる打ち合わせが進んでいたんです。最初ぼくは後ろのほうに控えながら何気なく見たセットリストのうち9曲分くらいの横に、AI、AI、AIって書かれていて、これを全部やるんだと思った（笑）。でも、きっとおもしろいことができるだろうなという気持ちでしたね。

とは言っても実際に打ち合わせをしてみると、最初からCAROL組曲を演奏する30分全部をAIで演出するという話ではなかったんです。例えば、小室さんが前回のツアーのためにロンドンで撮影した映像や過去のCAROLのライブステージの映像を組み合わせて、そこにAIも組み入れていけば30分になるだろうと。最初はそういう話だったんですよね。

高梨　ぼくも最初そういうつもりでしたが、山田さんから大量の素材をいただいたのを見て、つないでみたら全部埋まるなと思ったんです。それならCAROLのセクション全部をAIで演出したらおもしろいんじゃないの？と言いつつ、ふたりで夜な夜なやりとりしていましたね。

山田　それが盛り上がっちゃいましたね。楽しすぎて。

高梨　予想以上にAIの進化のスピードが早くて、つくっている間にも出来上がってくるものの精度がどんどん高くなっていきましたから。

小室　あれは久々に「日進月歩」という言葉が当てはまるものだと実感しましたね。音楽や映像に関連するものだけでも、毎日のように何かしらの新しい発表がされているかもしれないと感じるくらい恐ろしいスピードで進化していましたから。

特に音楽というものは、昔から何か新しい技術が出てくると最初の“実験台”にされる運命にあります。ミニマムな容量で作品ができるものが音楽なので、どんな技術が出てきてもまず音楽がいい意味で実験材料になる。ぼくの曲も何回も実験材料にされてきました。

山田　音楽ってMIDIデータに落とすとテキストデータになるので、サイズも軽くなります。それに音楽はそもそも数学の世界ですから、デジタルデータとの相性がいいんですよね。

──そのときに使用した生成AIのモデルは、どのように開発されたのでしょうか？

山田　複数の既存の画像生成や動画生成のAIを組み合わせつつ、自分たちのオリジナルのモデルも使用しました。今回は30分あるので映像に統一感をもたせなければなりませんでした。テイストが違う映像や、まったく違うフィルターを通した映像が混じると全体のまとまりに欠けてしまいますし、ひとりの映像作家がつくったようにしないとオーディエンスにとっても違和感のあるものになってしまう。ですから、オリジナルのモデルも使ってチューニングしました。

例えば『CAROL ～A DAY IN A GIRL'S LIFE 1991～』のアルバムのジャケットから伝わる、少し不思議な世界を想起させる空気感になるように、AIのフィルターを開発しました。あと、映像内で物を動かすモデルはさすがに自分たちでゼロからつくるのは大変なので、商用利用できる素材を組み合わせつつ、最後は自分たちのモデルを使って処理するという具合に、3つか4つのモデルを組み合わせて制作しましたね。

──絶妙に不安定な映像が非常にいい雰囲気を出していましたよね。例えば、ロンドンの街並みを想起させるデザインの建築があるかと思いきや、それに焦点を当てた次の瞬間には揺らいでしまって夢うつつの狭間にいるような感覚になりました。

山田　それは本当に最初のミーティングから何度も小室さんから言われたんですよね。現実感から少しずれた違和感があるものを残してほしいと。それを忠実に再現しました。

小室　ロンドンの街並みをそのまま出すのは30周年ライブのときにもやっていたので、今回は「これはコヴェント・ガーデンかな、でも違うな……」という曖昧な感じをふわっと表現するようにお願いしました。後はCGのパキッとした感じにせず、ヌメッとした感じがいいということも。

山田　そうしたご要望に応じながらつくっていくと、AIを動かしているぼくたちも慣れてくるので、制作フェーズのなかでもレベルが上がっていきました。日々、高梨さんと議論をしたり、スタジオで曲に合わせてリハをやってメンバーから意見をいただいたりして、ちょっと合わないなと思ったときはすぐに直して次の日に見せられるようにしていきました。そうした調整をツアー中もずっとやって進化していった結果、すべての公演が違う映像になっています。

リアルタイムで音と映像が同期するAIとの共演

──いちばん最近のプロジェクトは、2024年7月の「Japan Expo Paris」でのライブでしたね。

山田　そうです。これもまたある日いきなり連絡がきて、小室さんがリアルタイムで生成されたビジュアルを投影したいというオーダーをいただきました。リアルタイムって、とても難しいんですよ。例えば30秒の動画を生成すると、どんなに頑張ってもいまの処理能力だと数分かかってしまうので、タイムラグの問題をまず解決しないといけない。音が鳴ったら即座にその場で反応させなければならないので、その課題の解決から試行錯誤が始まりました。

ただ去年くらいから、音楽をトリガーにして映像を出力できる仕組みさえつくればどうにかなるという感触があったのと、YONMARUツアーの際に高梨さんが演奏中の音に応じて光の粒子がふわっとリアルタイムに動く処理をしているのを見ていたので、そのやり方を使えるか試すところからスタートしました。その結果、音を出したときにポンッて1秒遅れくらいで出るものができたので、あとは音が鳴ってから映像を出力するまでのタイムラグを極力短くしていくことと、フレームレートのバランス調整をしていけばどうにかなるなということで、限られた時間でも完成にこぎ着けました。

とはいえ、ライブをする場所がフランスなので、通信環境なども含めて日本と同じ条件ではできません。よくあるクラウド上で高速処理をして転送する手法が使えるかどうかも、現地に行かないとわからない。それなら端末側で処理するしかないので、どれくらい高速なGPUやPCを用意すればいいのか検討もしました。

そういう意味でもJapan Expoのときは、完全にシステム開発の受託案件のような進行で仕事をしました。とてもおもしろかったです。ボーンと鳴らした音をAIで解釈した動画を生成してほしいなんて案件を発注する方はそうそういないですから、それはエキサイティングな仕事でしたね。

小室　1時間強ずっとリアルタイムで動いていましたね。残念ながらステージのぼくの立ち位置からだと、その場では見られませんでしたが。

山田　シンクロした動画を流すだけだとおもしろくありませんが、明らかに小室さんの動きをトレースしていたので、AIと小室さんとの共演になっていたと思います。ここまでいくつかの事例をお話ししましたが、小室さんは絶対に不可能なことは言わないんです。受けた側がギリギリ届くところをプロデュースしてくるので、何だかんだ応えてしまいます（笑）

小室　まったく同じことを木根さん［編註：音楽家でTM NETWORKメンバーの木根尚登］にもよく言われるんです（笑）。ギターのフレーズとかそうですね。できなくはないんだけど、頑張れば演奏できるギリギリの注文をしてくるって。

人にしかない曖昧さとゆらぎを創造し続けるために

──CAROL組曲が終わったときに表示されたテキストメッセージで発信された「世の中から音楽が消えてしまうことが現実になりつつある」という主旨の内容が印象的でした。実際に近年、国によっては政権が変わったことで音楽を聴くことすら禁止されることも起きています。

小室　世の中から音楽が“消える”というのは、まず新型コロナウイルスのパンデミックが完全にそれでしたね。ライブ公演も中止・延期になって本当に街から音が消えてしまったかのようでした。CAROLを制作したときは、こういうことが現実に起きうると知らなかったにもかかわらず、パンデミック以降にさまざまな理由でそれがリアリティのあるものになってしまいました。

もうひとつだけ補足すると、そもそもCAROLで描いた音が消えた世界というのは、ぼくがベートーヴェンの住んでいた家「パスクァラティハウス」​​を見学したときに、彼が作曲に使っていた場所に座った経験から着想を得たものです。ベートーヴェンは20代後半に難聴が悪化して耳が聞こえなくなってしまいましたが、彼が生きていた当時の人々は時間を知るにも教会の鐘の音を頼りにしていました。きっと彼は「動いているものは見えるのに、なぜ教会の鐘の音が聞こえないのだろう」と思ったはずです。

その家はいまも観光名所として訪問できると思いますが、彼が窓から見ていたであろう風景は作曲に使っていたその場所に座らないと同じ角度では見えません。ぼくは音楽家なので、「ここに座ってベートーヴェンが譜面を書いてたんだ」と思いめぐらせながら同じ場所に座ったので、それがわかりました。あのウィーンでの経験が、CAROLの発想のすべての原点でしたね。

山田　CAROLでも物語の序盤でビッグ・ベンの音がなくなりますよね。

小室　発想の元はウィーンの街にある教会の時報を知らせる鐘です。でも、それが消えることで稀有な才能の音楽家の人生が大きく狂ってしまうわけですから、すごいことですよね。自分の世界から音がなくなるというのは、そういうことなのだと。ですからあのストーリーは、音楽家だからこそ思いついたものだったのかもしれませんね。

──原点は18〜19世紀の音楽家の見たであろう風景の追体験から生まれたCAROLの物語を改めていま振り返ると、当時は感じなかったリアリティやメッセージを感じます。小説版の『CAROL』（木根尚登・著）の物語のなかでは、たったひとつの言葉の変化によって大きな力を神聖なものにも邪悪なものにも変えることができるという話が出てきますが、それはAIと人の関係にも通じる話だという気がします。

小室　AIに関しては、すでに世界中でいろいろな事件が起きていますよね。クリエイターは著作権なども含めた問題に直面していますし、戦争もAIによって自動化されたり。そういうところに使われてしまっていることが、差し迫った脅威としてはいちばん大きいのかなと思います。

Photograph: Shintaro Yoshimatsu

──そうした負の側面もあるなかで、良心に基づいて技術をいいかたちで活用していくためにアーティストや技術者ができることについて、最後におふたりの意見を伺えればと思います。

山田　AIを含め、技術は本来なら中立なものです。それを人間がどう使うかですよね。例えば、画像解析技術は防犯などわれわれの財産や生命を守るために活用される技術ですが、同じ技術を悪意あるかたちで使うことも可能です。ドローンも輸送などで人の生活を支えるために活用される一方で、兵器としても使われている。あらゆるテクノロジーは両方に使えるので、われわれエンジニアはテクノロジーをどうすれば良いかたちで使えるかを考えて開発しなければなりません。まずはつくって示すことが大事ですし、それが人類の進歩につながると信じています。

YONMARUのように大々的にエンタメでAIを使うことは、いろいろな背景も踏まえると決して簡単なことではありませんでしたが、小室さんがAIを使って新たな挑戦をしたいという心意気によって実現できました。ですから、ぼくとしてはやはりテクノロジーによって社会を豊かにしていくために貢献したいと強く思っています。

小室　1990年代の前半にぼくが使っていたシンクラヴィアという音楽のハードウェアとソフトウェアがあります。タイムコード上に乗せられるあらゆるものをレイヤーにできる機材でした。ただ、シーケンサーの分解能が1/1000拍であるように10進法だったので、例えば本当は96分の1にしたいときでも、100分の、もしくは1,000分のいくつにしないといけなかった。その機械の性能と人間の感性のずれが、90年代に出したぼくのヒット曲のサウンドで他の人が真似できないゆらぎになったんです。

いちばんわかりやすい例は、篠原涼子のシングル「恋しさと せつなさと 心強さと」のイントロにあるダダンダンダンというドラムのフィルです。あれはシンクラヴィアのレイヤーで音色を3つくらい組み合わせてつくっています。ドラムも打ち込みもいい加減な数値化なので、サンプルする以外にあのグルーヴ感は出せません。そういうことをやっていかないと、人の心に刺さるものをつくれないし、聴いた人たちに「あれ？」って思わせることもできません。どんなにそれらしくつくったり生成したりしても、スッと流れていってしまいます。

その引っかかりをつくれるのが、曖昧さとゆらぎですね。ゆらぎとは人の心のゆらぎなんです。そうしたものに対して人は順応してしまうので、もっと違うものをどこかで望んでしまいます。

AIが日々進化することで、人間の創造性の1,000分の5秒前までは、AIの学習が追いついてしまっているかもしれません。でも、常にアーティストの発想のほうが1,000分の5秒先に進み続けていれば大丈夫なんです。ですから、若い世代の人たちがチャレンジし続ける気持ちを忘れずに音楽をつくっていれば、少なくとも音楽に関してはAIに支配されて終わってしまうようなことは起きないと思います、絶対に。

Photograph: Shintaro Yoshimatsu

（Edited by Daisuke Takimoto)

※『WIRED』による人工知能（AI）の関連記事はこちら。音楽の関連記事はこちら。

Related Articles

雑誌『WIRED』日本版 VOL.54「The Regenerative City」 好評発売中！

今後、都市への人口集中はますます進み、2050年には、世界人口の約70％が都市で暮らしていると予想されている。「都市の未来」を考えることは、つまり「わたしたちの暮らしの未来」を考えることと同義なのだ。だからこそ、都市が直面する課題──気候変動に伴う災害の激甚化や文化の喪失、貧困や格差──に「いまこそ」向き合う必要がある。そして、課題に立ち向かうために重要なのが、自然本来の生成力を生かして都市を再生する「リジェネラティブ」 の視点だと『WIRED』日本版は考える。「100年に一度」とも称される大規模再開発が進む東京で、次代の「リジェネラティブ・シティ」の姿を描き出す、総力特集！ 詳細はこちら。