画像生成AIの開発会社、“性的に露骨なコンテンツ”の生成を禁止に ただし実効性には疑問も

「Stable Diffusion」はテキストから画像を生成できるAIモデルとして2022年に登場。商用／非商用を問わず多くのユーザーに利用されている。 最大の特徴はローカル環境での運用が可能であり、オープンソースで誰でもアクセスできる点にある。しかし、その自由度の高さゆえに、悪用される懸念も絶えなかった。 特に児童や実在する特定人物のディープフェイク画像、そして非同意での性的コンテンツ生成とそれよる被害が社会問題化しつつあり、欧米などを中心に規制強化の声も高まっていた。

今回の改定では、「性交、性行為、または性的暴力に関連するコンテンツ」を含むコンテンツが明示的に禁止対象として列挙されている。対象には、Stability AIを非営利目的／研究目的／商業目的で利用することが含まれる。 前述の通り、「Stable Diffusion」はローカル環境での運用が可能。 Stability AIは今回の規約改定において、「自分の環境でStability AIのプログラムやAIモデルを動かす場合（self-hosting）や、第三者が提供するサービスを通じてStability AIの技術にアクセスする場合などが該当します」と明記している。 とはいえ、実際にローカル環境に対して、規約違反を検出することは技術的に困難であり、規制の実効性には限界がある。

生成AIの規制をめぐっては、アーティストの創作活動や表現の自由との関係も争点になっている。 すでに二次創作文化や、成人向けコンテンツの創作においても、生成AIは大きな存在感を示しており、その使い方や関わり方も重大な論点となってきた。 一方で、AIによって生成された画像が倫理や法のグレーゾーンを侵した場合、誰が責任を負うのかという問題は依然として未解決のままだ。今回発表された利用ポリシーは7月31日（木）に施行される。