ZOZO、安定したシミュレーションを実現する物理ベースの接触ソルバーをオープンソースで公開！
2024年11月25日 – ZOZO と ZOZO NEXT のZOZO研究所は、同社の研究員が執筆した論文がコンピュータグラフィックスとインタラクティブ技術に関するトップカンファレンス「SIGGRAPH Asia 2024」に2本採択されたことを発表しました。
採択された論文は以下の通りです。
1. タイトル：「A Cubic Barrier with Elasticity-Inclusive Dynamic Stiffness」（邦題: 動的弾性剛性を考慮した三次バリア関数） Technical Papersに採択 著者：株式会社ZOZO/安東 遼一
2. タイトル：「An Empirical Analysis of GPT-4V’s Performance on Fashion Aesthetic Evaluation」（邦題: ファッション美的評価におけるGPT-4Vのパフォーマンスに関する経験的な分析）Technical Communicationsに採択 著者：株式会社ZOZO NEXT/平川 優伎
前者は、着衣シミュレーションにおいて重要な衝突処理技術により、アパレル生産の自動化を目指す研究で、研究成果がApache License 2.0でGithubに公開されています。後者は、ファッション美的評価におけるGPT-4Vの有効性を検証する研究となっています。
詳細は以下の通りです。
本論文では、弾性項を考慮した反発力のアルゴリズムを提案し、動的弾性項を用いることで安定したシミュレーションを実現しました。これにより、大規模な衝突処理が可能となり、アパレル生産の自動化という目標の達成に貢献するとのことです。
ZOZOの研究者の論文が SIGGRAPH Asia 2024 で採択！着衣シミュレーションに関する研究成果がGithubで公開されました。https://t.co/lubsJF0gNT pic.twitter.com/dp4m84Novg
— CGinterest (@CGinterest) November 28, 2024
研究背景を見るZOZO研究所では、「ファッションを数値化する」というミッションのもと、最先端のAI技術を駆使してファッションに関する課題解決に取り組んでいます。その中でも、写真中の人物に似合うファッションコーディネートを予測する技術（以下、ファッション美的評価）は、従来の購買・閲覧履歴に基づく従来型推薦システムをファッション特化型推薦システムにアップデートするために必要不可欠な基盤技術です。一般的な美的評価課題において、高度な画像認識力と世界知識を持つマルチモーダル大規模言語モデルGPT-4Vによる評価と人間による評価は高い相関を示すことが知られています（※1）。そこで当研究所では、ファッション美的評価タスクにおいても同様の相関が存在するかを検証するために本研究に着手しました。
論文内容を見る本研究では、ファッション美的評価におけるGPT-4Vの有効性を検証するため、数百人規模の人間の評価に基づく信頼性の高い検証用データセットを構築しました。検証用データセットは30代女性3名が多様なコーディネートを着用した多数のスナップ写真（※2）から成ります。本研究では、オンラインレーティングシステムOpenSkill（※3）を用いたアノテーションツールを開発し、同一人物が異なるコーディネートを着用した2枚のスナップ写真に対して、どちらが似合うか評価することを繰り返し実施することにより、各スナップ写真の似合う度合いに関する評価値を推定しました。また、GPT-4Vを用いて同様の評価をおこない、2枚のスナップ写真のどちらが似合うかを予測するプロンプトテンプレートを設計し、2枚のスナップ写真の入力順序を入れ替えた場合に予測の一貫性が失われる事例については引き分けとみなしました。
本研究では、GPT-4Vと人間の評価の整合性を定量化するために、人間の評価上位K%と下位K%（論文中ではK=10, 50を採用）のスナップ写真の分類精度および人間とGPT-4Vのファッション美的評価における順位相関を算出しました。実験結果から、GPT-4Vはファッションコーディネートアプリ「WEAR by ZOZO」のいいね数や閲覧数に基づく指標よりも人間の評価に整合する予測が可能であることが分かりました。ただし、コーディネートの色の多様性が低いデータセットに対しては人間の評価との整合度が低くなる傾向があることも確認されており、更なる改善の余地も存在することが分かりました。
（※2）衣服を着用した1人の人間を主要な被写体とする写真（※3）参考文献：OpenSkill: A faster asymmetric multi-team, multiplayer rating system
今後の展望を見る布地の挙動をシミュレーションで再現するには計測が必要で、これが自動化の障壁となりますが、本論文で発表した大規模衝突処理技術により、布地を構成する糸を正確に計算することで、アパレル生産の工程の一部を自動化できる可能性があります。当社は、今後も物理シミュレーションを応用した技術の研究を継続し、より利便性の高いプロダクトの構築とサービスの向上を目指し、研究・開発に努めてまいります。
本研究成果はGitHub上にてApache v2ライセンス下でオープンソースとして公開されています。
本論文では、同一人物が異なるコーディネートを着用した2枚のスナップ写真に対して、どちらが似合うか評価することを繰り返し実施することにより、各スナップ写真の似合う度合いに関する評価値を推定しています。
研究背景を見る当社の生産支援事業では、製品企画から販売に至るまでの工程の自動化を目指しています。一般的にアパレル生産では、企画を立て、複数回のサンプル作成によってデザインチェックを行い、数ヶ月かけて販売に至りますが、商品のデザインや仕様等選定の自動化、2Dパターンや3Dサンプルの自動生成を実現することで、各工程の時間を大幅に短縮することが可能となります。
今回の研究テーマである、コンピュータ上での着衣シミュレーションに欠かせない「衝突処理（物体が衝突、また衝突時の反発力の計算処理）」技術を掘り下げることによって、販売に至るまでのリードタイムの短縮や環境資源の使用削減、世の中のニーズに合わせたクイックな商品展開が可能となります。本研究は、この課題解決を目標として発足しました。
論文内容を見る物理現象のシミュレーションにおける衝突処理は、物体の衝突検知と反発力の計算が重要です。従来の方法では信頼性と効率性の両立が難しく、計算が破綻するという課題がありました。本論文では、弾性項を考慮した反発力のアルゴリズムを提案し、動的弾性項を用いることで安定したシミュレーションを実現しました。これにより、大規模な衝突処理が可能となり、アパレル生産の自動化という目標の達成に貢献します。
今後の展望を見る本研究ではファッション美的評価におけるGPT-4Vの有効性を示唆するものです。今後は、より大規模な検証用データセットを用いたGPT-4Vの予測傾向のバイアスの分析や、ファインチューニングの有効性について検証を進めていきます。
コンピュータグラフィックス分野のトップカンファレンス 「SIGGRAPH Asia 2024」にて論文採択
ZOZO研究所、コンピュータグラフィックス分野のトップカンファレンス「SIGGRAPH Asia 2024」にて論文採択
関連記事:
ESA宇宙望遠鏡「ガイア」が10年以上続いた科学観測を終了 どんなミッションだった？
