AI 3D Mesh Generator

2D画像から3Dメッシュを生成するツール。HunYuan3D 2.1をComfyUIバックエンドで動かし、GradioでWeb UIを提供する。2025年に制作した『A-Z House』プロジェクトの3Dプロップ制作のために作った。

『A-Z House』は2025年に作ったウェブインスタレーションで、自分の実家とその歴史をタイポグラフィと組み合わせて表現した作品。この中で家の家具などを3Dモデルとして再現する必要があった。

2D画像から3Dメッシュを生成できる有料のオンラインサービスはいくつかあったが、オープンソースのモデルを使って無料でできないか試してみたかった。HunYuan3D 2.1を選んだのは、開発当初に最も精度が良いと思われた3Dメッシュ生成モデルだったから。テクスチャ生成もちゃんと行えることと、ComfyUIで細かく設定できることが選定の条件だった。

主にデザイナーのためのツールとして作っていて、ウェブ経由で使ってもらうことを想定していた。

自宅サーバーとして以下のスペックのPCでアプリを立ち上げて使っていた。

• Windows 11
• Core i9
• 128GB RAM
• RTX 4090

ComfyUIのセットアップについては、さまざまなモデルや構成を試したため結構時間がかかった。プライベート専用のツールなので、他の人が再現する前提では作っていない。

ComfyUI + Gradio という構成

ComfyUIのGUI単体でも操作はできるが、デザイナーが使いやすいようにGradioでWeb UIを被せた。自宅サーバーでアプリを立ち上げておき、ウェブ経由でツールを使ってもらう形にしている。

パイプライン

ワークフロー（v4）の処理の流れは以下の通り。

1. 画像読み込み → 背景除去（InSPyReNet + RMBG）→ リサイズ/パディング（1024x1024）
2. メッシュ生成（HunYuan3D DiT v2.1, fp16, 25ステップ）
3. VAEデコード（Octree解像度256, 64000チャンク）
4. ポスト処理（浮遊物除去、面数削減20万、法線スムース）
5. UV展開 → マルチビュー生成（6カメラアングル: 0/90/180/270° + 上下90°）
6. マルチビューベイク → InPaint → GLBエクスポート

WebSocket進捗表示

ComfyUIとの通信にWebSocketを使い、UI上で処理の進捗をリアルタイム表示するようにした。これはUX改善のためで、生成に数分かかるため、どこまで処理が進んでいるかが見えるようにしたかった。

入力画像の種類

写真で試した。正面図や斜めから見た写真などを試したが、ツールは1つの画像しか受け付けられなかったので、基本的にパース写真を使った。

生成結果の品質

家具などはうまく生成できることが多かった。ただ、物によってはうまく生成できない形もあった。AIモデルの学習量の違いによってクオリティはまちまちという印象。

品質に影響するパラメータ

生成結果の品質に最も影響を与えたのは、背景除去の設定だった。入力画像からいかにきれいに対象物だけを切り出せるかが、後続のメッシュ生成の精度に直結していた。

生成時間

1枚の画像から3Dモデル（GLB）が出力されるまで、RTX 4090環境で1つあたり数分かかっていた。

運用上の課題

自宅サーバーだったので、PCが落ちるとサーバーアプリも落ちてしまい、ウェブ経由で使えなくなるという手間があった。リモートサーバーで走らせるにはGPUを積んだPCが必要で、コスト的に現実的ではなかった。

今後について

今回は自分のローカル環境で3Dメッシュ生成を試してみたかったという面が大きい。今後もオープンソースでより良い精度のモデルが出たら試してみたい。特に、複数面の画像入力から3Dモデルを生成する仕組みで綺麗に生成できるモデルや、ボーンも組み込んだうえで生成できるモデルなどが出てきたら嬉しい。

このローカル環境での検証を踏まえ、より短時間で安定した3Dデータ生成を行うため、Nano BananaとHyper3D Rodinを組み合わせたワークフローへ移行した (続きのlogはこちら)。