Nano BananaとHyper3D Rodinを使った3Dデータ生成

インタラクティブ・アーカイブプロジェクト『A-Z House』の制作にあたり、家具やオブジェなど家庭内に存在する物品を3Dデータ化する必要が生じた。

本プロジェクトでは、写真から3Dデータを生成するワークフローとして、Nano BananaおよびHyper3D Rodinを用いた生成プロセスを検証。比較的短時間で多様な生活用品を3Dデータ化する手法の構築を試みた。

生成される3Dデータの品質は、入力画像のクオリティや視点設計に大きく左右されるため、画像生成と3D生成を分離したワークフローを構築した。

まず、撮影した画像をもとにNano Bananaを用いて四方向（または五方向）の多視点画像を生成し、3D生成に適した参照画像を制作。続いて、それらの画像をHyper3D Rodinへ入力し、AIによる3Dデータ生成を行った。

当初は、撮影画像の背景をPhotoshopで削除したうえで、直接Hyper3D Rodinへ入力していた。しかし、左右の対象性など、精度にばらつきがあった。

そこで、撮影画像からNano Bananaを用いて多視点画像を生成し、その画像を経由してHyper3D Rodinへ入力するワークフローへ変更。生成前にAIによる画像補完のプロセスを挟むことで、3Dデータの品質向上につながった。