Gaussian Splatting Experiments

『A-Z House』というプロジェクトで、建物内部の環境表現にGaussian Splattingが使えないか検討してみた。Gaussian Splattingは、複数視点の写真から3D空間を再構成する手法で、NeRFと比べてリアルタイムレンダリングが可能な点が特徴になっている。写真を撮って処理すれば、その空間を自由に動き回れる3Dシーンが得られる。

数日間の実験を経て、結果的にはインスタレーションやインタラクション用途には品質が足りず、不採用になった。ただ、撮影から処理までの一連の流れを試す中で、いくつか実践的な知見が得られたので記録しておく。

機材

• カメラ: Sony α7 RV
• GPU: NVIDIA RTX 4090

ソフトウェア

• Reality Capture — カメラアライメント（位置推定）に使用
• COLMAP — Structure from Motion / Multi-View Stereo
• 3D Gaussian Splatting — Inria公式実装

参考資料

Yulei Heの以下の2記事を主に参考にした。

• Capture Images for Gaussian Splatting
• Camera Alignment and Gaussian Splatting Training

Sony a6100でギャラリー空間を527枚撮影し、COLMAP経由でInria GSを回すワークフローが詳しく書かれていて、撮影パラメータの選び方やtexture-lessな面の扱い方など具体的に参考になった。

基本的なワークフローは参考記事に沿っている。

1. 撮影: 各部屋を静止画で約300枚ずつ撮影。マニュアル露出、RAW形式で記録
2. カメラアライメント: Reality Captureで各写真のカメラ位置・姿勢を推定
3. COLMAP変換: Reality Captureの出力をCOLMAP形式に変換
4. トレーニング: Inria公式3D Gaussian Splattingでトレーニング実行

Reality Captureをカメラアライメントに使ったのは、COLMAPの標準パイプラインよりもアライメントの成功率が高く、処理速度も速いため。最終的なGaussian Splattingのトレーニング自体はInria公式を使うので、Reality Captureからはカメラパラメータだけを取り出してCOLMAP形式にエクスポートしている。

撮影はすべてマニュアル露出で行い、同一部屋内では露出設定を固定した。オートで撮ると写真ごとに明るさが変わってしまい、トレーニング結果にムラが出る。RAWで撮っているのは、後から色補正をかける余地を残すため。

各部屋を個別にキャプチャ・トレーニングする形で、いくつかの条件を変えて実験した。

光の条件

太陽光の有無と室内照明の有無を変えて試した。

• 太陽光あり + 照明あり: もっとも自然に見える条件ではあるが、太陽光が差し込む角度や強さが時間帯で変わるため、撮影に時間がかかると光の条件が途中で変わってしまう
• 太陽光なし + 照明あり: カーテンや遮光で太陽光を遮断し、室内照明だけで撮影。条件は安定するが、照明の配置によって部屋の中で明暗の差が大きくなる
• 太陽光なし + 照明なし: 極端に暗くなり、ISO感度を上げる必要が出てノイズが増える。実用的ではなかった

色補正

SpyderCHECKRを使って色補正を試みた。各部屋でカラーチャートを撮影し、Lightroomでプロファイルを作成して全写真に適用する流れになる。

しかし、部屋ごとに光源の色温度や照明環境がまったく異なるため、色補正をかけても部屋間の色味を揃えるのは難しかった。特に太陽光が入らない部屋では全体的に暗くなり、SpyderCheckrで補正しても明るさの印象を合わせるところまでは至らなかった。

トレーニング枚数

同じ部屋で撮影枚数を変えてトレーニング結果を比較してみたが、200枚程度から300枚程度の範囲ではそこまで大きな差は感じられなかった。枚数よりも、撮影角度のカバレッジや光の均一性のほうが結果に影響している印象がある。

全体を通して、技術的に意外な発見があったわけではない。撮影条件と前処理の品質がそのまま最終結果に直結するという、当たり前といえば当たり前の結論になった。

いくつか具体的に気づいた点を挙げておく。

家空間特有の難しさ

スタジオやギャラリーと違って、住宅空間は撮影に向いていない。部屋が狭いため三脚を使うと機材自体が邪魔になり、死角なく多角度から撮影するのが物理的に難しい。また、部屋ごとに窓の大きさや向き、照明の種類が異なるため、光の条件を統一するのが困難になる。

照明の統制が重要

結果の品質にもっとも影響していたのは、撮影時の光の条件だった。理想的にはすべての写真で同じ光環境を維持したいが、住宅空間ではそれが現実的に難しい。プロの撮影スタジオのように照明を完全にコントロールできる環境であれば、結果は大きく変わると思う。

インスタレーション用途への適性

今回の実験では、生成された3Dの品質はWeb上でのビューイングには使えるかもしれないが、インスタレーションやインタラクティブな作品の素材としてはまだ荒い印象だった。特にテクスチャの少ない壁面や天井は再構成の精度が落ちやすく、近づくとアーティファクトが目立つ。

今後試すとしたら

もし再度取り組むなら、撮影環境の統制にもっと時間をかける必要がある。具体的には、外光を完全に遮断した上で、持ち込みの照明で均一に照らすようなセットアップが考えられる。
(J.H.)