見出し画像

3DGS実用化への道⑦『Skyfall-GS』徹底解説｜衛星画像3D都市生成とGoogle Earth Engineの役割

One More Vision

こんにちは、STUDIO55技術統括の入江です。

大規模な都市空間を自動で 3D モデル化することは、建築ビジュアルの現場においても長年の悲願とも言えるテーマです。
しかも、撮影の手間をかけず、既存のデータだけで実現できるとしたら──その利便性は計り知れません。

前回、空撮映像からガウシアンスプラッティング（3DGS）を生成するBlender アドオン「SkySplat（スカイスプラット）」について、実践を通して詳しく解説しました。
これは、空撮に特化した SfM 構成のガウシアン手法で、Google Earth やドローン撮影映像などから、リアルな 3D 表現を生成できることが確認できました。

そして今回は、いよいよ 衛星画像から没入型の 3D 都市シーンを合成する技術『Skyfall-GS』 について取り上げます。
Skyfall-GS は、「衛星画像だけで、歩ける 3D 都市シーンを生成する」という、これまでの常識を大きく更新するアプローチです。

ほぼ屋根しか写らない真上から見た衛星画像を、いったいどのように立体化するのか──そこには、AI を含む複数の技術を組み合わせた、巧妙なパイプラインの工夫が見られます。

画像参考: aitechsuite.com/ai-news
AI が衛星画像を「立体都市」に変換するという視点で紹介されています。

まさに、都市データの未来を推進する ガウシアン × AI 生成技術 に、いま大きな期待が集まっています。


Skyfall-GS

『Skyfall-GS』は、昨年（2025年）10月中旬に論文として公開され、その後オープンソース実装やデータセットも一般公開された 都市3D生成の先進研究プロジェクトです。

ただし、少し正確に整理すると、「衛星画像そのままを3Dモデル化する」わけではありません。
衛星画像は 都市のボリューム情報や相対関係の抽出 に使われ、3DGSモデルは AI推定やアルゴリズムによる補完・変換 によって生成されます。

画像参考: skyfall-gs.jayinnn.dev
マルチビュー衛星のみによる都市ブロックスケールの3D
没入感と自由飛行の航行性を統合し 2段階で行われる

🌏国際研究チームによる論文ベースの開発

Skyfall‑GS は単なる社内プロジェクト／プロトタイプではなく、学術論文として国際的に公開されています。

その論文 “Skyfall‑GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery” には、複数の研究者が執筆者として名を連ねています。

  • Jie‑Ying Lee

  • Yi‑Ruei Liu

  • Shr‑Ruei Tsai

  • Wei‑Cheng Chang

  • Chung‑Ho Wu

  • Jiewen Chan

  • Zhenjun Zhao

  • Chieh Hubert Lin

  • Yu‑Lun Liu

このような 複数人の研究者・開発者チームによる共同執筆 です。

画像参考: skyfall-gs.jayinnn.dev

これは大学や産業研究プロジェクトに見られるような、Peer‑Reviewed（査読）前提の研究活動 の形式を取っていることを意味します。

👉査読さどく: 投稿者と専門を同じくする者による採否審査があること。

🚀技術的チャレンジへの正面からのアプローチ

Skyfall‑GS の核心は、衛星画像には立面や高さ情報がほとんど写っていないという根本的な制約を、AI と反復最適化（IDU）で補完・再構成する点にあります。
単に3Dモデルを生成するのではなく、複数の技術を組み合わせたパイプラインを用います。

  • 3D Gaussian Splatting（3DGS）：初期幾何の復元

  • 疑似低視点レンダリング：深度情報の推定

  • 生成AI（拡散モデル）：建物立面や街路、細部の補完

  • 反復更新ループ（Iterative Dataset Update, IDU）：モデルの安定化

複数の技術を組み合わせたパイプライン
図解イメージ

このように、不完全な入力データから 目に見えない部分を AIで補完する思想 は、以前紹介した World Labs の「Marble」と似ています。

ただし、両者の違いは明確です。
Skyfall-GS は都市スケールの広域・抽象的補完であるのに対し、Marble は局所・精密補完に特化しています。

🔬オープンソース／コミュニティとの接続可能性を示す「公式ページ」

公開段階で Skyfall‑GS は、単にブラックボックスのツールではなく、技術・手法・モデル設計が開示される形式になっています（論文＋プロジェクトページ）。
こうした「オープンな知の公開」は、単に製品戦略だけでなく、次世代技術として評価されやすい土壌をつくる意味でも重要です。

研究プロジェクト「Skyfall‑GS」の 公式プロジェクトページ では、これらの論文・コード・データへのリンクなどがまとめられ、⚡️インタラクティブ3DGSビューア⚡️が掲載されています。

画像参考: skyfall-gs.jayinnn.dev
「インタラクティブ3DGSビューア」

これは、衛星画像から生成された都市空間を、ブラウザ上で自由に飛び回りながら体験できるツールです。Gaussian Splatting による軽量レンダリングで都市スケールのモデルをリアルタイム表示し、AIによる補完結果を直感的に確認できます。

衛星画像から都市がどのようにモデル生成されているかを実際に確認できる点は、この技術が机上の理論ではなく、実用フェーズに向かって着実に進んでいることを示しています。

『Skyfall-GS』2段階の生成プロセス

Skyfall-GS は大きく 2段階のプロセス を通じて、高品質なガウススプラットを生成します。

Stage 1: 再構築（Reconstruction）

  • 衛星画像から基本的な 3D 構造を再構築

  • 建物の配置や高さ関係を捉えた 粗い形状とテクスチャ

  • 処理時間：約 30〜60 分（短縮版・環境依存）

👉 この段階では、衛星画像に含まれる情報をもとに、都市全体の骨格となる初期 3D シーンを作ることに重点が置かれています。

Stage 2: 反復データセット更新による合成（IDU）

  • AI（拡散モデル）を用いて 高品質なテクスチャを生成

  • 建物ファサードやディテールを補完し、よりリアルな外観へ

  • 処理時間：さらに数時間

👉 Stage 1 で得られた結果と事前学習済みモデルを用い、
反復的なデータセット更新（IDU）によってジオメトリと外観を段階的に洗練させていきます。

補足すると、「Stage 1」のリコンストラクションフェーズにおける 短縮版（Short） と フルバージョン（Full） の違いは、主に以下の点にあります。

短縮版（5,000イテレーション）

  • 時間: 30-60分

  • 品質: 基本的な形状は見える、細部は粗い

  • 目的: 動作確認、処理フローやパイプラインの理解

フルバージョン（30,000イテレーション）

  • 時間: 3-5時間以上（環境依存）

  • 品質: より詳細で正確な3D構造を再現

  • 目的: 論文と同等の品質

この処理は、高解像度の衛星画像を前提としているため、計算負荷が非常に高くなることは容易に想像できるでしょう。

ネイティブ Linux 必須💥 Skyfall-GS 実行難易度について

学習レベルの高さに加え、「Skyfall-GS」は Linux 前提の研究コードです。
そのため、前提条件のどれかがほんの少しズレただけでも、「ビルドは成功、実行で即死」 という、研究コードあるあるな状況に陥ります。

AI イメージ

PyTorch CUDA Extensionの難しさ

このプロジェクトはPyTorch CUDA Extensionを自前でビルドする形式（setup.py / torch.utils.cpp_extension）で、特に CUDAバージョン・GCC・PyTorchの三者が密接に絡み合っています。

具体的には：

  • CUDA 12.1のnvccがUbuntu 24.04の新しいglibcと非互換

  • Python 3.12とCUDA拡張のABI不一致

  • PyTorchのバージョンとCUDA toolkitの組み合わせ

AI イメージ

研究コードの特性

論文の作者や研究者は、学内サーバやA100クラスタを使用し、OS / CUDA / GCCを固定できますが、一般ユーザーにはそれが困難です。
そのため、Docker が事実上の再現手段となります。

試した環境と結果

以下の環境で実行を試みましたが、いずれも失敗しました。

❌ Windows WSL2 (Ubuntu 24.04)

  • glibcが新しすぎてCUDA 12.1のnvccと非互換

  • _Float32などの新しい型定義にnvccが未対応

❌ Docker Desktop (Windows)

  • ビルド時のCUDA環境変数の問題

  • ヘッダーファイルのパス解決エラー

❌ Google Colab 無料版

  • コンパイルまでは成功

  • 実行時にCUDA error: device-side assert triggered

  • T4 GPUのメモリ制約

結論として、WSL2やWindows上Dockerでは、Skyfall-GSの完全ビルドはほぼ不可能と考えられます。

Docker（クジラ）や Linux（ペンギン：Tux）たち
「IT業界あるある」AI生成パロディ

Google Colabでの検証

念のため補足しておくと、Google Colab上のネイティブLinux環境（Ubuntu 22.04 + システムCUDA） では コンパイルまでは成功しますが、実行時にCUDAエラーが発生しました。

Google Colab 画面

Skyfall-GSのように「CUDA / GCC / PyTorch の三みつ巴どもえ」が原因で問題が起きる場合、環境を変えるだけでは根本的な解決にはなりません。

つまり、Skyfall-GSは特定バージョンの組み合わせでしか動作しないということです。

動作する可能性が高い環境

  • Ubuntu 22.04（24.04は新しすぎる）

  • Python 3.10

  • CUDA 12.1または12.8（システムレベルでインストール）

  • 適合するGCCバージョン

  • NVIDIA GPU（十分なVRAM）

現実的な選択肢

1. ネイティブLinux環境

  • 自前GPU（RTX 3090、4090など）+ Ubuntu 22.04

  • 最も安定した動作が期待できる

2. クラウドGPU

  • Lambda Labs、Paperspace、Google Colab Proなど

  • 環境構築済みのインスタンスを選ぶ

3. 既存の結果を確認

  • プロジェクトページの.plyファイルをダウンロード

  • 評価データの動画を確認

  • まず技術を理解してから環境構築を検討

4. 公式対応を待つ

  • 作者がDockerイメージを公開する可能性

  • GitHubでIssueを立てて問い合わせる

まとめ

Skyfall-GSを安定して動かすには、ネイティブLinux環境 + GPU + CUDA/PyTorchのバージョン整合 が基本です。自前GPUが十分であれば、クラウドは必須ではありません。一方で、リソースが不足している場合や、環境構築の手間を省きたい場合には、クラウドGPUの利用を検討すると良いでしょう。

研究コードの再現には、想定以上の技術的ハードルがあることを理解した上で取り組むことをお勧めします。

JAX & NYC🏙️ PLYで都市空間をチェック

公式ページには、次のデータがまとめられています。

画像参考: skyfall-gs.jayinnn.dev

  • arXiv - 論文（読むだけ）

  • Code - GitHubのソースコード（これは既にクローン済み）

  • Datasets - 学習データ

  • 3DGS PLY Files - 3Dモデルファイル

  • Evaluation Data - 評価用データ

この中の「3DGS PLY Files」は、Skyfall-GS で生成された 3Dモデルそのものです。コードを実行しなくても、形状や質感、点群・ガウススプラットの精度などを確認したいだけなら、この PLY ファイルを 3D ビューアや 3DGS 対応ソフトで開くだけで十分です。

これなら、環境構築なしですぐに Skyfall-GSの結果を体験できます。

画像参考: 3DGS PLY Files

JAX（ジャクソンビル）と NYC（ニューヨーク）の PLY ファイルは、どちらも都市部のビルを中心としたデータです。
特に NYC は高層ビルが多く、より都会的な景観を再現しています。
解凍後には、利用可能なシーンの一覧が表示されます。

PLaySplatに読み込んだ複数の.plyデータ

先にお伝えしたように、⚡️Interactive 3DGS Viewer⚡️ でもこの内容を確認できます。
データ容量が大きいため、環境によってはダウンロードせず、Viewer 上での閲覧のみでも確認可能です。

「衛星データは本当に手に入るの？」🛰️ 利用方法の基本

「衛星画像の入手が現実的に可能なの？」という疑問を持たれる方もいると思います。それを専門に扱う方でない限り、詳しくないのは当然です。

いくつか衛星画像を入手できるサイトがありますが、最も代表的な例として Google Earth Engine を挙げておきます。

🗺️Google Earth Engine（GEE）

Google Earth Engine（GEE） は、Google が提供するクラウドベースの地理空間解析プラットフォームです。

Skyfall-GSの論文でも使用されているものになります。

画像参考: earthengine.google.com

GEE は Maxar 社の高解像度衛星画像（Vivid、WorldView 系列など）をサブセットとして利用できます。さらに、Landsat、Sentinel、MODIS などの衛星画像も含まれています。

Google アカウントで登録（承認に数日かかる場合あり）し、コードエディタ（Code Editor）や Python API にログインすることで、画像を GeoTIFF 等でエクスポート可能です。

GEE 上での解析は無料で利用できます（個人研究・教育用途）。ただし、Maxar のような商用ライセンス付き画像をダウンロードして商用利用する場合は、別途ライセンス契約が必要です。

商用衛星画像の入手🛰️💰 Maxar などの購入手順

商用・高解像度のオリジナル画像が必要な場合は、Maxar からライセンス購入する必要があります。

  • WorldView 系列 30–50 cm 解像度のアーカイブデータは、およそ 10–30 USD / km² が目安です（解像度やバンド数によって変動）。

  • 実際の購入には見積もりが必要で、PDF 形式の価格表も提供されています。

💡国内窓口まとめ

国内では、代理店経由での購入がスムーズです。

  1. AW3D / MGP Pro 🔗 公式ページ

    • クレジット制・ストリーミング制など複数プランあり

    • 問い合わせフォームから用途・エリア・期間を伝えて見積もり

  2. NTTデータ Vantor（旧 Maxar） 🔗 公式ページ

    • アーカイブ画像、新規撮影、加工サービスに対応

  3. 日本スペースイメージング（JSI） 🔗 公式ページ

    • Maxar 系画像を取り扱い

    • 単体画像や定期取得など条件に応じて見積もり

👉 どの会社も、撮影希望エリア・解像度・利用用途・期間などを問い合わせフォームや営業窓口から伝え、見積もりを取得する形になります。

Skyfall-GS の可能性🚀 都市データの未来へ

Skyfall-GS は、衛星画像だけで歩ける 3D 都市シーンを生成するという、非常に挑戦的な技術です。現時点では、ネイティブ Linux 環境や GPU リソースなどハードルが高く、誰でも簡単に扱える状況ではありません。しかし、その先には、空撮や現地調査に頼らず都市空間を自動生成できる未来が広がっています。

研究レベルではまだ制約がありますが、今後の実用展開が進めば、都市デザイン、建築ビジュアライゼーション、メタバースやゲーム開発など、幅広い分野で非常に有効な手法となることが期待されます。

Skyfall-GS の登場は、都市データ活用の新しい可能性を示す、まさに未来志向の技術だと言えるでしょう。