AI IDE List
返回文章列表
本页目录8 个章节

SHARP · IMAGE TO 3D

Apple の単眼視点合成の例を確認し、自分の写真からローカルで 3D Gaussian 表現を生成します。

公式比較ギャラリー

事前レンダリング済みの研究例で、シーンや手法を比較できます。写真のアップロードやブラウザ内 SHARP 推論は行いません。

別タブでギャラリーを開く ↗

自分の画像からシーンを生成

SHARP をインストール

Python 3.13 · official SHARP CLI

conda create -n sharp python=3.13 -y
conda activate sharp
git clone https://github.com/apple-aiml-research/ml-sharp.git
cd ml-sharp
python -m pip install -r requirements.txt
sharp --help

input フォルダーに写真を置いて予測を実行。初回はチェックポイントを自動取得します。

Predict

sharp predict -i ./input -o ./output

output に 3D Gaussian .ply が生成されます。対応ビューアーで開いてください。近傍視点向けの表現で、不可視部分を含む完全な3D再構築ではありません。

実行デバイスを選択

Gaussian 予測

CPU・CUDA・Apple MPS

カメラ軌道の動画レンダリング

公式レンダラーには CUDA GPU が必要

任意:CUDA で動画を生成

CUDA

sharp predict -i ./input -o ./output --render
# Or render previously generated Gaussians:
sharp render -i ./output -o ./renderings

問題が発生した場合

  • 初回が遅い:モデル取得と初期化の進捗を端末で確認。
  • Mac の動画生成:予測は MPS 対応、公式 --render は CUDA が必要。
  • 別ビューアーで方向が異なる:OpenCV 座標のスケールと回転を確認。

公式コードと例 · 2026年9月12日確認

Apple GitHub ↗ · Official examples ↗ · Paper ↗

画像から3D:写真1枚から 3D Gaussian splat

画像から3D · GAUSSIAN SPLAT

Apple SHARP は GPU 上で1秒未満に1枚の写真から 3D Gaussian 表現を予測し、近傍視点をリアルタイムに描画します。このページはタスク優先のガイドです。得られるもの、Mac や CUDA でのローカル実行、結果の表示方法。

公式 SHARP サンプルを見る · GitHub

得られるもの

  • メトリック尺度を持つ 3D Gaussian の .ply ファイル。スプラットビューアでそのまま開けます。
  • 元の視点周辺のリアルタイムパララックス。完全なモデルではなく3Dフォトです。
  • CUDA GPU では任意でカメラ軌道の動画をレンダリング。

SHARP をローカルで実行

  1. Python 3.13 環境を作成し公式リポジトリをインストール。
  2. 写真を input フォルダーに配置。
  3. sharp predict を実行。初回はチェックポイントを取得します。
  4. 出力の .ply を Gaussian スプラットビューアで開く。

Python 3.13 · official SHARP CLI

conda create -n sharp python=3.13 -y
conda activate sharp
git clone https://github.com/apple-aiml-research/ml-sharp.git
cd ml-sharp
python -m pip install -r requirements.txt
sharp predict -i ./input -o ./output        # CPU, CUDA or MPS
sharp predict -i ./input -o ./output --render   # video rendering needs CUDA

結果の表示

SHARP は標準的な 3D Gaussian .ply を出力し、Web ベースのスプラットビューアで直接開けます。SHARP は OpenCV のカメラ規約を使うため、シーンが反転して見える場合はスケールと向きを確認してください。

再照明可能なアセットが必要?

Luce(Apple、2026年8月)はシーンではなくオブジェクトを対象に、アルベド、メタリック・ラフネス、法線といった PBR 材質を予測し、再照明とメッシュ書き出しを可能にします。確認時点でコード公開は未確認です。

Luce → · Luce vs SHARP →

よくある質問

フォトグラメトリと同じ?

いいえ。フォトグラメトリは多数の写真から完全なオブジェクトを再構築します。SHARP は1枚の写真からもっともらしい3Dシーンを推定し、近傍視点のみを対象とします。

ブラウザで動く?

生成は公式 CLI でローカル実行し、ブラウザ内推論はありません。出力 .ply を Web スプラットビューアで見ることは可能です。

iPhone で使える?

そのままでは不可。参照実装は Mac と Linux 向けの Python パッケージです。PC で生成し、動画やスプラットファイルを共有してください。

ハードウェア

  • 予測:CPU、CUDA、Apple Silicon(MPS)。

  • 動画レンダリング(--render):公式レンダラーは CUDA GPU が必要。

  • 最近の Mac なら数秒でシーンを生成。見えない領域は再構築されません。

  • SHARP モデルページ

  • Depth Pro

  • その他のツール

分享这篇文章

引用的工具

浏览与本文主题相关的目录条目。

探索目录