ブログへ戻る
目次8 セクション

SHARP · IMAGE TO 3D

先查看 Apple 的单图视角合成样例,再在本地将自己的照片生成 3D Gaussian 表示。

浏览官方效果对比样例

这里是预先渲染的研究样例,可以交互选择场景和对比方法。它不会上传你的照片,也不会在浏览器执行 SHARP 推理。

在新标签页打开图库 ↗

用自己的图片生成场景

安装 SHARP

Python 3.13 · official SHARP CLI

conda create -n sharp python=3.13 -y
conda activate sharp
git clone https://github.com/apple-aiml-research/ml-sharp.git
cd ml-sharp
python -m pip install -r requirements.txt
sharp --help

将一张或多张照片放入 input 目录,然后执行预测。首次运行会自动下载 checkpoint。

Predict

sharp predict -i ./input -o ./output

成功后,output 目录会生成 3D Gaussian .ply 文件,可使用兼容的 Gaussian Splat 查看器打开。结果支持邻近视角,不代表完整重建了场景中不可见的部分。

选择运行设备

生成 Gaussian 表示

CPU、CUDA 或 Apple MPS

渲染相机轨迹视频

官方渲染器要求 CUDA GPU

可选:在 CUDA 设备渲染视频

CUDA

sharp predict -i ./input -o ./output --render
# Or render previously generated Gaussians:
sharp render -i ./output -o ./renderings

遇到问题时

  • 首次运行较慢:需要下载 checkpoint 并初始化,请查看终端进度。
  • Mac 无法渲染视频:预测支持 MPS,但官方 --render 路径要求 CUDA。
  • 其他查看器中朝向异常:SHARP 使用 OpenCV 坐标约定,需检查查看器的缩放和旋转设置。

官方代码与样例 · 核对于 2026-09-12

Apple GitHub ↗ · Official examples ↗ · Paper ↗

图片转 3D:一张照片,一个 3D Gaussian splat

图片转 3D · GAUSSIAN SPLAT

Apple SHARP 在 GPU 上不到一秒就能从单张照片预测 3D Gaussian 表示,并实时渲染邻近视角。本页以任务为中心:你能得到什么、如何在 Mac 或 CUDA 上本地运行、如何查看结果。

查看官方 SHARP 样例 · GitHub

你会得到什么

  • 一个带绝对尺度的 3D Gaussian .ply 文件,可直接用 splat 查看器打开。
  • 围绕原始视角的实时视差——是 3D 照片,而不是完整模型。
  • 在 CUDA GPU 上可选渲染相机轨迹视频。

本地运行 SHARP

  1. 创建 Python 3.13 环境并安装官方仓库。
  2. 把一张或多张照片放入 input 文件夹。
  3. 运行 sharp predict;首次使用会下载 checkpoint。
  4. 用 Gaussian splat 查看器打开输出的 .ply。

Python 3.13 · official SHARP CLI

conda create -n sharp python=3.13 -y
conda activate sharp
git clone https://github.com/apple-aiml-research/ml-sharp.git
cd ml-sharp
python -m pip install -r requirements.txt
sharp predict -i ./input -o ./output        # CPU, CUDA or MPS
sharp predict -i ./input -o ./output --render   # video rendering needs CUDA

查看结果

SHARP 输出标准的 3D Gaussian .ply 文件,网页版 splat 查看器可以直接打开。SHARP 使用 OpenCV 相机约定,如果查看器显示的场景翻转,请检查缩放与朝向。

需要可重打光的资产?

Luce(Apple,2026 年 8 月)面向物体而非场景,预测 PBR 材质——反照率、金属度-粗糙度和法线——因此资产可以重新打光并导出为网格。核对时尚未确认代码公开。

Luce → · Luce vs SHARP →

常见问题

这和摄影测量一样吗?

不一样。摄影测量需要很多照片并重建完整物体。SHARP 从一张照片推断出合理的 3D 场景,只面向邻近视角。

能在浏览器运行吗?

生成需要用官方命令行在本地运行,没有浏览器内推理。输出的 .ply 可以在网页 splat 查看器中查看。

能在 iPhone 上用吗?

原版不行;参考实现是面向 Mac 与 Linux 的 Python 包。请在电脑上生成,再分享视频或 splat 文件。

硬件

  • 预测:CPU、CUDA 或 Apple Silicon(MPS)。

  • 视频渲染(--render):官方渲染器需要 CUDA GPU。

  • 较新的 Mac 几秒内即可生成场景;不可见区域不会被重建。

  • SHARP 模型页

  • Depth Pro

  • 更多工具

この記事を共有

関連ツール

この記事のテーマに近いディレクトリ項目を確認できます。

ディレクトリを見る