苹果 SHARP 模型生成高斯泼溅

前言

本文是一个引路文章，记录我初次了解的高斯模型应用

关于高斯泼溅模型，我是如何知道的？

第一次是在B站上看到无人机扫描的地面的3D数据，在电脑上进行查看。甚至有人用手持式专用3DGS扫描仪（如POP 4、PortalCam），将学校的场景转为游戏场景。 画面接近现实！当我把学校做进了游戏！高斯模型校园UE5技术演示 3DGS

又看到了李飞飞团队做的 Marble（通过图片文字创造一个3D场景），觉得非常有意思这个项目，了解到也是用的高斯模型。

加载中...

图片转3DGS（苹果 SHARP 模型）

Vision PRO 上面有个功能就是将图片转为 3D 场景，这功能许多使用者都说身临其境。于是乎搜了下，发现苹果竟然开源了，叫 ml-sharp。

使用

安装都有教程，这里不重复了。

在 Models 文件中的 input 放入 HEIC 图片，运行命令 output 就会输出 .ply 格式的文件。

运行一下

sharp predict -i D:\Models\input -o D:\Models\output -c sharp_2572gikvuh.pt

运行一段时间就断了，没见到显示错误，然后命令行也重新起一行了

sharp predict -i D:\Models\input -o D:\Models\output -c sharp_2572gikvuh.pt

2026-04-19 18:23:40,060 | INFO | Processing 2 valid image files.

2026-04-19 18:23:40,060 | INFO | Using device cpu

2026-04-19 18:23:40,061 | INFO | Loading checkpoint from sharp_2572gikvuh.pt

2026-04-19 18:23:42,240 | INFO | Using preset ViT dinov2l16_384.

2026-04-19 18:23:45,623 | INFO | Using preset ViT dinov2l16_384.

2026-04-19 18:23:49,286 | INFO | Processing D:\Models\input\2024_09_11_13_39_IMG_5081.jpg

2026-04-19 18:23:49,288 | WARNING | Did not find focallength in exif data of D:\Models\input\2024_09_11_13_39_IMG_5081.jpg - Setting to 30mm.

2026-04-19 18:23:49,295 | INFO | Running preprocessing.

2026-04-19 18:23:49,320 | INFO | Running inference.

刚开始失败了，我看了下是因为我电脑是核显，相对于显卡来处理还是比CPU要好一些。还有一个原因是是内存爆了，通过观察任务管理器的内存在不断变大。然后我加大了 Windows 性能里的虚拟内存，然后关闭所有占内存的应用，最后终于成功了！😂

查看

Blender 直接导入.ply 只能看到未渲染的点，想要查看渲染的高斯泼溅模型，需要下载插件 dgs_render_by_kiri_engine。

1. 安装插件：你需要从 KIRI Engine 的 GitHub 页面或 Blender Market 下载最新版的 3dgs_render_by_kiri_engine 压缩包，然后在 Blender 的“编辑 > 偏好设置 > 插件”里通过“安装”加载它。插件是免费且开源的。

2. 正确导入：安装并启用插件后，在 Blender 的 3D 视图右侧面板找到插件的选项卡，需勾选 Create Proxy Object 再使用里面的 “导入 PLY” 功能来打开你的文件，接着切换到“渲染模式”。

   💡 使用提示：这个插件提供了两种工作模式：

   • 编辑模式 (Edit Mode)：显示为点云或面片（只能看到未渲染的黑色的点云）。
   • 渲染模式 (Render Mode)：显示为完整的高斯泼溅效果。

加载中...

Blender 的操作方式我不习惯，看起来有点吃力。还有个推荐的网站：SuperSplat

文件直接打开可能看不到文件，直接拖拽进去即可

加载中...

实际应用场景

1. 游戏 / Web 3D

• 比传统模型更轻量
• 可用于浏览器（WebGL / WebGPU）

2. 数字孪生 / 实景重建

• 房屋扫描
• 城市场景

3. 影视 / AI内容生成

• 快速生成真实环境
• 虚拟拍摄

关于 AI 视频制作，这里我也应用过。很多时候 AI 对于场景理解不到位，因为一张图片毕竟生成多个角度难免有偏差，虚拟场景就可以解决这个问题，提供了非常多的角度。

相关网站

Luma AI - 可以通过手机拍摄照片或视频，直接在云端生成高质量的 3D 模型。

知天下 AI - 国内专注于高斯泼溅（3DGS）三维重建与生成的 AI 平台，完全免费提供 3DGS 重建和发布服务。

开源/高性能在线查看器

Visionary - 由上海AI实验室等机构打造的开源、WebGPU 驱动的在线渲染平台。相关代码可在 GitHub 获取。

本地专业工具（用于训练与编辑）

Lichtfeld Studio - 开源免费的本地桌面应用，支持训练、编辑和渲染 3D 高斯泼溅，重建效率处于第一梯队。需要 NVIDIA GPU。

Postshot - 商业软件，适合大场景及航拍重建，但需要订阅（约200元/月）。同样需要 CUDA GPU。