Gaussian Splatting高斯泼溅技术原理与应用详解下一代3D重建技术来了SEO关键词Gaussian Splatting、高斯泼溅、高斯建模、3D重建技术、NeRF、神经辐射场、4D Gaussian Splatting、三维扫描、数字孪生、全息影像、摄影测量、虚幻引擎、实时渲染大家好 这里是「代码简单说」,欢迎大家关注同名公众号,不定时更新更多实用有趣的教程 也欢迎大家在评论区一起讨论交流!~如果我告诉你你看到的场景并不是真实存在的它不是CG建模也不是AI生成图片但你却可以自由移动视角从任意角度观察它甚至还能暂停时间、穿越时间轴。那么这种技术是什么答案就是最近几年火遍整个3D视觉领域的——Gaussian Splatting高斯泼溅。很多人认为AI时代最大的突破是ChatGPT。但在计算机图形学领域高斯泼溅的出现同样属于革命级别的技术突破。它让照片级真实感三维重建第一次具备了实时渲染能力超高画面质量极低制作门槛浏览器直接查看甚至很多业内人士认为高斯泼溅可能会成为未来全息影像时代的基础格式。今天这篇文章就带大家系统了解这项技术。一、什么是 Gaussian Splatting在线体验地址https://aholojs.dev/zh-CN/examples/walk-demo/简单来说Gaussian Splatting 是一种基于辐射场Radiance Field的三维场景重建技术。它能够通过大量照片或者视频素材重建出一个可自由观察的三维世界。效果类似这样房间扫描景区扫描古建筑数字化人物扫描商品展示VR场景最终生成的结果不是传统3D模型而是一种由大量高斯点构成的场景。效果接近真实摄影。甚至很多情况下比传统建模更加真实。二、为什么 NeRF 没火高斯泼溅却火了在高斯泼溅出现之前。最火的技术其实叫NeRFNeural Radiance Field中文神经辐射场当时NeRF被很多人认为是未来。因为它第一次实现了照片级真实感自动重建无需人工建模但NeRF有一个致命问题太慢NeRF本质上是一个神经网络。每次查看场景时都需要输入视角 ↓ 神经网络计算 ↓ 生成图像因此训练慢渲染慢编辑困难很难真正应用到生产环境。而Gaussian Splatting则完全不同。它不是神经网络。它是真实存在于三维空间中的数据结构。因此渲染速度快编辑方便可以实时运行这也是为什么高斯泼溅在短短一年时间内迅速取代NeRF。三、高斯泼溅的工作原理首先来看一个普通摄影测量流程。第一步拍摄大量照片例如扫描一个苹果。你需要左边拍右边拍上面拍下面拍尽可能覆盖所有角度。第二步SfM运动恢复结构Structure from Motion简称SfM作用计算每张照片拍摄的位置。同时寻找不同照片中的对应特征点。例如苹果表面某个斑点出现在多张图片中。系统就能通过三角测量得到三维坐标最终形成点云 Point Cloud第三步生成高斯点传统摄影测量点云 ↓ 三角面 ↓ 网格模型 ↓ 贴图而高斯泼溅则是点云 ↓ 高斯分布 ↓ 训练优化 ↓ 最终场景不需要构建复杂网格。四、高斯点到底是什么高斯泼溅的核心就是Gaussian即高斯分布从远处看●像一个点。实际上放大后◉是一个模糊的光斑。每个高斯点都记录属性作用位置三维坐标旋转朝向尺寸大小形状拉伸方向透明度Alpha颜色表面信息一个场景中可能包含100万 500万 1000万个高斯点。这些点不断叠加。最终形成真实场景。就像画家不断往画布上泼洒颜料。因此得名Gaussian Splatting高斯泼溅。五、为什么高斯泼溅如此真实关键原因视角依赖颜色现实世界中的颜色并不是固定的。例如苹果。从不同角度看明亮区域不同高光位置不同反射强度不同这就是View Dependent Color视角依赖颜色。传统3D模型很难准确表达。而Gaussian Splatting直接记录光线信息因此能够表现金属反射玻璃反射水面反射光泽变化效果极其真实。六、球谐函数是什么很多人第一次接触高斯泼溅都会看到一个词SHSpherical Harmonics中文球谐函数问题来了。方向是无限的。颜色变化也是无限的。难道每个高斯点要存储无限种颜色当然不可能。高斯泼溅采用基础颜色 球谐函数参数表示颜色变化。公式会根据观察方向自动调整颜色。类似最终颜色 基础颜色 方向修正值因此仅用少量数据。就能表达大量视角变化。这也是高斯泼溅体积小、效率高的重要原因。七、高斯泼溅制作流程实际制作一般分为三步。1、数据采集最关键。拍摄原则快门速度要高推荐1/500 1/1000避免运动模糊。锁定曝光避免自动曝光自动白平衡自动对焦否则训练容易失败。多角度覆盖确保没有死角否则最终场景会出现空洞。2、相机追踪常见工具COLMAPReality CaptureReality ScanMetashape作用计算相机位置。生成稀疏点云。3、训练高斯模型常见工具PostshotLuma AILuma Field StudioKiri EnginePolycam训练完成后即可生成高斯场景。八、高斯泼溅最强的应用场景数字文物保护古建筑扫描。历史遗迹数字化。即使未来建筑消失。数字资产依然存在。房地产展示用户无需到现场。即可自由浏览房屋酒店商场效果远超传统全景图。游戏资产制作利用游戏截图截图 ↓ 高斯重建 ↓ 实时浏览快速生成场景资产。影视制作直接导入Unreal EngineUnityBlender用于虚拟制片LED大屏拍摄VFX特效VR与MRMeta QuestApple Vision Pro都已经开始支持相关技术。未来极有可能成为空间互联网的重要组成部分。九、4D Gaussian Splatting是什么如果说3D高斯泼溅记录的是X Y Z空间信息。那么4D高斯泼溅增加了Time时间维度。即X Y Z T这样不仅能观察空间。还能观察时间。例如人物动作跳跃奔跑表情变化全部被记录下来。最终效果类似科幻电影中的全息影像你可以暂停慢放环绕观察子弹时间自由控制。十、高斯泼溅的未来目前来看。高斯泼溅正在快速进入Google地图数字孪生房地产文旅景区VR平台影视制作等多个领域。未来几年我们很可能看到图片时代 ↓ 视频时代 ↓ 全息时代的演进过程。而高斯泼溅极有可能成为全息时代的重要文件格式之一。总结Gaussian Splatting之所以被称为近几年计算机图形学最重要的突破之一。原因很简单它同时解决了真实感实时性制作成本三个长期难以兼顾的问题。相比NeRF更快更轻量更容易落地相比传统建模更真实更自动化更适合现实世界数字化如果说摄影定义了图片时代。视频定义了短视频时代。那么高斯泼溅正在定义下一代空间媒体时代。也许未来的互联网不再是二维网页。而是一整个可以自由穿梭的三维世界。