← 影像色彩与显示技术指南
IMAGE · 3D GAUSSIANS · CAMERA · VIDEO

让一张照片
拥有可移动的视角

用真实马匹照片走完完整链路:单图重建 3D 高斯场景,在网页里亲手走进去,再把一条摄影机轨迹渲染成视频。

从静止画面到运动视差真实 SHARP 3DGS 重建 · ±3° 横向环绕
10 s · 30 fps
01 · INPUT输入一张照片
颜色与透视线索
02 · RECONSTRUCT预测空间高斯
位置、形状、颜色、透明度
03 · CAMERA规划视点轨迹
围绕主体移动并始终看向它
04 · OUTPUT逐帧渲染视频
画面序列 → 编码文件
01 / FROM PIXELS TO SPACE

二维图像里,藏着空间线索

一张照片没有真实的背面信息;模型只能根据大小、遮挡、透视和语义去预测可见场景的空间结构。

马匹原始照片的 sRGB 工作副本
输入:马匹照片模型输入的 sRGB 工作副本
3DGS 渲染出的相对逆深度预览,白色更近、黑色更远
空间关系预览白近 · 黑远,非米制测距
①

辨认主体

马匹、草地、山体与天空在图像中构成前后层次。

②

推断深度

将相对远近映射到三维位置;遮挡处不可见的内容仍是未知的。

③

准备新视角

摄影机稍微移动时,近处位移更明显,产生运动视差。

02 / THE SCENE REPRESENTATION

一个高斯,怎么变成像素?

SHARP 的马匹场景包含 1,179,648 个高斯。每个高斯不是硬边小球,而是一个具有位置、尺度、旋转、颜色与不透明度的柔性椭球。下面用少量合成高斯,把“空间形状 → 屏幕投影 → 透明混合”拆开观察。

亲手调一个高斯

先改变空间转向,观察投影面积;再调透明度和数量,观察重叠区域。

正交投影原理实验 · 非真实 PLY

① 空间椭球

线框表示等密度轮廓,中心最浓,向外连续衰减;不是一个实心网格物体。

② 单个高斯的屏幕投影

虚线是 1σ 等值线,不是裁切边界;椭圆外仍有逐渐减弱的贡献。

③ 多颗高斯,合成一个画面

从后往前叠加:每层覆盖一部分背景。重叠区更不透明,前层颜色影响更大。

α(p) = 峰值不透明度 × exp(−½ dᵀ C⁻¹ d)
把空间协方差投影成二维 C,就能计算每个像素的贡献。合成使用 结果 = 前层颜色 × α + 背景 × (1 − α)。本实验在线性 RGB 中混合,再编码为屏幕颜色;正式渲染还要处理透视、深度排序与性能优化。

空间转向改变椭球面对屏幕的形状;画面内旋转只改变椭圆方向。透明度为 0 时只剩背景。反转顺序会改变颜色,但不会改变同一像素的累计不透明度。

03 / INTERACTIVE 3DGS

现在,走进这张照片

这是实时浏览器 3D 高斯渲染,不是 360° 视频。鼠标拖动转向;W / S 沿镜头方向前后移动,A / D 左右平移。

亲手探索 3D 高斯场景

压缩模型 23.45 MiB,完整保留 118 万高斯。点击后加载。

拖动鼠标转向 · WASD 移动 · Q/E 升降 · Shift 加速
先点击场景以接收键盘操作;滚轮调移动速度,按 R 回原点。
速度 1.0×

单图重建适合在原始拍摄点附近小范围探索。远离拍摄点后,遮挡后方缺少原图证据,出现模糊、拉伸或空洞是模型与输入信息的限制,不表示已有完整的 360° 场景。

04 / CAMERA TO FRAMES

让摄影机走一段路,视频就诞生了

以 PPT 中的油画场景为例,用锥形环绕同时展示水平与垂直视差,再沿连续闭合轨迹逐帧导出。

真实输出:油画 · 锥形环绕右 → 上 → 左 → 下 → 右 · 连续闭环
① 右② 上③ 左④ 下轨迹正视示意

一圈运镜,呈现双向视差

相机沿圆形轨迹移动,依次经过右、上、左、下,再回到右侧;始终朝向同一环绕点,保持地平线不滚转。视线形成半角 1.5° 的圆锥。

1.5°锥半角 · 水平 / 垂直幅度
300输出帧数 · 30 fps · 10 秒
01

固定环绕点与半径

以主体为注视中心,让相机位置绕圆运动;水平、垂直视差共同呈现空间层次。

02

连续计算相机位姿

沿完整圆周取样,每帧更新位置与朝向,再投影高斯并混合成新视角画面。

03

闭环取样与编码

300 帧覆盖一圈,不重复末尾首帧;闭合轨迹令循环衔接自然,输出 10 秒视频,无音频。

WHAT IT CAN / CANNOT DO

把演示效果与能力边界分开

01 · 可见范围

不是完整扫描

模型从一张图推断场景,没有见过物体背面。小视角运动更可靠,大幅绕后会暴露遮挡缺失。

02 · 画面边缘

要预留安全构图

原图之外的内容缺少证据。输出视频用安全裁切降低边缘空洞;这不等于修复了未知背景。

03 · 演示口径

真实样例,而非性能承诺

网页 PLY、深度预览和视频均来自马匹样例。实际耗时与画质依赖输入、设备、分辨率和轨迹。