3D Gaussian Splatting
研究重点：indoor
Papers
3DGS
3D Gaussian Splatting for Real-Time Radiance Field Rendering
Mip-Splatting
在 3DGS 上的修改，Mip-Splatting为 3DGS 引入了 3D 平滑滤波器 和 2D Mip 滤波器，消除了多个伪影。
在改变采样率时，例如通过改变焦距或相机距离(3DGS由于使用膨胀而产生膨胀和侵蚀伪影。 当放大或靠近相机时，它会产生侵蚀效果。 这是因为膨胀的 2D 高斯在屏幕空间中变小，使对象结构比实际看起来更薄。 相反，屏幕空间膨胀在缩小或远离场景时会产生膨胀伪影。 在这种情况下，膨胀的 2D 高斯在屏幕空间中变得更大，使对象结构比实际看起来更厚)。
为了解决这个问题，我们引入了一个 3D 平滑滤波器，该滤波器根据输入视图引起的最大采样频率来约束 3D 高斯基元的大小(将3D表示的频率限制在训练图像确定的最大采样率的一半以下)，从而消除了放大时的高频伪影。 此外，用模拟 2D 盒式滤波器的 2D Mip滤波器代替 2D 膨胀，可有效缓解混叠和膨胀问题。
Mip-Splatting Alias-free 3D Gaussian Splatting
360-gs
这篇文章提出了一种新的方法—— 360-gs，用于从稀疏的全景图像中生成新的视图。该方法旨在解决使用 3dgs 处理全景图像时的空间变形问题，以及在稀疏输入和纹理较少的平面（如墙壁和地板）上的几何建模问题。
文章提出了一种新的3D高斯喷溅算法，具体包括：
- 提出了360-GS，这是一种面向稀疏全景图像的布局引导3D高斯喷溅管道
- 360◦ 高斯溅射算法将溅射分解为两个步骤：将 3D 高斯投影到切平面上，然后将它们映射到球面。分解避免了投影的复杂表示，同时保持了实时性能。
- 从房间布局先验信息中推导出一种高质量的点云生成方法，用于初始化3D高斯，从而提高了少样本新视图合成的性能。
- 引入了一种布局引导的正则化方法，对3D高斯进行约束，以减少由欠约束区域引起的浮动现象。
没代码，已发邮件（一作），未回复。
Gamba
GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction
GaussianPro: 3D Gaussian Splatting with Progressive Propagation
https://mp.weixin.qq.com/s/Z5jqnAaVTqn2UukpDWRRYw
- bkgd：
- 3DGS在很大程度上依赖于由运动结构（Structure-from-Motion，SfM）技术生成的初始点云。
- 当处理包含弱纹理表面的大规模场景时，SfM技术往往无法在这些表面上生成足够的点，并且无法为3DGS提供良好的初始化。
- 贡献：
- 本文提出了一种新颖的高斯传播策略，指导三维高斯的稠密化过程，在大场景中初始点云稀疏的区域，特别是弱纹理区域，产生更紧凑和准确的三维高斯。
- 本文提出了平面约束的损失函数辅助三维高斯的优化过程，鼓励三维高斯接近平面表达。
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
https://mp.weixin.qq.com/s/fHOU7C0HFv2c73q5HZJSLQ
本文提出了一种新的神经表面重建方法，称为NeuS。该方法能从2D图片重建物体和场景。2020年Niemeyer等人提出的DVR和2020年Yariv等人提出的IDR是现存的神经表面重建（neural surface reconstruction）方法，但他们都依赖前景遮罩（foreground mask）提供监督且训练不稳定。近期的神经方法比如2020年的NeRF及其变体提出使用体积渲染（volume rendering）构造更鲁棒的场景描述，但由于缺少表面约束（surface constraints）在这种隐式（implicit）场景描述的基础上构造表面十分困难。于是本文提出一种新的神经表面重建方法NeuS，使用一个符号距离函数（SDF，signed distance function）的零级集合（zero-level set）来表示一个表面，并部署一种新的体积渲染方法来训练神经SDF描述。作者发现传统体积渲染会在表面重建引入固有几何错误，所以引入了新方法，改进这一情况，即使没有遮罩监督。
NeuS使用符号距离函数（SDF）来表示表面，并且使用一种新的体渲染方式来学习神经SDF的表示。特别地，以SDF的方式引入密度分布，作者使得以体渲染的方式学习隐式SDF分布成为可能，并且能够同时获得1.准确的表面表示 和 2.鲁棒性的神经网络训练 这两方面的好处。
GaussReg: 3DGS 重塑点云配准
GaussReg: Fast 3D Registration with Gaussian Splatting
看起来用不到，和处理点云有关
GaussianSR：打破传统离散特征表示能力的限制！
用 2dgs 做图片超分的，用不到
GOLMAP：全局式SfM比增量式COLMAP快几个数量级？（ECCV’24）
也许可以用？
高质量3D Gaussian-Splatting场景重建及低延迟重渲染技术
火山引擎研究团队提出了一种几何增强的3D Gaussian Splatting的重建算法，用于对场景进行高质量的几何与外观重建，并实现了基于高斯光栅化的延迟渲染管线从而支持重光照、阴影、Mesh混合渲染并支持实时渲染
这项工作为每个3D高斯引入了一个法线属性n，在训练过程中，使用Alpha-blending为指定视点渲染深度和法线图，并使用深度图计算伪法线来监督法线属性及高斯点位置的优化。其中，直接使用深度梯度产生的伪法线对噪声非常敏感，导致伪法线非常嘈杂，并且具有多视角不一致的问题，为此，该方法为深度、法线添加正则化项约束，并使用Appearance Embdeeing的方式为每个图像id编码一个外观因子作用于渲染图像，缓解多视角拍摄的外观不一致问题。
SA4D：首个基于4D高斯模型来分割4D数字世界中任何事物的框架
什么都有 4dgs 了，但是应该用不上，先看看
华科&华为&上交团队最新的工作《Segment Any 4D Gaussians》，主要应用于4D动态场景的分割任务，结合4DGS效果很惊艳~
在SA4D中，引入了一个高效的时间identity特征场来处理高斯伪影，有可能从噪声和稀疏输入中学习精确的identity特征。此外，还提出了一种4D分割细化过程来消除伪影。我们的SA4D在4D高斯中在几秒钟内实现了精确、高质量的分割，并显示了去除、重新着色、合成和渲染高质量任何mask的能力。
Textured-GS：创新性纹理高斯泼溅
作者引入了一种新的方法，使用SH为高斯椭球表面纹理化，增加了单个高斯的表现力，而无需添加额外参数。
作者将这种技术扩展到模拟高斯椭球表面上的不透明度变化，允许从标准椭球形状偏离。这包括创建“单向高斯”，它们可以在一侧不透明，在另一侧透明。
作者通过将其应用于使用Mini-splatting预优化的3D高斯场景来验证我们的方法。我们的方法在几个已建立的数据集上实现了最先进的渲染质量，同时与标准3D高斯泼溅（3DGS）相比，需要显著更少的高斯。
MGFs：建筑表面重建的全新掩蔽高斯场
3D Gaussian Splatting