深度传感原理：3D 视觉的基础

Key Takeaways

  • 深度感知是指测量传感器与场景中物体之间距离，并重建三维结构的过程。
  • 不同的深度感知方法（如飞行时间、双目视觉和结构光）基于不同的物理原理获取深度信息。
  • 深度感知原理的选择直接影响系统的精度、鲁棒性、延迟和计算复杂度。

What is it?

深度感知是视觉系统获取场景中物体距离信息的基础能力。
深度感知通过将物理距离转换为数字信号，使机器能够理解空间几何结构。
与传统二维成像仅获取亮度和颜色信息不同，深度感知提供了描述场景结构的第三维度。
深度信息通常以逐像素的距离值表示，形成深度图或点云数据。
从技术路径上，深度感知方法主要分为两类：
  • 主动式方法（如飞行时间 ToF、结构光）
  • 被动式方法（如双目视觉）
主动式深度感知通过向环境发射信号获取信息，而被动式方法依赖环境光和图像分析。
不同方法在精度、测量范围、功耗和计算复杂度方面存在明显权衡。

How does it work?

不同深度感知技术基于不同的物理机制和计算方法实现距离测量。

1. 飞行时间（ToF）

飞行时间（ToF）通过测量光信号的时间延迟或相位差来计算深度。
常见实现方式包括：
  • 直接飞行时间（dToF）：测量光的绝对传播时间
  • 间接飞行时间（iToF）：测量调制光信号的相位差
深度计算公式：
  • 基于时间：$Distance = \frac{c \cdot \Delta t}{2}$
  • 基于相位：$Distance = \frac{c \cdot \Delta \phi}{4\pi f_{mod}}$
其中：
  • \(c\)：光速
  • \(\Delta t\)：时间延迟
  • \(\Delta \phi\)：相位差
  • \(f_{mod}\)：调制频率
多频调制用于解决相位模糊问题，并扩展测量距离范围。
主要挑战包括：
  • 多径干扰（MPI）
  • 环境光干扰
  • 传感器噪声
多径干扰（MPI）会在光发生多次反射后引入系统性深度误差。

2. 双目视觉

双目视觉通过两个空间分离的相机对同一场景进行成像，并利用三角测量计算深度。
深度计算公式：
$Depth = \frac{f \cdot B}{d}$
其中：
  • \(f\)：焦距
  • \(B\)：基线长度
  • \(d\)：视差
双目视觉的深度精度依赖于图像中对应特征点的匹配准确性。
其主要局限包括：
  • 低纹理区域难以匹配
  • 遮挡问题
  • 光照变化敏感

3. 结构光

结构光通过向场景投射已知图案，并根据图案的变形情况恢复深度信息。
其基本流程包括：
  • 投射结构光图案
  • 采集图像
  • 几何重建
深度通过对比实际观测图案与参考图案之间的差异计算得到。
结构光在受控环境中精度较高，但对环境光较为敏感。

4. 深度处理流程

无论采用哪种感知方式，深度数据通常需要进一步处理。
深度滤波用于在降低噪声的同时保留结构细节。
常见方法包括：
  • 双边滤波
  • 时序滤波
  • 边缘保持滤波
标定用于校正系统误差，并将深度数据映射到真实空间坐标系。
此外，常见处理还包括：
  • RGB-D 融合
  • 异常点剔除
  • 多帧融合

Why does it matter?

深度感知是现代智能系统实现空间理解的核心能力之一。
深度数据提供了二维图像无法可靠获取的几何信息。
它使机器能够：
  • 感知物体距离与尺寸
  • 在三维空间中导航
  • 与物理环境进行交互
深度感知的精度和稳定性直接影响系统的感知与控制性能。
不同技术路径带来的系统特性包括：
  • ToF：低延迟、对光照变化不敏感
  • 双目：分辨率高、硬件结构简单
  • 结构光：在受控环境下精度较高
深度感知方案的选择需要在精度、成本、功耗和环境适应性之间进行权衡。

Applications

机器人与导航

深度感知支持机器人进行实时避障和空间建图。
典型应用包括：
  • SLAM（同步定位与建图）
  • 路径规划
  • 碰撞检测

工业自动化

深度测量可用于精确定位、体积估计和质量检测等任务。

人机交互

深度感知可在不依赖颜色信息的情况下实现手势识别与人体跟踪。

AR/VR 系统

深度信息支持空间建模与遮挡处理，提升沉浸式体验。

智能环境

深度感知可实现隐私友好的存在检测和人数统计。

SGI Solution

SGI 提供集成硬件与算法优化的深度感知系统级解决方案。
SGI 通过系统级优化提升深度精度、稳定性和工程可落地性。
核心技术能力包括：

深度滤波与增强

通过时空滤波算法降低噪声并提升边缘质量。
深度滤波是提升深度数据稳定性的重要手段。

RGB-D 融合

融合深度与彩色信息，增强场景理解能力。
RGB-D 融合支持更高层次的视觉感知任务。

多径干扰（MPI）抑制

通过算法建模降低多径引起的误差。
MPI 抑制是复杂反射环境下保证精度的关键。

系统标定

提供精确的标定方法，确保深度一致性。
标定用于消除系统误差并建立空间映射关系。

性能优化

针对嵌入式平台优化算法，实现实时处理。
高效的深度处理能力支持边缘设备部署。
ToF 相机 基于飞行时间原理的 3D 深度相机，适合多种应用场景。 RGB-D 相机 融合彩色与深度信息的视觉传感器，支持更丰富的感知任务。 机器人视觉应用场景 了解深度感知在机器人领域的实际应用案例。

Related Topics