随着机器视觉,自动驾驶等颠覆性的技术逐步发展,采用 3D 相机进行物体识别,行为识别,场景 建模的相关应用越来越多,可以说深度相机就是终端和机器人的眼睛,那么什么是深度相机呢,跟之前的普通相机(2D)想比较,又有哪些差别? 深度相机又称之为3D相机,顾名思义,就是通过该相机能检测出拍摄空间的景深距离,这也是与普通摄像头最大的区别。
目前市面上常有的深度相机方案有以下三种:
(1) 结构光(Structured-light),代表公司有奥比中光,苹果(Prime Sense),微软 Kinect-1,英特尔 RealSense, Mantis Vision 等;
(2) 双目视觉(Stereo),代表公司 Leap Motion, ZED, 大疆;
(3) 光飞行时间法(TOF),代表公司微软 Kinect-2,PMD,SoftKinect, 联想 Phab。
本文介绍的便是英特尔公司推出的一款消费级深度相机 -- Intel RealSense D435i,它的主要构成如下图所示。
它主要包含一个RGB相机、两个红外相机以及一个红外发射器,此外还有一个IMU单元(这也就是D435i和D435的区别,i就表示imu)。简单来说它的深度成像原理是主动立体红外成像,不是传统意义上理解的双目RGB相机成像,这点需要注意一下。 有了深度图(3D点云)和对应的RGB影像,因此也就很容易获得RGB-D点云了。因此从输出的角度而言,D435i可以看做是一个RGB-D传感器相机。后续可以搭配ORB-SLAM中RGB-D的模式进行使用。当然,也可以只用单目RGB影像,以单目SLAM模式运行,或者单目结合IMU,以Mono-Initial模式运行。唯一不能运行的是双目RGB模式(因为两个红外相机是单通道的)。当然我们可以获取双目的红外影像,以此作为输入,进行双目SLAM,结果也是类似的。因此可以看出,D435i是一个比较“全能”的传感器,从单目、单目+IMU、双目、双目+IMU、RGB-D都可以使用。
视觉处理器,D400系列模块和深度相机关系如下:视觉处理器+模块=深度相机。
对于它的一些技术上的参数,这里也简单列举一下: 深度技术:主动立体IR 图像传感器技术:3μm×3μm像素大小,全局快门 深度视场(H×V):86°×57°(±3°) 深度分辨率&帧率:1280×720,90FPS(最高) RGB传感器技术:卷帘快门 RGB传感器分辨率&帧率:1920×1080,30FPS(最高) RGB传感器FOV(H×V):69°×42°(±1°) 最小深度距离(Min-Z):0.105m 最大范围:约10m 尺寸(长宽高):90mm × 25mm × 25mm
从上面的参数中,也可以看出来它的一些特点。比如深度图和RGB影像的大小是不同的,换句话说RGB影像中只有和深度图重叠的那部分才有深度信息,否则是没有的。同时帧率也不相同,如果需要使用RGB-D信息,那么时间同步也可能是个需要处理的问题。第二点是RGB传感器采用的是卷帘快门,因此在一些高速运动的场景下,可能会出现果冻效应。最后由于采用主动红外测距技术,而红外传感器本身发射的信号强度有限,最大10m左右,因此并不能适用于室外很大的场景。主要用于实现计算机视觉、增强现实、虚拟现实和人机交互等领域的创新应用。
由此关于Intel RealSense的未来发展预想有以下几点:
增强功能和性能提升:预计Intel将继续改进 RealSense产品线,提供更高的深度感知精度、更快的数据处理速度和更多的功能扩展。这可能包括更高分辨率的图像捕捉、更准确的姿态跟踪、更广泛的深度范围以及更多的智能计算功能。
应用扩展和行业应用:随着深度感应技术的不断发展,Intel RealSense在各个行业有着广泛的应用前景。例如,在自动驾驶、工业自动化、智能家居、医疗保健等领域,RealSense可以用于环境感知、人机交互和场景理解等关键任务。
与AI的整合:人工智能(AI)是当前科技领域的重要趋势,也是Intel RealSense未来发展的一个重点方向。通过结合深度感应和AI技术,RealSense产品可以实现更高级的图像识别、物体追踪、人脸识别等功能,提供更智能的交互和分析能力。
开发者生态系统:Intel致力于建立健全的开发者生态系统,支持开发者创建基于RealSense的创新应用。他们提供了软件开发工具包(SDK)和其他资源,使开发者能够快速利用RealSense技术开发应用和解决方案。
总体而言,Intel RealSense系列产品有望继续推动深度感应技术的发展,并在计算机视觉、AR/VR、人机交互等领域发挥重要作用。随着技术的进步和市场的需求,未来可能会看到更多创新的RealSense产品和应用。