用仿生眼引爆机器人寒武纪(3)
【作者】网站采编
【关键词】
【摘要】另外,仿生眼还可以做切换运动。视频中的红圈代表它注视的地方。我们可以看到仿生眼它一会儿看这个人,一会儿又看另外一个人,可以快速地跳跃。这
另外,仿生眼还可以做切换运动。视频中的红圈代表它注视的地方。我们可以看到仿生眼它一会儿看这个人,一会儿又看另外一个人,可以快速地跳跃。这就是眼球的一些基本功能,能够融合多种眼球运动信号。
仿生眼功能:跳跃型眼球运动
刚才讲到了跳跃,大家知道很多稳拍系统就是让摄像机稳定,下面无论怎么动,上面都要稳定。但这是远远不够的,还需要眼球快速地转才行。因为东西跳过去或者需要切换的时候,眼睛必须快速地转。所以,仿生眼的马达即电机的力量要非常强。这个视频就展示了仿生眼的跳跃型眼球运动的功能。
仿生眼功能:高精度定位导航
仿生眼还有高精度定位导航的功能。大家可以看到,右侧的视频画面非常晃动,是没有眼球运动控制的;而左侧的视频画面非常平稳,是有眼球运动控制的。
这两组视频在拍摄时同样经历了晃动,但却获得了完全不一样的图像。而图像不一样,说明视频下方的运动轨道也是完全不同的。左下方视频中的轨道非常稳定,右下方视频中的轨道不稳定。
仿生眼功能:三维重建
除了前面所讲的功能外,仿生眼还有三维重建功能。在仿生眼的两个相机对准中间的一个注视区后,就能形成立体感。右下方的图像是一个关于立体感的深度图,颜色越蓝表示距离越近,颜色越红表示距离越远,相当于激光雷达。左上方的图像在晃动。左下方展示了一个立体图,也就把右下方的深度图补上颜色。
大家可以看到,仿生眼在晃动的时候仍然能做出立体图,这是非常关键的。到现在为止,世界上其他团队还不能在两只眼睛都动的情况下得到立体图。这其中的原因非常简单,因为立体图与转角传感器的关系非常密切,里面有一整套算法。
有了这些功能之后,所有的固定相机积累的几十年的算法都可以用在仿生眼上。一旦仿生眼动了以后,就出现了很多特点。它想看什么,或者是想注视什么、想追踪什么都可以做,同时它又能做立体视觉。
思想晚餐
已完成:60%?//////////
用仿生眼赋予机器人视觉
那么,仿生眼做好以后,它就要进阶到更高端的智能程度。它现在仅有一台小型计算机的能力,这显然是不够的。所以需要让它进入到云端,通过大型计算机来处理。这也是机器人未来会威胁到人类,或者是远远超过人类大脑的一个特点。
仿生眼功能:机器头脑与云脑
比如,我们给它看雨伞和背包,告诉它这是雨伞和背包。然后它通过识别后不断地积累知识,形成一个大的知识库,我们可以随意调动知识库的内容。
我对它说杯子,它能够马上把实验室、整个楼层,甚至所有它学过、去过的地方与杯子相关的信息都调出来。如果我说想喝一杯水,那么它就会去找杯子和水的信息,然后拼在一起。这种事情已经在云脑上实现了。
我们可以看到,仿生眼的应用有很多,包括三维重建、实例分割、显著性结果等。实例分割就是把人的眼睛看到的东西分成各个物体。仿生眼还能呈现显著性结果,这个机器人它感兴趣的地方在哪里,它会用热力图来显示,这样这个眼睛就活起来了。
为机器人提供丰富、可靠的视觉信息
未来仿生眼的应用会很广。比如,当下方视频中机器人的眼睛看到这个小型立体的玩具时,它会用机器手去抓,这个玩具是比较硬的。机器手只有一个方向,它一定要知道要从哪个角度去抓玩具,所以机器人一定要有立体视觉。这就是立体视觉的重要性。
助力机器人自主分析与决策
看起来视频中的机器人的使用手臂的速度似乎有点慢,但是它在视觉上的动作是很快的。将来我们会在各种场合应用这种机器人,特别是左右手的协调。
接下来,我给大家分享一个无人驾驶中很重要的特点。在下面的视频开头可以看到,我们在小车上面放置了两个仿生眼(BE),在仿生眼的下面放置了双目相机(ZED)来做比较,之后我们用视频中的设备展开实验。
仿生眼应用:多地形自动驾驶
仿生眼和双目相机拍摄的图像是不一样的,左上方的视频是仿生眼拍摄的,画面是平稳的;右上方的视频是双目相机拍摄的,画面振动得很厉害。
左下方的视频是机器人做出的轨迹图。它看到了自己的位置,根据空间上的点的移动,算出自己的轨迹。大家可以在视频中看到很多黑点和红点,我们称为特征点。
右下方的视频是机器人测量并画出的三维图,也就是机器人边走边画的图,它走过的地方会在三维地图上显示出来。
文章来源:《中国体视学与图像分析》 网址: http://www.zgtsxytxfx.cn/zonghexinwen/2021/0707/678.html