欧宝体育下载app苹果版:2019创新创业大会实录 · 主题分享 刘春:机器人如何在没去过的地方定位和认路

来源:欧宝体育网络网址 作者:欧宝体育平台下载

  手机地图定位与导航已经成为大众出行必不可少的工具,智能时代测绘行业迎来了重大机遇与挑战。本期2019创新创业大会实录,刘春教授将告诉你人工智能给测绘领域带来了怎样的改变......

  尊敬的钟校长,各位同事和各位校友下午好!平时习惯在普通的讲台上讲课,今天聚光灯下,我在讲的时候,其实我有一点点紧张,但是我也希望我做的尽可能的平淡。我今天要给大家讲的是无人平台如何在不同的环境中去认路和知道它的环境。

  我是学测绘的,每年9月份就会带学生实习。在校园里带学生去做经纬的操作的时候,有家长就带着孩子去参观学校,他们就指着我说,小孩子你就好好学习,将来学不好,你就跟他一样了。当时我心里其实是很诧异的,是这是测绘,但是测绘是这样的吗?测绘不是这样。

  你们看到这两张图,一个大家非常熟悉,左边这张图是我们同济大学的校门,是一个历史保护建筑,右边是我们同济大学的整个的四平路校区的视角,我们都是从不同的视角去看同济校园,所以我首先让我们测绘人带你从一个视角上去看同济大学。但是我告诉你,左边的三维模型是我们一个本科生一个早上通过平台移动地面平台获取的模型建起来的,而右边是我们用无人机平台获得的一个三维模型。

  这不是视频,是一个三维模型,同时是一个三维点云。为什么我们要做这个事情?我们测绘往往是需要通过不同的视角和平台去了解和感知我们的环境,这是我们最重要的一个任务。人工智能目前发展非常快,比如说人工智能目前有计算机视觉的、自然语言理解的、机器学习的、博弈和伦理的以及认知与推理等各方面的研究。但是我们测绘这几年也发展的很快,为什么我说我们测绘跟原来不一样,是因为我们测绘的天空地一体化观测,除了刚才说的地面上用经纬仪,还有低空、有卫星,同时我们的新型传感器的集成,第一时间我们是用视觉测量、激光扫描测量,还有一些雷达的传感器来帮助测量,同时我们的分析更多的是面向空间信息的智能分析,不是传统意义上的,只是数据的计算。

  接下来我要从几个方面讲,首先是视觉测量与人工智能。曾经有人问我,你一直在做室内的制图,为什么要做这个事情?我们做了很多的工作,用视觉的测量去做了很多大的室内场景地图。他们说做完以后我们可以放在手机上,如果你去机场,从这个航站楼到另一个航站楼,你可以导航过去,我说都不对。如果你从一个航站楼到另外一个航站楼来转机,找不到你的登机口,这一定不是地图做的不好,是机场的标识做得不好。真正需要使用机器人室内存图和室外存图的,毫无疑问是机器人,只有机器人才是真正的刚需。实际上我们在什么环境下要机器人进入恶劣环境?比如说自然灾害后产生的废墟,弱光的室内环境。这种情况容易造成二次伤害,比如这次的江苏爆炸事件。我非常好的一个朋友告诉我,当时大量的高压水冲击了爆炸现场形成了水坑,救护人员一下子掉到水坑里被烫伤了,这就是二次伤害。那么我们需要机器人帮我们进到这个环境当中去做什么?做定位,做导航避障,做目标的确认,还要做智能的建图。这个是目前我们视觉测量的主要目的,所以我们要把很多的传感器集成,除了我们的无人机,我们还要做地面的很多平台。

  实际上我们又面临很多的挑战。第一场景挑战,比如在弱纹理环境、光线非常弱,同时运动模糊、光线变化以及空旷区域,机器人的视觉不像人体那样能够有很强的适应能力。同时技术挑战,比如说定位精度,纯粹靠定位,大家说我们现在有GNSS,就是我们常说的卫星导航定位系统。是,但是首先你要接收到卫星信号,在一些废墟下,往往是没有这样信号的,纯粹靠视觉的时候,我如何考虑视觉的定位精度?第二场景的类型,第三建图,我们要制一个图让机器人读懂它,还有避障的能力,碰到障碍我们要避开它,还有识别的精度,这些都是目前在技术上非常大的挑战。同时如何使用传统的一些大的数据集来帮我们去修正也是一个挑战。现在我们在做无人驾驶的时候,在德国、瑞士苏黎世理工他们都有一个标准数据集来帮你进行训练,但是我们国内是缺少这样一个数据集来帮我们提升学习能力,这也是我们目前在这个领域,人工智能发展的一个瓶颈。

  我们有一个一整套的技术路线,我们要做场景的语义理解,我们要建图我们要定位,我们要避障,我们要运动能力提升,看起来这些好像过于专业化,那么我通过几个图让大家理解到底什么意思。

  首先我们所看到这个场景,这个图是同济大学校园里的场景。大家很清楚,如果我们开车去认识场景的时候,有些情况下我希望把人过滤掉,因为我只需要这个道路,我要机器人熟悉这个道路。但是如果在开车的时候我不仅仅要熟悉这个道路,我还要快速的去知道哪个地方有动态的变化,人会不会对安全产生影响。同时车辆在运行的时候,很多环境中的东西是影响我们的,这些我们称之为语义、信息。以往传统的分析只会建图而缺少对语义的理解,这是我们的一个问题。我们的团队在这方面将开展大量的工作,无论从室内还是室外,小场景和大场景,都要开展这种场景的语义理解。

  第二个我们熟悉的是什么?语音标识完了,我们要建图。大家开车的时候,用的现在都是百度导航地图,现在已经不用买导航仪了,手机上都有导航地图,但实际上这个图怎么来的?

  这个图是通过环境感知以后,通过快速的语义识别把地图提取出来再提供给后台。右边是我们在上海浦东做的高精度的一个地图,视觉车辆车加激光扫描车在道路运行过程当中自动的把信息反馈进来,一标识就可以建图了。同时这个左下角是我们对室内的建图,在这个图上大家看到了我们要做什么?我们要做室内跟室外图的一体化。目前我们做图,要么做室外图,要么做室内图,即使你们在谷歌地图上看,有些是室内图,也只是在室外图做了个链接,没有形成一体化,但是机器人在运行的时候,它首先要了解室内跟室外之间的整合,所以这个是我们在室外制图的时候一个挑战,也是我们的工作。

  第三就是定位问题,我们走路的时候是完全依赖于我们的视觉对自己定位的。这个大家很容易理解,因为每位同志进到同济大学校园一定是通过你的眼睛来定位的,也有可能多半你们是校友,你们是知道我们这个环境的,所以你们不需要手机,你们通过人眼对于目标的识别来判断。在视觉测量当中,传统的测绘里有一个叫摄影测量的概念,目前国际上做的最好的定位精度是一公里,大概做到是三十公分!

  那么我们这个课题组要挑战的是一公里十公分,在室内我们要一公里做到十五公分。我们做了很多工作,这是我们在一个工厂范围之内,纯粹靠视觉的车辆车对自己定位,在这边我们是在一个校园里进行定位。但是很多同志说你完全靠视觉吗?我说是的,为什么?因为我们通过视觉来定位的话成本会很低,我们现在两只视觉相机的成本大概也就1万块钱,当然说我还可以增加一些东西,我可以增加惯导是可以的,但是往往有些时候惯导的成本会急速增加,我们尽可能运用一些低成本的传感器,配合我们以视觉为主的传感器来实现我们的定位,这是我们的目标。

  第四个我想给大家看的是避障问题,我会定位我也知道图了,接下来我们干嘛?我们在运行的过程当中我们要适应场景的变化,但实际上我们的场景非常的复杂,我们要考虑一个固定目标物的避障。比如我的车辆行驶的时候看到一个目标,我要绕开它。这是一种大家都会想到的。第二个是我们要对轨迹碰撞的避障,也就是说我在行驶过程当中可能还有另外一个人在我的目标路径中跟我产生冲突,在这个冲突当中我要自主的去避开他。

  所以我们在这个过程当中,做了大量关于避障的工作,做了很多传感器、无人平台车,来帮助我们做这个工作。那么当然了我们有很多的平台也做了大量数据集,这个数据集的目的是我们要比拼国外的数据集,苏黎世理工的数据集。我们想在同济大学建个我们国家自主知识产权的,以高精度的室内和室外数据一体化的一个标准数据集,这个数据集将来可以帮助我们从业人员,给我们基础研究人员提供一个标准化的数据培训的数据集。这个工作,我们已经目前在开展了。大家看到右边的这几张图,是我们在五角场找了几个室内的场景。这个图右下角是我们测绘学院。我们测绘学院虽然非常小,但是我们也在发展。那这么小呢,我们上海话叫螺蛳壳里做道场。我们在这个小小的场景里面做了大量的工作,甚至大家可能不理解,我们测绘学院甚至连楼顶都是实验场,每个角落都是各种各样的实验场,我们想做这样一个标准数据,但是未来我们会开发到其他地方开展我们数据局的建设。

  那么接下来就是我们做的电力机器人的室内外导航与智能巡检。我们的机器人完全是视觉定位,因为这个地方是一个高辐射的一个场地,人员进去还是蛮危险的。我们的机器人首先根据轨迹进去,碰到问题它也会避障,到了这个地方它会判断仪表、仪器,然后对自己的整个作业做出反应。另外他还配上它的机械手来对整个工作操作,这个两个是目前来说做视觉测量和定位的一个未知环境的一个简单的一个例子。

  在接下来几分钟,我想再简单的介绍下低空感知。刚才讲了很多车辆的地面感知,为什么我讲低空感知呢?因为大家对无人机太熟悉了,每天都在说大疆无人机。我跟我的朋友说我也做无人机,但我不做无人机平台。我会做吗?我会做,但我要做什么?我要做的最重要的一个是无人机上的一个视觉传感器。大家看到这个就是我们跟我们同济大学物理学院合作做的视觉传感器。

  大家不要小看这个传感器,目前在国际上没有同类产品,没有同类指标的产品,是我们的光谱视觉传感器。这完全是我跟王占山老师在几年前一边喝咖啡,一边聊出来,然后决定做的,后来我们做成了并且放到飞机上去运行了,那么做出来干嘛呢?

  首先我们从视觉来说,我们做了一个很有意思的例子,这是同济大学的图,但是我们现在不是在给大家看同济大学的整个三维模型,而是告诉大家,我们通过这个来做同济大学所有房屋资产管理系统。我把室内跟室外完全整合,大家看到这个是综合楼,每栋楼的产权信息我们都在系统里体现。我们在往前走的时候,可以知道每间房、每层楼的房屋室内图信息,甚至可以知道这个房间现在是哪个学院在里头,在干什么。我们做这样一个资产管理系统。同时我们还做了一个什么事情?当时同济大学说盖一个楼,钟校长在的时候可能很清楚这个故事,说我们的绿化率不够,同济的绿化率不够怎么办?那谁知道这个绿化率到底多少?没人知道,说卫星上去算我们同济校园的绿化率可能也精度不够。我带了几个学生,大概一个早上, 从五点开始,当时是5 月份,就像现在这个季节,我们把整个同济校园飞了一遍,飞下来的数据实际上是光谱数据。这个数据是我们同济大学校园的地形数据渲染图,这个也验证了为什么每次发大水的时候,同济哪块地方会淹水,其实跟地形有关,同济的南边跟北边还是地形差的。原来我们没有做这工作,最后我们通过人工智能的学习网络,经计算,把同济大学所有的乔灌乔木的位置、绿化率的范围,都算出来了,甚至你看到我们这张图上的这个人工草坪跟自然草坪有明显的区分,最后我们得出同济大学的绿化率是多少,这个是秘密啊我不说,否则麻烦了,但是导致的结果什么?导致结果是我们现在都想往楼顶上岀铺草坪。

  同时,我们的光谱仪还做了一个特定的光谱的定义,定制的目的是什么呢?大家知道上海最近正在做精细化管理管理,李强书记到了上海以后,我记得这个新年发布会第一次说,我们要消除黑臭,但是上海有4 万多条河道,所有的河道的黑臭,你有什么办法去知道呢?我就建议用我们这套光谱仪,用我们的视觉感知系统,通过低空去感知它。但是做之前我们跟物理学院做了严格的这个计算,我们到底选用哪个波段最合适。然后我们在物理学院的镀膜平台上镀出特定的波段,装在我们的视觉光谱相机上,放到无人机上,做出来就是这个结果。

  每条河道有污染的区域显示不同的颜色,污染区域是红的、黑的,绿的是污染比较轻的。同时因为有视觉平台,我们用倾斜的方式与三维模型互动,把整个数据结合在一起,使得我们对于整个的这个环境信息了解得非常清楚,那我们也知道为什么这个地方有污染,原来这个地方是一个工地,为什么这个地方也有污染,原来这是一个小区,小区老百姓喜欢往这个河道里排放。最近我们也在上海杨浦区很多地方,通过这种方法去找这种隐秘偷排点,你不是偷排吗?一般人是看不到,因为它的偷排点是在水面之下的,但通过我们光谱的数据一扫而过,突然发现这个地方污染非常严重,然后我们就怀疑这个地方有可能是偷排,然后再派人去到那地方好好盯盯,看看是不是有偷排,一抓一个准。这个工作现在我们也在上海的水质监测、河湖的健康监测当中发挥了一定的作用。

  以上这些都是通过同济大学科研基础平台的应用平台转换过程当中的节点。当然作为团队进行工作,我们人员不是太多,但是我们所有的团队人员都非常敬业地在开展做工作。时间关系,我做一个小总结。

  第一 ,我觉得多维全息共建信息的感知与信息智能化是人工能研究的一个重要的方向。我们往往需要考虑多维信息感知,大家都知道人工智能是处理常规数据的,但是我们测绘更希望处理空间数据、空间信息。

  第二,人工智能领域研究既有一个体系,又有一个明确的一个分支。需要加强引导,夯实基础研究。我们是大学,我们的职责是做基础研究,突破一些核心的技术。前面我讲到的几方面,是我们试图去突破的基础核心点。

  最后,一个关键的链条,就是我的感知、处理、控制、任务和标准处理等方面,要做全链条设计。当然了,在这个过程当中我也非常希望得到各位校友对我们科研团队的支持,也希望以后我们能跟广大校友进行沟通和交流。谢谢大家。

相关新闻