上周,阿里巴巴高德地图标注首席科学家任小枫在#大咖学长云对话#的在线直播活动上就计算机视觉相关技术发展以及在地图标注出行领域的应用与大家做技术交流,直播间互动火爆,尤其在QA环节,学弟学妹们纷纷就感兴趣的视觉应用、AR导航、定位技术、5G、职业发展等话题提问,任小枫做了精彩回答。我们整理了问答内容,分享给大家。
视频回放地址:
https://vku.youku.com/live/ilproom?id=8064786
任小枫博士,现任阿里巴巴高德地图标注首席科学家,研究员,主要负责视觉技术在地图标注和出行领域的应用和创新。加入阿里巴巴前,他在2013到2017年间供职于亚马逊,是亚马逊的资深主任科学家和AMAZON GO的算法负责人。浙江大学本科毕业,加州大学伯克利分校博士,华盛顿大学计算机系客座教授,CVPR/ICCV/AAAI等会议领域主席,IEEE PAMI副主编。
视觉技术发展及应用
提问:计算机视觉在高精度地图标注构建中的应用有哪些?
任小枫:视觉算法对于高精度地图标注构建是核心的技术,主要应用在资料对齐和精度保证、识别和地图标注数据自动化生成、视觉定位和高精地图标注更新等。
提问:您觉得现有的基础学科研究水平与硬件水平能否保证视觉技术的快速发展?视觉技术发展在近期会不会遇到较难突破的瓶颈?
任小枫:经过了前几年深度学习技术在视觉各个领域的快速发展,一定程度上说,深度学习和视觉的基础技术现在都遇到了瓶颈。或者说,没有开始的时候发展的那么快,有很多难题需要解决,也可能需要创造新的技术。对于应用而言,我觉得基础技术和硬件水平目前大致是够用的,更重要的是如何把技术用好,有针对性的去突破技术瓶颈。
提问:单目标跟踪SOT(给定模版跟踪单个目标,类别无关/可跨域)近两年的进展非常显著,具有解决快速跟踪的潜质,想请问目前有没有在地图标注业务这边比如视觉定位(VO中跟踪路标)/AR导航(短时跟踪)中应用的前景?如果有的话,请问需要解决什么样的需求问题(鲁棒/速度等)?
任小枫:跟踪是一个视觉基础技术,在很多场景都有应用。对于导航和出行,确实在AR导航、定位上能起到核心作用,减少识别(检测)的计算需求,并增加鲁棒性和平滑性。但是在很多实际应用中,跟踪的使用和需求和学术界单目标跟踪的设置会有所不同。
提问:视觉特征是否能结合语义给地图标注的导航出行服务带来更好的体验呢?
任小枫:视觉可以提供高精度的定位,也可以提供场景的语义理解,肯定可以带来导航和出行更好的体验。但是具体的产品体验和技术实现还需要进一步的探索和积累。
提问:计算机视觉下一步的重难点是哪个方向?未来的前景如何?
任小枫:计算机视觉是一种通用的感知手段,信息量很大,可以用于多种感知任务,可以远距离观测,应用的前景是很广阔和美好的。下一步的难点,除了基础技术需要进步和突破外。还有:如何找到视觉能发挥核心作用的应用场景,如何根据实际问题综合各类算法设计整体方案,如何较好的解决计算资源的问题,如何结合其他传感器和先验知识等问题。
AR导航
提问:AR导航是实时图像计算的吗?设备算力可以打标吗?
任小枫:AR导航是实时图像计算,在低算力的条件下实现导航和辅助驾驶功能。我们也尽可能的进行“预计算”,事先计算好环境中的一些元素,来配合实时计算。
提问:AR导航最后通过什么来展示内容?显示屏还是HUD?
任小枫:AR导航有多种产品形态:中控屏、HUD、后视镜、仪表盘,这些都是正在使用/潜在使用的展示方式。
提问:有一个非技术性的问题,AR导航会不会过度吸引驾驶员的注意力,导致他/她忽略车辆两侧的交通?
任小枫:这是一个产品设计的好问题,也是我们一直在打磨和寻求平衡的问题。一个设计的好的AR导航产品,会考虑到不过多吸引注意力。
提问:安全辅助驾驶会有疲劳驾驶检测吗?
任小枫:高德的AR导航目前只有朝外的单目相机,没有支持疲劳驾驶检测。对车内的监控,包括疲劳检测,是视觉技术在安全辅助驾驶的一个重要应用。
定位技术
提问:室内定位现在主流实现技术有哪些?基于声信号的室内导航前景好吗?
任小枫:室内定位有多种基于传感器的技术,包括WiFi,Bluetooth,RFID,Ultra-Wideband,也包括声信号。我觉得室内定位的发展,如果需要部署传感器,很大程度上不是取决于技术和定位精度,而是是否有好的应用。WiFi定位的普及是因为室内网络需要WiFi。iPhone 11装了UWB芯片可以近距离文件传输。
提问:GPS定位那么大的差距是什么原因导致的?因为多路径效应吗?
任小枫:GPS定位不准有多个原因,主要是在“城市峡谷”(高楼林立)的场景。多路径效应是其中最重要的因素,因为环境的折射(特别是像玻璃这样的高反光材料),导致GPS位置计算不准。其他方面还有因为楼宇/高架桥的遮挡导致能观察到的卫星数降低,空气(特别是带电离子和水蒸气)的干扰,等多种原因。
提问:高德如何解决GPS漂移的问题?
任小枫:这是一个复杂的问题。基于手机传感器,我们结合实际的驾驶和步行场景做了很多优化,包括GPS置信度分析,和IMU结合,和路网结合等。视觉定位是我们在开拓的解决定位不准的一个新方向。
地图标注基础技术
提问:目前高德地图标注图层有哪些?是语义级高精度地图标注吗?
任小枫:高德地图标注有多种地图标注数据形态,从标准地图标注(高德App上看到的),到车道级地图标注,到高精地图标注。精度不同,对应的应用不同。多种地图标注中都有语义信息,但是语义信息的内容和精度会有不同。
Q:深度相机和普通的相机有什么区别?
任小枫:普通相机获取的信息是二维RGB图像,没有三维信息。深度相机在每个像素上,除了RGB颜色之外,也同时获取深度(距离)信息,一般是利用主动模式(time-of-flight, structured light等)。现在很多主流手机上都已经配备了深度相机。
Q:高德地图标注对道路信息是怎么采集的,道路有变化地图标注会实时更新么?
任小枫:高德地图标注道路信息有多个来源,主要是依靠低成本的车载视频资料。道路相关信息是在随时变化的,我们会不断的采集最新资料并制作更新地图标注数据,及时上线应用。
Q:室内三维空间(比如多层的商业大楼)地图标注绘制的难点有哪些?
任小枫:室内三维地图标注绘制最大的难点在于数据采集。三维重建的方法需要有多个角度的图像。基于深度相机的移动建模方法精度上不一定能满足需求。
新人职业成长
提问:从视觉和图像领域的学术研究领域到公司商业计算机视觉应用技术开发需要补充哪些知识?
任小枫:我觉得主要要考虑的不是补充具体的知识,而是要注意培养自己的各方面的能力:(1)对实际问题的分析和解决的能力;(2)动手能力;(3)快速学习和拓展知识的能力。
提问:从事计算机视觉领域该如何制定职业规划?
任小枫:和其他行业和技术方向的职业规划没有本质的区别,要结合自身的长/短处和兴趣,找到自己合适的工作方向,逐步提高技术深度,广度,高度,综合能力,一步步做出实际结果发展职业。
提问:请问现在从事视觉领域工作是否一定要具备深度学习的技能?
任小枫:计算机视觉现在大量的使用深度学习技术,深度学习的知识和技术我觉得是必须的。有一些和几何相关的子领域,比如三维重建、SLAM/VIO,深度学习应用的还不多,但是(1)后续预计会有更多的深度学习应用;(2)从提高技术广度和视野出发,也需要一定程度上了解深度学习。
业界热点及其他
提问:自动驾驶会用到5G技术吗?
任小枫:目前看来,5G技术会在自动驾驶上有多种应用,但对于L4/L5全自动驾驶,我觉得5G并不能从根本上解决自动驾驶安全性(和舒适性)的难题。
提问:跟踪和定位中的计算端和云如何配合?
任小枫:大体上来说,实时性要求高的,和传感器结合密切的,会在端上完成;和地图标注结合密切的,需要用到大量参考数据的,会在云上完成。
提问:谷歌地图标注有一个街景地图标注的模块用到了许多图像识别的技术,街景地图标注怎么拼成的?以及街景发展趋势是怎样的?
任小枫:谷歌地图标注的街景地图标注主要来自于谷歌自己的街景采集车,车上载有高质量的相机和组合惯导等传感器。街景地图标注主要是一个拼接的过程。街景地图标注很有意思,但还没有对导航和出行的体验带来根本的变化。谷歌最近的AR步行导航(这个和高德的车载AR导航不同)是基于街景地图标注的一个新应用。
提问:可穿戴设备(类似眼镜、智慧助手等)在视觉技术上如何更好的落地以及产品化?
任小枫:硬件(AR展示,算力)和体验是可穿戴设备要真正落地和普及的主要问题。Google Glass作为一个超前的产品,在硬件上受限制太大。目前AR眼镜的应用主要在企业场景。我个人觉得可穿戴设备作为个人助手(包括导航,信息展示等)的应用前景是很好的,但现在硬件条件可能还不成熟。
温馨提示:阿里巴巴2020实习生热招中,欢迎投递简历申请加入阿里巴巴高德地图标注视觉攻坚团队,和任小枫做更多面对面交流。
热招职位
-
计算机视觉算法工程师
简历投递邮箱
Ruby.JL@alibaba-inc.com
主题:应聘职位+学校+姓名+手机号
春招相关链接
-
一图读懂阿里巴巴高德地图标注春招流程
-
阿里春招时间过半,所有疑问,一网打尽!
扫描以上二维码选择理想职位投递
关于阿里巴巴高德地图标注视觉攻坚小组
由分布在西雅图、硅谷、北京等地的杰出科学家和工程师组成,是高德地图标注视觉算法核心团队。为地图标注、导航和出行的新未来解决难题,探索创新技术。涵盖图像理解、视频分析、多源融合等技术,面向地图标注及高精地图标注制作、定位、交通及预测、AR导航、辅助驾驶以及信息娱乐等领域。是高德地图标注高精尖技术发展的核心引擎。
相关技术介绍可参考以下文章
-
视觉智能在高德地图标注的应用
-
高精地图标注中地面标识识别技术历程与实践
-
基于深度学习的图像分割在高德的实践
-
卫星影像识别技术在高德数据建设中的实践
-
车道线检测在AR导航中的应用与挑战
-
深度学习在道路封闭挖掘方案的探索与实践
-
视觉惯导技术在高精地图标注生产中的应用
-
机器学习在交通标志检测与精细分类中的应用
原文始发于微信公众号(高德技术):任小枫QA答疑汇总丨视觉+地图标注技术有哪些新玩法?你想知道的都在这里
如何把自己的门店或公司标注到地图里面。其实很简单:
1、先准备好门店或公司的门脸照片、名称及地址信息
2、然后使用微信扫描下面的二维码,按照要求提交资料
3、提交资料后,客服会联系您进行数据审核,最快2小时内上线