 上传我的文档
 上传文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
0603贴片电阻1%印字说明大全
下载积分：1500
内容提示：0603贴片电阻1%印字说明大全
文档格式：XLS|
浏览次数：258|
上传日期： 23:33:13|
文档星级：
全文阅读已结束，如果下载本文需要使用
 1500 积分
下载此文档
该用户还上传了这些文档
0603贴片电阻1%印字说明大全
关注微信公众号&figure&&img src=&https://pic3.zhimg.com/v2-f1ccae9d42c3f4f6562713_b.jpg& data-rawwidth=&467& data-rawheight=&369& class=&origin_image zh-lightbox-thumb& width=&467& data-original=&https://pic3.zhimg.com/v2-f1ccae9d42c3f4f6562713_r.jpg&&&/figure&&p&这次为大家带来的是&b&MIT 6.S094 深度学习与自动驾驶&/b&课程的&/p&&p&全部【汉化】视频！当然还是免费的！&/p&&p&&br&&/p&&p&点击视频观看课程第1讲&/p&&p&深度学习与自动驾驶概述（1）&/p&&p&时长30分钟&/p&&p&带有中文字幕&/p&&p&▼&/p&&p&&br&&/p&&p&&br&&/p&&p&这门无人车课程由麻省理工MIT开设，话题前沿且实践性质很强。课程首先引导大家了解深度学习，之后大家可以自己“造”一辆无人车（的算法?）！&br&&/p&&p&&br&&/p&&p&课程面向机器学习&b&初学者&/b&，但已经有大量经验的研究人员也能从课程提供的从实践出发的深度学习方法和应用中受益。&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-b0156d9cbefa1f4c1eef01_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&552& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/v2-b0156d9cbefa1f4c1eef01_r.jpg&&&/figure&&p&&br&&/p&&p&课程主讲Lex Fridman与TA团队 &/p&&p&&br&&/p&&p&大数据文摘已取得课程翻译授权，将以连载的形式发布后续课程内容，请大家继续关注我们，随时给予好评?&br&&/p&&p&&br&&/p&&p&文摘菌觉得这门课最好玩儿的地方呢，是两个要求动手的实践项目，一个叫DeepTraffic，一个叫DeepTesla。&/p&&p&&br&&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-742d7bf020f4f416db6e80bd8b3b3859_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&372& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/v2-742d7bf020f4f416db6e80bd8b3b3859_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&&b&DeepTraffic&/b&非常神奇地可以在浏览器里实现神经网络代码编写、模型训练、测试和提交。&/p&&p&&br&&/p&&p&小车正穿行在落基山脉蜿蜒曲折的模拟高速公路上，你需要控制一辆车以最高速度行驶。取决于路况，你将控制你的车加速、减速、变道。&br&&/p&&p&&br&&/p&&p&小车正穿行在落基山脉蜿蜒曲折的盘山公路上。克里斯朵夫·李维静静地望着窗外，发现每当车子即将行驶到无路的关头，路边都会出现一块交通指示牌……山路弯弯、峰回路转，原来，不是路已到了尽头，而是该转弯了。（懂这个梗的孩子，让我看到你们?）&/p&&p&最终需要达到65mph的平均速度，才算是过关了。在所有提交者的排行榜上，有大神达到了73mph的平均速度。 &/p&&p&&br&&/p&&p&打开这个项目的页面看一下行驶中的小车，你一定会和文摘菌一样只想说WOW这也太酷了吧！欢迎体验之后留言和文摘菌交流~&/p&&p&&a href=&http://link.zhihu.com/?target=https%3A//selfdrivingcars.mit.edu/deeptrafficjs/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&selfdrivingcars.mit.edu&/span&&span class=&invisible&&/deeptrafficjs/&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&br&&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-949d63e97f2e2debb783cf7b1ae133db_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&400& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/v2-949d63e97f2e2debb783cf7b1ae133db_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&&b&DeepTesla&/b&则使用到了Tesla驾驶的数据，同样在浏览器里，你可以看到一层层的神经网络是怎样分解图片的。&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-01a08eb07a45bdef868a1_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&391& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic2.zhimg.com/v2-01a08eb07a45bdef868a1_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&虽然买不起特斯拉，但还是可以学习自动驾驶课，体验一下特斯拉驾驶室内的观感嘛！&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic4.zhimg.com/v2-ccc6c370b6c823dfcfdcb_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&640& data-rawheight=&395& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&https://pic4.zhimg.com/v2-ccc6c370b6c823dfcfdcb_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&MIT深度学习与自动驾驶课程页面（所有PPT、视频和资料汇总）： &/p&&p&&a href=&http://link.zhihu.com/?target=https%3A//selfdrivingcars.mit.edu/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&selfdrivingcars.mit.edu&/span&&span class=&invisible&&/&/span&&span class=&ellipsis&&&/span&&/a& &/p&&p&&br&&/p&&p&MIT近期又开放了一门更偏概述的深度学习课程——6.S191: Introduction to Deep Learning（深度学习入门），官方介绍该课程为一门对深度学习算法和应用的入门课程（An introductory course on deep learning algorithms and their applications）。&/p&&p&&br&&/p&&p&目前，在官网上，所有的课程信息、录像和课件都已公开。感兴趣的同学可以注册学习了。&/p&&p&&br&&/p&&p&先附上官网注册链接：&a href=&http://link.zhihu.com/?target=http%3A//introtodeeplearning.com/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&introtodeeplearning.com&/span&&span class=&invisible&&/&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&br&&/p&&p&Coursera和其他高校开放的深度学习入门课程已不少，与已有课程相比，本课程的一大亮点可能是业内一票应用大咖公司的案例介绍，包括谷歌、英伟达、IBM以及中国公司腾讯，都对本课程提供了案例分享，并在每个部分都提供了实验室支持。&/p&&p&&br&&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-45dde64fba306fc0a092d8c6da9baa44_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1080& data-rawheight=&668& class=&origin_image zh-lightbox-thumb& width=&1080& data-original=&https://pic1.zhimg.com/v2-45dde64fba306fc0a092d8c6da9baa44_r.jpg&&&/figure&&p&&br&&/p&&p&&br&&/p&&p&课程介绍部分视频&/p&&p&&b&马上观看▼&/b&&/p&&p&&br&&/p&&p&&br&&/p&&p&以下是来自官方的一些信息：&/p&&p&&br&&/p&&p&&b&课程介绍&/b&&/p&&p&&br&&/p&&p&这是一门介绍深度学习原理及其应用于机器翻译，图像识别，游戏，图像生成等领域的入门课程。 随着课程的深入，本次课程加入了TensorFlow、同伴头脑风暴和实验室的合作课程。 来自从业人员和行业赞助商小组反馈的项目建议作为课程的最后一节。&/p&&p&&br&&/p&&p&&b&项目建议&/b&&/p&&p&&br&&/p&&p&项目建议部分的持续时间为1分钟，大家可以从深度学习算法，应用程序，开源贡献，创建有趣的数据集或其他相关方面选择一个主题。赞助商将评选出最佳项目作为获奖者。项目建议也可以选择提交一篇有趣的深度学习综述论文。&/p&&p&&br&&/p&&p&&b&听课方式&/b&&/p&&p&&br&&/p&&ul&&li&如果是麻省理工学院的学生（本科或研究生），可以直接在网站提交表单。&/li&&li&普通听众可以通过邮件注册，参加课程。&/li&&/ul&&p&&br&&/p&&p&MIT本次推出的这门公开课，邀请了四家明星企业：Google、NVIDIA、IBM和Tencent作为嘉宾，一起分享深度学习的相关内容，也是默默无闻的搞大事情啊。&/p&&p&&br&&/p&&p&&b&课程大纲&/b&&/p&&p&&br&&/p&&p&第一章&/p&&p&Part 1&/p&&p&深度学习简介&/p&&p&Part 2&/p&&p&深度序列建模&/p&&p&Lab&/p&&p&TensorFlow简介，用RNNs网络生成音频&/p&&p&第二章&/p&&p&Part 1&/p&&p&深度计算机视觉&/p&&p&Part 2&/p&&p&深度生成模型&/p&&p&Lab&/p&&p&人类X射线扫描检测疾病&/p&&p&第三章&/p&&p&Part 1&/p&&p&深化强化学习&/p&&p&Part 2&/p&&p&局限和新前沿&/p&&p&Lab&/p&&p&综述/项目建议&/p&&p&第四章&/p&&p&Part 1&/p&&p&嘉宾讲座：Google&/p&&p&Part 2&/p&&p&嘉宾讲座：NVIDIA&/p&&p&Lab&/p&&p&赞助商展位+综述/项目建议&/p&&p&第五章&/p&&p&Part 1&/p&&p&嘉宾讲座：IBM&/p&&p&Part 2&/p&&p&嘉宾讲座：Tencent&/p&&p&Lab&/p&&p&项目建议介绍、评审和奖励&/p&&p&&br&&/p&&p&当然，想要系统学习深度学习的同学，我们也推荐一些更加专项的课程给大家：总体来看，大数据文摘刚刚也提到过，这门课程整体来说属于深度学习的基础课程，内容更适合初学者，如果之前已经学习过coursera上相关课程的同学或者比较专业的选手，就不需要再重新学一遍这门课程了。&br&&/p&&ul&&li&吴恩达深度学习系列课程，五个部分已经完整放出。Coursera相关链接：&/li&&/ul&&p&&a href=&http://link.zhihu.com/?target=https%3A//www.coursera.org/learn/nlp-sequence-models& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&coursera.org/learn/nlp-&/span&&span class=&invisible&&sequence-models&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&br&&/p&&p&目前网易云课堂的汉化版已经完整放出。相关链接：&/p&&p&&a href=&http://link.zhihu.com/?target=http%3A//study.163.com/provider//index.htm& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&study.163.com/provider/&/span&&span class=&invisible&&/index.htm&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&br&&/p&&ul&&li&多伦多大学三巨头，被誉为“深度学习之父“的Geoffrey Hinton教授在Coursera上的Neural Networks For Machine Learning课程。他的UT实验室在2012年的某医药大赛中如一匹黑马般赢得桂冠（即使整个团队没有一个人懂生物），真正地把深度学习带入了主流媒体的视线。链接：&/li&&/ul&&p&&a href=&http://link.zhihu.com/?target=https%3A//www.coursera.org/learn/neural-networks& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&coursera.org/learn/neur&/span&&span class=&invisible&&al-networks&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&br&&/p&&ul&&li&斯坦福大学CS231n卷积神经网络视觉识别课程（李飞飞授课），大数据文摘授权汉化教程链接：&a href=&http://link.zhihu.com/?target=http%3A//study.163.com/course/introduction/.htm& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&study.163.com/course/in&/span&&span class=&invisible&&troduction/.htm&/span&&span class=&ellipsis&&&/span&&/a&&/li&&/ul&&p&&br&&/p&&p&&br&&/p&&ul&&li&斯坦福大学CS224d自然语言处理深度学习课程，链接：&a href=&http://link.zhihu.com/?target=http%3A//cs224d.stanford.edu/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&cs224d.stanford.edu/&/span&&span class=&invisible&&&/span&&/a&&/li&&/ul&&p&&br&&/p&&ul&&li&牛津大学与DeepMind合作的自然语言处理深度学习课程，大数据文摘授权汉化教程链接：&a href=&http://link.zhihu.com/?target=http%3A//study.163.com/course/introduction/.htm& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&study.163.com/course/in&/span&&span class=&invisible&&troduction/.htm&/span&&span class=&ellipsis&&&/span&&/a&&/li&&/ul&&p&&br&&/p&&ul&&li&MIT 6.S094深度学习与无人车课程。大数据文摘授权汉化教程链接：&a href=&http://link.zhihu.com/?target=http%3A//study.163.com/course/introduction.htm%3FcourseId%3D& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&study.163.com/course/in&/span&&span class=&invisible&&troduction.htm?courseId=&/span&&span class=&ellipsis&&&/span&&/a&&/li&&/ul&&p&&br&&/p&&ul&&li&专门致力于为深度学习工程师提供教育资源的fast.ai。&/li&&/ul&&p&链接：&a href=&http://link.zhihu.com/?target=http%3A//www.fast.ai/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&fast.ai/&/span&&span class=&invisible&&&/span&&/a&&/p&&p&&br&&/p&&ul&&li&Tensorflow提供的机器学习教程。&/li&&/ul&&p&初学者篇：&/p&&p&&a href=&http://link.zhihu.com/?target=https%3A//www.tensorflow.org/get_started/mnist/beginners& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&tensorflow.org/get_star&/span&&span class=&invisible&&ted/mnist/beginners&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&进阶篇：&/p&&p&&a href=&http://link.zhihu.com/?target=https%3A//www.tensorflow.org/get_started/mnist/pros& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://www.&/span&&span class=&visible&&tensorflow.org/get_star&/span&&span class=&invisible&&ted/mnist/pros&/span&&span class=&ellipsis&&&/span&&/a&&/p&&p&&br&&/p&&ul&&li&AI圣经级教科书（花书）－蒙特利尔大学教授Yoshua Bengio和他的前学生Ian Goodfellow合著的《Deep Learning》；英文版免费阅读：&a href=&http://link.zhihu.com/?target=http%3A//www.deeplearningbook.org/& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&deeplearningbook.org/&/span&&span class=&invisible&&&/span&&/a& 中文版也已上市！&/li&&/ul&&p&&br&&/p&&p&以上是一些免费课程，如果想要保证听课质量，保证有答疑和练习，我们也推荐网易云课堂一些收费课程：&/p&&p&&br&&/p&&ul&&li&人工智能的数学基础。链接：&a href=&http://link.zhihu.com/?target=http%3A//mooc.study.163.com/smartSpec/detail/.htm& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&mooc.study.163.com/smar&/span&&span class=&invisible&&tSpec/detail/.htm&/span&&span class=&ellipsis&&&/span&&/a&&/li&&li&机器学习工程师实战课程。链接：&a href=&http://link.zhihu.com/?target=http%3A//mooc.study.163.com/smartSpec/detail/.htm& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&mooc.study.163.com/smar&/span&&span class=&invisible&&tSpec/detail/.htm&/span&&span class=&ellipsis&&&/span&&/a&&/li&&/ul&
这次为大家带来的是MIT 6.S094 深度学习与自动驾驶课程的全部【汉化】视频！当然还是免费的！ 点击视频观看课程第1讲深度学习与自动驾驶概述（1）时长30分钟带有中文字幕▼ 这门无人车课程由麻省理工MIT开设，话题前沿且实践性质很强。课程首先引导大家了解…
&figure&&img src=&https://pic1.zhimg.com/v2-2ca945bc2dbc3cbd81326_b.jpg& data-rawwidth=&600& data-rawheight=&360& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&https://pic1.zhimg.com/v2-2ca945bc2dbc3cbd81326_r.jpg&&&/figure&&p&注：本文已授权雷锋网独家首发。&/p&&br&&h2&引言&/h2&&p&自动驾驶目前发展的如火如荼，自动驾驶的安全性尤为大众和媒体所关注，就在前几天，NHTSA（国家公路交通安全管理局）结束了特斯拉自动驾驶死亡案调查，还了特斯拉一个清白。&br&&/p&&p&自动驾驶如果要赢得人们的信任，就必须要足够安全，换句话说，要比人类驾驶的事故率要更低。&br&&/p&&p&那自动驾驶在设计过程中是如何降低和控制风险的呢？&br&&/p&&p&在一项新技术或者一款新车型开发过程中时又是如何控制风险的呢？&/p&&br&&br&&h2&FMEA的产生&/h2&&p&伴随着最高车速的提高，汽车驾驶的风险也相应的变大。在每年这么大的销售基数下，即使很小的事故率，也是一个很大的绝对值，所以汽车行业骨子里就必须谨慎和保守。&br&&/p&&p&在汽车工业一百多年的发展历史中，已经发展形成了完善的质量管理体系来管控风险，众多的质量管理工具也随之产生。&/p&&br&&p&失效模式分析（FMEA)就是一种比较代表性的设计方法/质量工具/风险管控思路。&/p&&p&作为一种能够最大程度的识别并帮助减少潜在的隐患的一种技术手段，FMEA已经被列为ISO/TS16949的5大工具之一，并被证实能有效防止召回事件的发生。&/p&&p&ISO26262也明确要求，所有与功能安全相关的设计均需经过FMEA。&/p&&br&&br&&h2&FMEA的概念——什么是FMEA?&/h2&&p&何谓FMEA?即Failure Mode and Effects Analysis，就是通过分析产品/系统的失效模式（非预期功能现象），找到可能的失效原因，并在设计前期采取预防措施来避免。&/p&&p&FMEA分设计FMEA（即DFMEA）和生产FMEA（即PFMEA）。DFMEA关注的是产品设计的失效模式分析，PFMEA关注的是过程失效模式分析，前者更关注设计，后者更关注生产。&br&&/p&&p&我们这里谈到的主要是指DFMEA。&/p&&br&&p&DFMEA的具体流程可参考下图。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-afada744f6589_b.jpg& data-rawwidth=&461& data-rawheight=&291& class=&origin_image zh-lightbox-thumb& width=&461& data-original=&https://pic4.zhimg.com/v2-afada744f6589_r.jpg&&&/figure&&p&别看上面描述的这么复杂，其实这种思想，在日常生活中每个人都经常会用到。&/p&&p&举个例子，你早上出门之前，看了下外面天气，阴沉沉的，就随手带了把伞再出门。&/p&&p&这其实就是一个简单的运用FMEA思想的过程，通过阴天想到可能要下雨淋湿衣服，为了避免该问题，就采取带伞的措施来预防这种失效模式，具体可分析如下：&/p&&figure&&img src=&https://pic4.zhimg.com/v2-31d36abbb5c2_b.jpg& data-rawwidth=&461& data-rawheight=&291& class=&origin_image zh-lightbox-thumb& width=&461& data-original=&https://pic4.zhimg.com/v2-31d36abbb5c2_r.jpg&&&/figure&&p&通过上面简单的例子可以基本了解FMEA的思想。&/p&&p&FMEA的核心是找到所有的潜在失效模式，并且每个失效模式都找到所有可能的潜在失效原因。尽量做到不重复，不遗漏。&/p&&p&可以说，这两步做的好不好，直接决定了FMEA是否成功。&/p&&p&下面这个表情图就是个很好的例子。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-f273d99ecd_b.jpg& data-rawwidth=&379& data-rawheight=&340& class=&content_image& width=&379&&&/figure&&p&比较完整的概括了被人鄙视(失效后果)的几种潜在失效模式/失效原因（穷/丑/矮）。&/p&&br&&br&&h2&FMEA的评价——如何量化分析？&/h2&&p&问题来了，一辆车上有成千上万零件，每个零件都有几十甚至上百个失效模式，怎么确保能够关注到应该得到的关注那些失效模式呢？&br&&/p&&p&换句话说，要确保我们能有轻重、分主次的找到需要重点关注的失效模式，就需要对FMEA进行量化。&/p&&p&工程是需要数据来说话的，仅靠定性分析不够，还需要定量。&/p&&p&如何对FMEA进行量化呢？&br&&/p&&p&这难不倒我们聪明的工程师，他们定义了一个叫风险顺序数--也叫做RPN(Risk Priority Number)的参数。&/p&&p&风险顺序数RPN=SXOXD.&br&&/p&&p&S定义为严重度（Severity），O定义为频度(Occurrence)，D定义为探测度(Detection)。&/p&&br&&p&RPN值越高，表示风险就越大，需要重点关注。&/p&&p&下面分别介绍一下严重度、频度和探测度。&/p&&br&&br&&h2&严重度——后果有多严重？&/h2&&p&严重度就是该所产品/系统的某性能失效后产生的后果的严重程度。&/p&&p&就以电子驻车系统（EPB）举个例子，当EPB失效时，引起驻车功能失效，会导致车辆溜坡，如果此时驾驶员不在车上，会造成非常严重的后果，严重度就很高。&/p&&p&下图为AIAG(即Automotive Industry Action Group，由美国三大汽车巨头福特、通用和克莱斯勒创建)的FMEA手册中的严重度打分标准。 &br&&/p&&p&&figure&&img src=&https://pic3.zhimg.com/v2-7f5e3b4c51bf7a4efd77c8d8_b.jpg& data-rawwidth=&860& data-rawheight=&617& class=&origin_image zh-lightbox-thumb& width=&860& data-original=&https://pic3.zhimg.com/v2-7f5e3b4c51bf7a4efd77c8d8_r.jpg&&&/figure&严重度分值越高，表示该失效的失效后果越严重，就越需要引起重视。&/p&&p&值得一提的是，如果不能满足安全和法规，严重度是最高的，为9分/10分。&/p&&br&&p&如果把FMEA思想运用到撩妹事业中去，这就告诉我们撩之前千万要弄清楚妹子的底细，如果对方是军嫂，严重度就是10分了，会被以“破坏军婚”的罪名抓去坐牢的哦。&br&&/p&&br&&p&再多说一句，同样是不满足法规，严重度9分和10分的差别在哪里？&/p&&p&10分为失效时无预警，9分时有预警。&/p&&p&不知道大家还记不记得当年速腾召回事件中后桥上的那块补丁“金属衬板”?&/p&&p&失效时可以发出警示音，虽然这个做法很伤害广大车主的感情，但是理论上确实可以降低严重度。&/p&&br&&figure&&img src=&https://pic2.zhimg.com/v2-75fc46b8dd00b36a5c9c10_b.jpg& data-rawwidth=&550& data-rawheight=&306& class=&origin_image zh-lightbox-thumb& width=&550& data-original=&https://pic2.zhimg.com/v2-75fc46b8dd00b36a5c9c10_r.jpg&&&/figure&&br&&h2&频度-经常发生吗？&/h2&&p&频度的定义是，失效原因发生的可能性（基于之前的数据和经验来评估）。&/p&&p&失效的可能性越大，频度分值越高。&/p&&p&下图为频度具体的打分表。&/p&&p&&figure&&img src=&https://pic2.zhimg.com/v2-c34f990c7e5f1c3c2ee9144badfbbcd5_b.jpg& data-rawwidth=&913& data-rawheight=&616& class=&origin_image zh-lightbox-thumb& width=&913& data-original=&https://pic2.zhimg.com/v2-c34f990c7e5f1c3c2ee9144badfbbcd5_r.jpg&&&/figure&可以看出，对于新技术或者新应用，其分值非常高，如果是相同的设计或者类似的设计，则分值要低得多。&/p&&p&这就鼓励采用成熟的技术，谨慎采取新技术。&/p&&br&&p&ISO26262中也鼓励重用受信任的设计原则，并规定弃用受信任的设计原则的决定需要经过论证。&/p&&p&从功能安全角度分析，希望尽可能的重用以前的经过验证过的设计，不论硬件（传感器/执行器/接口等）还是架构，这就解释了业界为什么都预测自动驾驶的发展会是小范围的不断改进、小幅迭代另起炉灶。&/p&&p&一步到位不是不可能，只是实施起来难度比较大。&/p&&br&&br&&h2&探测度——方法够好吗？&/h2&&p&找到失效原因之后，需要对该失效原因所采取的措施。&/p&&p&措施分两种，一种是预防措施，一种是探测措施。&/p&&p&预防指的是，在设计阶段通过更改设计，来防止出现该问题或者降低其发生概率。&/p&&p&探测指的是，在项目投产前，通过分析方法或者试验手段，探测出失效。&/p&&p&探测度的分值表征了其探测手段的有效性。&/p&&p&对于硬件来说，测试分台架测试（DV/PV）和整车测试。&/p&&p&对于软件来说，其开发就是下图所示的V模型，V模型左侧为设计阶段，右侧主要为测试阶段，包括软件测试、ECU测试、HIL测试和整车测试等。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-f2060d0c_b.jpg& data-rawwidth=&811& data-rawheight=&521& class=&origin_image zh-lightbox-thumb& width=&811& data-original=&https://pic3.zhimg.com/v2-f2060d0c_r.jpg&&&/figure&&p&下图为探测度的分值标准。&/p&&figure&&img src=&https://pic3.zhimg.com/v2-29b111fe1fe8fc7c541f_b.jpg& data-rawwidth=&935& data-rawheight=&638& class=&origin_image zh-lightbox-thumb& width=&935& data-original=&https://pic3.zhimg.com/v2-29b111fe1fe8fc7c541f_r.jpg&&&/figure&&p&为了降低探测度分值，通常需要改进探测手段或者将探测的时间提前。 &/p&&br&&br&&h2&FMEA的量化评估&/h2&&p&严重度、频度和探测度的分值均已确定后，就可以得出RPN的分值。&br&&/p&&p&如果RPN的分值超过特定值的失效模式，需要额外增加措施，以进一步降低设计风险。&/p&&p&需要注意的是，即使RPN没有超过特定值，对于严重度为9分/10分的失效模式，也需要额外增加措施。&/p&&p&如下表为FMEA手册中提供的DFMEA的样表。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-44b143e823f2f72ad6a1fc848c746a9f_b.jpg& data-rawwidth=&1226& data-rawheight=&410& class=&origin_image zh-lightbox-thumb& width=&1226& data-original=&https://pic1.zhimg.com/v2-44b143e823f2f72ad6a1fc848c746a9f_r.jpg&&&/figure&&br&&h2&FMEA与ISO26262的差异&/h2&&p&与FMEA中的严重度、频度和探测度相对应，ISO26262也有类似的严重度（S）、暴露率（E）和可控性（C）的定义。&br&&/p&&p&不过因为ISO26262关注的是功能安全，所以定义上有很大的差别。&/p&&p&从失效后果造成的伤害的严重程度来说，ISO26262定义了严重度S。严重度S分4个等级，S0到S3，其中S0为无危害，S3为致命危害。&/p&&p&从失效发生的概率来说，ASIL定义了暴露率E。暴露率E分为4个等级，E1到E4，其中E1指很低的概率，E4指高概率（&10%）。&/p&&p&暴露率（E）主要关注该失效能够造成危害的场景的概率。&/p&&p&如上图说的电子驻车系统(EPB)的例子，暴露率指的是，驻车系统的使用时长占整车寿命的比例，因为其超过10%，所以应该选择E4.&/p&&p&从失效发生后能够避免事故或伤害的可能性来说，ASIL定义了可控性C。可控性C分为4个等级，其中C0为完全可控，C3为很难控制（&90%驾驶员）。&/p&&p&确定好严重度、暴露率和可控性的等级后，就可以确定汽车安全完整性等级(即ASIL)。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-35090cba2a06e24d01dc5b556af853af_b.jpg& data-rawwidth=&632& data-rawheight=&437& class=&origin_image zh-lightbox-thumb& width=&632& data-original=&https://pic4.zhimg.com/v2-35090cba2a06e24d01dc5b556af853af_r.jpg&&&/figure&&p&ASIL等级确认&/p&&br&&p&ASIL分4个等级，其中A代表最低等级，D为最高等级，QM代表不需要考虑安全设计。确定好ASIL等级后，就可以按照各个安全等级标准的要求去开发。&/p&&br&&br&&h2&总结&/h2&&p&本文介绍了FMEA的思想，并结合自动驾驶，介绍了FMEA的量化评价方法，包括了严重度、频度和探测度，最后还对FMEA与ISO26262做了比较。&br&&/p&&br&&p&感谢阅读，希望大家能有所收获。&/p&&p&欢迎大家关注我的专栏和公众号：聊聊汽车那些事儿。&/p&
注：本文已授权雷锋网独家首发。 引言自动驾驶目前发展的如火如荼，自动驾驶的安全性尤为大众和媒体所关注，就在前几天，NHTSA（国家公路交通安全管理局）结束了特斯拉自动驾驶死亡案调查，还了特斯拉一个清白。 自动驾驶如果要赢得人们的信任，就必须要足…
我们组正在开发的Drake: &a href=&//link.zhihu.com/?target=https%3A//github.com/RobotLocomotion/drake& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&RobotLocomotion/drake · GitHub&/a&
用于机器人动力学建模，模拟和控制，集成了运动规划，稳定性分析。应用的例子包括了人形机器人，飞机（四旋翼，固定翼）和机械臂等。语言是用MATLAB和C++（绝大多数动力学的函数同时提供了matlab和c++的接口）。这次的DARPA Robotics Challenge中MIT队的控制器也包含在这个软件中了。&br&&br&关于这个软件中所运用的机器人理论知识，可以参考edx上的公开课程underactuated robotics &a href=&//link.zhihu.com/?target=https%3A//www.edx.org/course/underactuated-robotics-mitx-6-832x-0& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Underactuated Robotics&/a&&br&&br&根据评论添加一部分回答。&br&&ol&&li&组的背景？&br&组的网站在这里 &a href=&//link.zhihu.com/?target=http%3A//groups.csail.mit.edu/locomotion/index.html& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&groups.csail.mit.edu/lo&/span&&span class=&invisible&&comotion/index.html&/span&&span class=&ellipsis&&&/span&&/a&&/li&&li&为什么不直接用ROS？&br&一是因为我们做研究需要的很多功能是ROS不提供的，比如说判定一个动态系统的region of attraction,这时候需要搜索一个Lyapunov function，ROS是没有这个功能的。二是因为我们的侧重点和ROS不一样。比如说ROS中的gazebo模拟器更侧重模拟的速度，而我们更注重模拟的精度。三是因为ROS太大了，其中核心的通信模块可以用LCM &a href=&//link.zhihu.com/?target=http%3A//lcm-proj.github.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&LCM: Lightweight Communications and Marshalling (LCM)&/a& 替换，这是一个轻量级的通讯模块。&br&&/li&&li&是否有机械臂的关节规划？&br&我们有计算forward kinematics和inverse kinematics的引擎，支持MATLAB和C++。对于避障目前是用的Bullet来计算物体之间的距离。做inverse kinematics的例子包括在ABB IRB140 arm上&a href=&//link.zhihu.com/?target=https%3A//github.com/RobotLocomotion/drake/blob/master/drake/examples/IRB140/runPlanning.m& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&drake/runPlanning.m at master · RobotLocomotion/drake · GitHub&/a&，和在Atlas机器人上 &a href=&//link.zhihu.com/?target=https%3A//github.com/RobotLocomotion/drake/blob/master/drake/systems/plants/test/testIK.m& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&drake/testIK.m at master · RobotLocomotion/drake · GitHub&/a&。&/li&&/ol&
我们组正在开发的Drake:
用于机器人动力学建模，模拟和控制，集成了运动规划，稳定性分析。应用的例子包括了人形机器人，飞机（四旋翼，固定翼）和机械臂等。语言是用MATLAB和C++（绝大多数动力学的函数同时提供了matlab和…
&figure&&img src=&https://pic2.zhimg.com/v2-beafc2e66584f1adbe2c83_b.jpg& data-rawwidth=&1219& data-rawheight=&554& class=&origin_image zh-lightbox-thumb& width=&1219& data-original=&https://pic2.zhimg.com/v2-beafc2e66584f1adbe2c83_r.jpg&&&/figure&&p&&b&用Python打造无人驾驶车-激光雷达数据(2)&/b&&/p&&p&这篇文章刚开始写的时候苹果的论文还未发布，我基于当时新出的PointNet修改了一个算法。然而等我写完测试完准备发布的时候搜了一下最新的论文，发现苹果的论文提供了一种新的算法。读了一下，发现苹果的方案更加优秀，于是为了文章质量只能推翻重写，并增加苹果论文内容。&/p&&p&&b&上一篇文章的一点思考&/b&&/p&&p&1.现在的地面数据处理方法有什么弊端？&/p&&p&&i&A:当无人车处于行进状态时，车身会发生颠簸和倾斜，然而激光雷达只能提供相对位置，所以激光雷达点云会一直在坐标系中倾斜移动，因此直接对底部进行一刀切并不精确。&/i&&/p&&p&2.对地面数据有没有更好的处理方法？&/p&&p&&i&A:可以先对地面数据进行处理，识别出道路，对相对坐标进行校准，然后再根据道路数据计算出地面平面进行过滤，可以参考论文&/i&&/p&&p&&i&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&[] Fast LIDAR-based Road Detection Using Fully Convolutional Neural Networks&/a&&/i&&/p&&p&3.聚类最佳参数是多少？&/p&&p&&i&最佳的参数与激光雷达参数（线数，数量）与物体距雷达的距离成线性关系，越远点与点之间的距离越稀疏。&/i&&/p&&p&4.如何过滤无用的障碍物？&/p&&p&&i&利用目标障碍物的特征进行机器学习的训练。&/i&&/p&&p&5.激光雷达产生点云除了有xyz数据，还有强度和线圈数据，有什么用处吗？&/p&&p&&i&可以用于丰富机器学习的特征数据。&/i&&/p&&p&&br&&/p&&p&&b&前言：&/b&&/p&&p&在上一篇文章中，我们已经能够成功的聚类出物体。然而，为了能够让无人驾驶做出更准确的预测和判断，我们还需要能够识别出每一种物体的类型。随着机器学习的火热，识别图像数据中的物体的算法已经非常成熟。所以，激光雷达的数据通常会处理成俯视图的图片，然后利用识别图像的成熟算法进行处理，这样通常能够花很少的精力得到一个非常不错的结果。但是，点云毕竟是一个三维的数据（激光雷达是五维），压缩成二维的图片之后，难免会造成数据的损失，同时，转换过程也会造成一定的性能影响。因此本文将讨论两种直接处理点云数据的算法。&/p&&h2&&b&PointNet&/b&&/h2&&p&PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. [&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ref&/a&][&a href=&https://link.zhihu.com/?target=https%3A//github.com/charlesq34/pointnet& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&github&/a&]&/p&&p&简单介绍一下，主要原理是尊重输入点中的置换不变性，使用max pooling。&/p&&p&&br&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-86fcff0ba4b8d6be6084dd4_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1016& data-rawheight=&363& class=&origin_image zh-lightbox-thumb& width=&1016& data-original=&https://pic1.zhimg.com/v2-86fcff0ba4b8d6be6084dd4_r.jpg&&&/figure&&p&&br&&/p&&p&&b&应用到激光雷达点云&/b&&/p&&p&当你看完PointNet的论文你会发现他的目标是识别物体轮廓，并不针对激光雷达数据，因此需要对原始算法作出一点改进，来提高识别准确度。&/p&&p&PointNet主要的瓶颈在于两点：&/p&&p&1.只有xyz数据 &/p&&p&2.可接受的点数量固定&/p&&p&我采用的方法是将PointNet原本的三维数据扩展到5维，使其可以容纳全部的激光雷达数据，并预先手动处理聚类的点云，通过随机抽样增加或减少已有点，使每个点云物体点是一个固定的数量，经过测试在十米的检测范围128点～256点能获得最佳结果。这样最终结果大约能获得93%+的准确度。&/p&&p&（就在我写完我的处理方案的时候，发现了苹果的论文，提供了一种更为合适的算法，因此我原先的方案略过，改介绍苹果的方案。）&/p&&h2&&b&VoxelNet&/b&&/h2&&p&&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&End-to-End Learning for Point Cloud Based 3D Object Detection&/a&&/p&&p&&&&&/p&&p&&b&以下是对苹果论文的翻译&/b&&/p&&p&&&&&/p&&p&&b&VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection&/b&&/p&&p&Yin Zhou
Apple Inc &/p&&p&Oncel Tuzel Apple Inc &/p&&figure&&img src=&https://pic4.zhimg.com/v2-0d0db1bbde7a_b.jpg& data-size=&normal& data-rawwidth=&519& data-rawheight=&386& class=&origin_image zh-lightbox-thumb& width=&519& data-original=&https://pic4.zhimg.com/v2-0d0db1bbde7a_r.jpg&&&figcaption&图1. VoxelNet直接在原始点云上运行(不需要特征处理)，并使用单个端到端可训练网络生成3D检测结果。&/figcaption&&/figure&&p&&b&摘要&/b&&/p&&p&
精确检测三维点云中的物体是许多应用中的核心问题，如自动导航，家庭机器人，虚拟现实等。为了将一个高度稀疏的雷达点云和region proposal network (RPN)联系起来，大多数现有的努力都集中在手工处理特征表示上，例如转换成鸟瞰图投影。在这项工作中，我们消除了对三维点云进行手动特征处理的需求，并提出了一个通用的3D检测网络VoxelNet，它将特征提取和边界框预测统一到一个单一阶段的端到端可训练深度网络中。 具体而言，VoxelNet将点云划分为等间隔的三维像素，并通过新引入的立体像素特征编码（VFE）层将每个立体像素内的一组点转换为统一的特征表示。 这样，点云被编码为描述性的体积表示，然后连接到RPN以生成检测。 在KITTI汽车检测基准测试中的实验表明，VoxelNet大大超越了先进的基于LiDAR的3D检测方法。 此外，我们的网络学习一个有效的不同几何形状的对象的区别表示，导致在仅基于LiDAR的行人和骑车人的3D检测方面令人鼓舞的结果。&/p&&p&&b&1.介绍&/b&&/p&&p&
基于点云的三维物体检测是各种现实应用的重要组成部分，如自主导航[11,14]，看家机器人[26]和增强/虚拟现实[27]。 与基于图像的检测相比，LiDAR提供可靠的深度信息，可用于精确定位物体并表征其形状[21,5]。 然而，与图像不同，LiDAR由于诸如3D空间的非均匀采样，传感器的有效范围，遮挡和相对姿态的因素而导致测量获取的点云是稀疏的，并且具有高度可变的密度。为了应对这些挑战，许多方法手动调整特征表示来进行三维物体检测。 几种方法将点云投影到透视图中，并应用基于图像的特征提取技术[28,15,22]。 其他方法将点云栅格化为三维体素网格，并用手工特征对每个体素进行编码[41，9，37，38，21，5]。 然而，这些手动设计选择引入了一个信息瓶颈，阻止了这些方法有效地利用三维形状信息和检测任务所需的不变量。 识别[20]和检测[13]任务在图像上的重大突破是得益于从手工处理特征升级到机器学习处理。&/p&&p&
最近，Qi等人[29] 提出的PointNet[&a href=&https://link.zhihu.com/?target=https%3A//arxiv.org/abs/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ref&/a&]是一个端到端的深度神经网络，可以直接从点云中学习点对点的特征。 这种方法在三维物体识别，三维物体部分分割和点分词语义分割任务方面展示了令人印象深刻的结果。在文献[30]中，引入了改进的PointNet版本，使网络能够学习不同尺度的局部结构。 为了获得满意的结果，这两种方法在所有输入点（?1k点）上训练特征变换器网络。 由于使用LiDARs获得的典型点云包含了大约100k个点，因此如[29,30]中所述的对体系结构进行训练会导致高计算和内存需求。 将3D特征学习网络扩展到更多点数和3D检测任务是我们在本文中讨论的主要挑战。&/p&&p&
Region proposal network (RPN) [32]是一种高效的物体检测算法[17,5,31,24]。 然而，这种方法要求数据密集并以张量结构（例如图像，视频）组织，对于典型的LiDAR点云而言不是这种情况。 在本文中，我们弥补了三维检测任务中点集特征学习和RPN之间的差距。&/p&&p&
我们提出了一个通用的3D检测框架VoxelNet，它可以从点云中同时学习一个有区别的特征表示，并以端到端的方式预测精确的三维边界框，如图2所示。我们设计一个新的体素特征编码（VFE ）层，通过将点式特征与本地聚合特征相结合，实现了体素内的点间交互。 堆叠多个VFE层允许学习复杂的特征来表征局部3D形状信息。 具体而言，VoxelNet将点云划分为等间隔的三维像素，通过堆叠的VFE层对每个体素进行编码，然后三维卷积进一步聚合局部体素特征，将点云转化为高维体积表示。 最后，RPN消耗体积表示并产生检测结果。 这种高效的算法可以同时从体素网格上的稀疏点结构和高效的并行处理中受益。&/p&&p&
我们评估VoxelNet的鸟瞰图检测和完整的3D检测任务，由KITTI基准[11]提供。 实验结果表明，VoxelNet大大超越了先进的基于LiDAR的三维检测方法。 我们还证明，VoxelNet在LiDAR点云中检测行人和骑车者方面取得了令人鼓舞的成果。&/p&&p&&b&1.1. 相关工作&/b&&/p&&p&
3D传感器技术的快速发展促使研究人员开发高效的表示来检测和定位点云中的物体。 一些早期的特征表示方法是[39,8,7,19,40,33,6,25,1,34,2]。 当丰富和详细的三维形状信息可用时，这些手工处理的特征可以产生令人满意的结果。 然而，他们无法适应更复杂的形状和场景，并无法从数据中学习所需的不变性，导致无法控制的情景（如自主导航）只能取得有限的成功。&/p&&p&
由于图像提供了详细的纹理信息，所以许多算法从2D图像中获取3D边界框[4，3，42，43，44，36]。 然而，基于图像的3D检测方法的准确度受到深度估算的准确度的限制。&/p&&p&
几种基于LIDAR的3D对象检测技术利用了立体像素网格的表示方法。 [41，9]用6个统计量对每个非空像素进行编码，这些统计量是从包含在体素内的所有点导出的。 [37]融合了多个本地统计数据来表示每个体素。 计算体素网格上的截断符号距离。 [21]使用三维体素网格的二进制编码。 [5]通过计算鸟瞰图中的多通道特征地图和正视图中的圆柱坐标来引入LiDAR点云的多视图表示。 其他几项研究将点云投影到透视图上，然后使用基于图像的特征编码方案[28,15,22]。&/p&&p&
也有几种多模式融合方法结合了图像和LiDAR来提高检测的准确性[10,16,5]。 与只有LiDAR的3D检测相比，这些方法提供了改进的性能，特别是对于小物体（行人，骑自行车的人）或物体远的时候，因为相机能够比LiDAR提供更多数量级的测量数据。 然而，这些方案需要一个与LiDAR同步并校准的附加摄像头，限制了它们的使用场景，并使解决方案对传感器故障模式更为敏感。 在这项工作中，我们专注于LiDAR检测。&/p&&p&&b&1.2. 贡献&/b&&/p&&ul&&li&我们提出了一种基于点云的三维检测VoxelNet的新型端到端可训练深度架构，可直接在稀疏3D点上运行，并避免手动特征工程引入的信息瓶颈。&/li&&li&我们提出了一种有效的方法来实现VoxelNet，它既可以从体素网格上的稀疏点结构和高效的并行处理中受益。&/li&&li&我们对KITTI基准进行实验，并展现VoxelNet在基于LiDAR的汽车，行人和骑自行车者检测基准方面产生了最新的成果。&/li&&/ul&&p&&b&2. VoxelNet&/b&&/p&&p&在本节中，我们将解释VoxelNet的体系结构，用于训练的损失函数，以及用于实现网络的高效算法。&/p&&p&&b&2.1. VoxelNet架构&/b&&/p&&figure&&img src=&https://pic1.zhimg.com/v2-6f64a0fa9e5f1bbde21d17c3_b.jpg& data-size=&normal& data-rawwidth=&1322& data-rawheight=&677& class=&origin_image zh-lightbox-thumb& width=&1322& data-original=&https://pic1.zhimg.com/v2-6f64a0fa9e5f1bbde21d17c3_r.jpg&&&figcaption&图2. VoxelNet架构 特征学习网络将原始点云作为输入，将空间划分为体素，并且将每个体素内的点变换为表征形状信息的矢量表示。 该空间被表示为稀疏4D张量。 卷积中间层处理4D张量以聚合空间上下文。 最后，RPN生成3D检测。&/figcaption&&/figure&&p&所提出的VoxelNet由三个功能块组成：（1）特征学习网络，（2）卷积中间层，（3）区域提议网络[32]，如图2所示。我们在下面详细介绍VoxelNet部分。&/p&&p&&b&2.1.1特征学习网络&/b&&/p&&p&&b&立体像素分区 &/b&给定一个点云，我们将三维空间细分为等距体素，如图2所示。假设点云分别包含沿Z，Y，X轴的范围D，H，W的三维空间。 我们相应地定义大小为vD，vH和vW的每个体素。 得到的三维像素网格的大小为 &img src=&https://www.zhihu.com/equation?tex=D%27+%3D+D%2F%5Cupsilon_D& alt=&D' = D/\upsilon_D& eeimg=&1&& ， &img src=&https://www.zhihu.com/equation?tex=H%27+%3D+H%2F%5Cupsilon_H& alt=&H' = H/\upsilon_H& eeimg=&1&& ， &img src=&https://www.zhihu.com/equation?tex=W%27+%3D+W%2F%5Cupsilon_W& alt=&W' = W/\upsilon_W& eeimg=&1&& 。 在这里，为了简单起见，我们假设D，H，W是vD，vH，vW的倍数。&/p&&p&&b&分组 &/b&我们根据它们所在的体素对这些点进行分组。由于距离，遮挡，物体的相对姿态以及非均匀采样等因素，LiDAR点云是稀疏的，在整个空间中点密度变化很大。 因此，在分组之后，体素将包含可变数目的点。 图2显示了一个例子，其中Voxel-1具有比Voxel-2和Voxel-4更多的点，而Voxel-3没有任何点。&/p&&p&&b&随机抽样&/b& 通常，高分辨率LiDAR点云由~100k点组成。 直接处理所有点不仅会增加计算平台上的内存/效率负担，而且整个空间的高度可变的点密度可能会对检测造成偏见。 为此，我们从包含多于T个点的那些体素中随机地抽样一个固定的数目T。 这个抽样策略有两个目的，（1）计算节省（详见2.3节）; （2）减少体素间点的不平衡，减少抽样偏差，增加训练变量。&/p&&p&&b&堆叠体素特征编码 &/b&关键的创新点是VFE层链。 为简单起见，图2说明了一个体素的分层特征编码过程。为了不失一般性，我们在下一段使用VFE Layer-1来描述相关细节。 图3显示了VFE Layer-1的架构。&/p&&figure&&img src=&https://pic1.zhimg.com/v2-5c65e2ad19e5a82d3ae6a389863efec2_b.jpg& data-size=&normal& data-rawwidth=&708& data-rawheight=&428& class=&origin_image zh-lightbox-thumb& width=&708& data-original=&https://pic1.zhimg.com/v2-5c65e2ad19e5a82d3ae6a389863efec2_r.jpg&&&figcaption&图3.立体像素特征编码层&/figcaption&&/figure&&p&&img src=&https://www.zhihu.com/equation?tex=V+%3D+%5C%7BP_i+%3D+%5B+x_i%2C+y_i%2C+z_i%2Cr_i%5D%5ET+%5Cin+R%5E4%5C%7D_%7Bi%3D1...t%7D& alt=&V = \{P_i = [ x_i, y_i, z_i,r_i]^T \in R^4\}_{i=1...t}& eeimg=&1&& 表示一个包含 &img src=&https://www.zhihu.com/equation?tex=t+%5Cleq+T& alt=&t \leq T& eeimg=&1&& LiDAR 点的非空立体像素， &img src=&https://www.zhihu.com/equation?tex=P_i& alt=&P_i& eeimg=&1&& 包含了第i个点的XYZ坐标， &img src=&https://www.zhihu.com/equation?tex=r_i& alt=&r_i& eeimg=&1&& 是收到的反射率。我们首先计算局部均值作为V中所有点的质心，表示为 &img src=&https://www.zhihu.com/equation?tex=%28%5Cupsilon_x%2C%5Cupsilon_y%2C%5Cupsilon_z%29& alt=&(\upsilon_x,\upsilon_y,\upsilon_z)& eeimg=&1&& 。然后我们使用相对偏移量w.r.t和质心来增量每个点 &img src=&https://www.zhihu.com/equation?tex=P_i& alt=&P_i& eeimg=&1&& 并获得输入特征集 &img src=&https://www.zhihu.com/equation?tex=V_%7Bin%7D+%3D+%5C%7B+%5Chat%7BP_i%7D+%3D+%5B+x_i%2Cy_i%2Cz_i%2Cx_i-v_x%2Cy_i-v_y%2Cz_i-v_z%5D%5ET+%5Cin+R%5E7+%5C%7D_%7Bi%3D1...t%7D& alt=&V_{in} = \{ \hat{P_i} = [ x_i,y_i,z_i,x_i-v_x,y_i-v_y,z_i-v_z]^T \in R^7 \}_{i=1...t}& eeimg=&1&& 。下一步，每个 &img src=&https://www.zhihu.com/equation?tex=%5Chat%7BP_i%7D& alt=&\hat{P_i}& eeimg=&1&& 通过一个全链接网络（FCN）转换成一个特征空间，在特征空间中我们可以从点特征 &img src=&https://www.zhihu.com/equation?tex=f_i+%5Cin+R%5Em& alt=&f_i \in R^m& eeimg=&1&& 中聚合信息来编码包含在立体像素中的表面形状。FCN由线性层，批量归一化（BN）层和整流线性单元（ReLU）层组成。在获得了逐点特征表示之后，我们在所有与V有关的 &img src=&https://www.zhihu.com/equation?tex=f_i& alt=&f_i& eeimg=&1&& 上使用基于元素的最大池化（MaxPooling）来获得V的局部聚合特征 &img src=&https://www.zhihu.com/equation?tex=%5Chat%7Bf%7D+%5Cin+R%5Em& alt=&\hat{f} \in R^m& eeimg=&1&& 。最终，我们使用 &img src=&https://www.zhihu.com/equation?tex=%5Chat%7Bf%7D& alt=&\hat{f}& eeimg=&1&& 增量每一个 &img src=&https://www.zhihu.com/equation?tex=f_i& alt=&f_i& eeimg=&1&& 来形成点范围链接的特征 &img src=&https://www.zhihu.com/equation?tex=f_i%5E%7Bout%7D+%3D+%5Bf_i%5ET%2C%5Chat%7Bf%7D%5ET%5D%5ET+%5Cin+R%5E%7B2m%7D& alt=&f_i^{out} = [f_i^T,\hat{f}^T]^T \in R^{2m}& eeimg=&1&& 。因此我们获得了输出特征集 &img src=&https://www.zhihu.com/equation?tex=V_%7Bout%7D+%3D+%5C%7Bf_i%5Eout%5C%7D_%7Bi...t%7D& alt=&V_{out} = \{f_i^out\}_{i...t}& eeimg=&1&& 。所有非空体积像素都以相同的方式编码，并且它们在FCN中共享相同的一组参数。&/p&&p&
我们使用VFE-i &img src=&https://www.zhihu.com/equation?tex=%28c_%7Bin%7D%2Cc_%7Bout%7D%29& alt=&(c_{in},c_{out})& eeimg=&1&& 来表示将输入特征维度 &img src=&https://www.zhihu.com/equation?tex=c_%7Bin%7D& alt=&c_{in}& eeimg=&1&& 转化为输出特征维度 &img src=&https://www.zhihu.com/equation?tex=c_%7Bout%7D& alt=&c_{out}& eeimg=&1&& 的第i VFE层。线性层学习一个大小为 &img src=&https://www.zhihu.com/equation?tex=c_%7Bin%7D%5Ctimes%28c_%7Bout%7D+%2F+2%29& alt=&c_{in}\times(c_{out} / 2)& eeimg=&1&& 的矩阵，并且逐点连接得到维度 &img src=&https://www.zhihu.com/equation?tex=c_%7Bout%7D& alt=&c_{out}& eeimg=&1&& 的输出。&/p&&p&
由于输出特征结合了逐点特征和局部聚合特征，所以堆叠VFE层对体素内的点交互进行编码，并使最终特征表示学习描述性的形状信息。 通过FCN将VFE-n的输出转换为 &img src=&https://www.zhihu.com/equation?tex=R%5EC& alt=&R^C& eeimg=&1&& 并应用元素级的Maxpool（其中C是体素特征的尺寸）获得体素级的特征，如图2所示。&/p&&p&&b&稀疏张量表示&/b& 通过仅处理非空体素，我们获得体素特征的列表，每个体素特征与特定的非空像素的空间坐标唯一关联。 得到的体素特征列表可以表示为一个稀疏的4D张量，大小为 &img src=&https://www.zhihu.com/equation?tex=C%27%5Ctimes+D%27%5Ctimes+H%27%5Ctimes+W%27& alt=&C'\times D'\times H'\times W'& eeimg=&1&& ，如图2所示。虽然点云包含了约100k个点，但是超过90％的体素通常是空的。 将非空体素特征表示为稀疏张量，大大减少了反向传播时的内存使用和计算代价，是实现高效实现的关键一步。&/p&&p&&b&2.1.2卷积中间层&/b&&/p&&p&我们使用ConvMD &img src=&https://www.zhihu.com/equation?tex=%28c_%7Bin%7D%2Cc_%7Bout%7D%2Ck%2Cs%2Cp%29& alt=&(c_{in},c_{out},k,s,p)& eeimg=&1&& 来表示一个M维卷积算子，其中 &img src=&https://www.zhihu.com/equation?tex=c_%7Bin%7D& alt=&c_{in}& eeimg=&1&& 和 &img src=&https://www.zhihu.com/equation?tex=c_%7Bout%7D& alt=&c_{out}& eeimg=&1&& 是输入和输出通道的数量，k，s和p是对应于内核大小的M维向量， 步幅和填充大小。 当M维的大小相同时，我们使用一个标量来表示大小，例如 k代表 &img src=&https://www.zhihu.com/equation?tex=k%3D%28k%2Ck%2Ck%29& alt=&k=(k,k,k)& eeimg=&1&& 。&/p&&p&
每个卷积中间层依次应用3D卷积，BN层和ReLU层。 卷积中间层在逐渐扩大的感受域内聚合体素的特征，为形状描述增加更多内容。 卷积中间层滤波器的详细尺寸将在第3节中解释。&/p&&p&&b&2.1.3局部提案网络(Region Proposal Network)&/b&&/p&&figure&&img src=&https://pic3.zhimg.com/v2-2ad4c1be4eab168bed0fca_b.jpg& data-size=&normal& data-rawwidth=&724& data-rawheight=&247& class=&origin_image zh-lightbox-thumb& width=&724& data-original=&https://pic3.zhimg.com/v2-2ad4c1be4eab168bed0fca_r.jpg&&&figcaption&图4.区域提案网络架构&/figcaption&&/figure&&p&最近，局部提案网络[32]已经成为表现最好的目标检测框架的重要组成部分[38,5,23]。在这项工作中，我们对[32]中提出的RPN体系结构进行了几个关键的改进，并将其与特征学习网络和卷积中间层结合起来，形成一个端到端的可训练流水线。&/p&&p&
RPN的输入是由卷积中间层提供的特征图。该网络的体系结构如图4所示。该网络有三个完全卷积层的块。每个块的第一层通过步长为2的卷积将特征图采样一半，然后是步长1的卷积序列（×q表示应用q个滤波器）。在每个卷积层之后，应用BN和ReLU操作。然后，我们将每个块的输出上采样到一个固定的大小并串联构造高分辨率的特征图。最后，该特征图被映射到期望的学习目标：（1）概率评分图和（2）回归图。&/p&&p&&b&2.2. 损失函数&/b&&/p&&p&把 &img src=&https://www.zhihu.com/equation?tex=%5C%7Ba_i%5E%7Bpos%7D%5C%7D_%7Bi%3D1...N_%7Bpos%7D%7D& alt=&\{a_i^{pos}\}_{i=1...N_{pos}}& eeimg=&1&& 作为 &img src=&https://www.zhihu.com/equation?tex=N_%7Bpos%7D& alt=&N_{pos}& eeimg=&1&& 正锚点(positive anchor)集合， &img src=&https://www.zhihu.com/equation?tex=%5C%7Ba_i%5E%7Bneg%7D%5C%7D_%7Bi%3D1...N_%7Bneg%7D%7D& alt=&\{a_i^{neg}\}_{i=1...N_{neg}}& eeimg=&1&& 作为 &img src=&https://www.zhihu.com/equation?tex=N_%7Bneg%7D& alt=&N_{neg}& eeimg=&1&& 消极锚点(negative anchor)集合。我们用 &img src=&https://www.zhihu.com/equation?tex=%28x_c%5Eg%2Cy_c%5Eg%2Cz_c%5Eg%2Cl%5Eg%2Cw%5Eg%2Ch%5Eg%2C%5Ctheta%5Eg%29& alt=&(x_c^g,y_c^g,z_c^g,l^g,w^g,h^g,\theta^g)& eeimg=&1&& 参数化三维参考标准边界盒(3D ground truth box)，其中 &img src=&https://www.zhihu.com/equation?tex=x_c%5Eg%2Cy_c%5Eg%2Cz_c%5Eg& alt=&x_c^g,y_c^g,z_c^g& eeimg=&1&& 代表中心位置， &img src=&https://www.zhihu.com/equation?tex=l%5Eg%2Cw%5Eg%2Ch%5Eg& alt=&l^g,w^g,h^g& eeimg=&1&& 是边界盒的长宽高， &img src=&https://www.zhihu.com/equation?tex=%5Ctheta%5Eg& alt=&\theta^g& eeimg=&1&& 是围绕Z轴的偏航旋转角度。为了从参数化为 &img src=&https://www.zhihu.com/equation?tex=%28x_c%5Ea%2Cy_c%5Ea%2Cz_c%5Ea%2Cl%5Ea%2Cw%5Ea%2Ch%5Ea%2C%5Ctheta%5Ea%29& alt=&(x_c^a,y_c^a,z_c^a,l^a,w^a,h^a,\theta^a)& eeimg=&1&& 的一个匹配正锚点中检索参考标准边界盒，我们定义了包含7个与中心位置 &img src=&https://www.zhihu.com/equation?tex=%5CDelta+x%2C+%5CDelta+y%2C+%5CDelta+z%2C+& alt=&\Delta x, \Delta y, \Delta z, & eeimg=&1&& ，三个维度 &img src=&https://www.zhihu.com/equation?tex=%5CDelta+l%2C+%5CDelta+w%2C+%5CDelta+h+& alt=&\Delta l, \Delta w, \Delta h & eeimg=&1&& 和旋转角度 &img src=&https://www.zhihu.com/equation?tex=%5CDelta%5Ctheta& alt=&\Delta\theta& eeimg=&1&& 的相对应的回归目标的残差向量 &img src=&https://www.zhihu.com/equation?tex=u%5E%2A%5Cin+R%5E7& alt=&u^*\in R^7& eeimg=&1&& , 可以用以下公式计算：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5CDelta+x+%3D+%5Cfrac%7Bx_c%5Eg+-+x_c%5Ea%7D%7Bd%5Ea%7D& alt=&\Delta x = \frac{x_c^g - x_c^a}{d^a}& eeimg=&1&& , &img src=&https://www.zhihu.com/equation?tex=%5CDelta+y+%3D+%5Cfrac%7By_c%5Eg+-+y_c%5Ea%7D%7Bd%5Ea%7D& alt=&\Delta y = \frac{y_c^g - y_c^a}{d^a}& eeimg=&1&& , &img src=&https://www.zhihu.com/equation?tex=%5CDelta+z+%3D+%5Cfrac%7Bz_c%5Eg+-+z_c%5Ea%7D%7Bdh%5Ea%7D& alt=&\Delta z = \frac{z_c^g - z_c^a}{dh^a}& eeimg=&1&& ,&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5CDelta+l+%3D+log%28%5Cfrac%7Bl%5Eg%7D%7Bl%5Ea%7D%29& alt=&\Delta l = log(\frac{l^g}{l^a})& eeimg=&1&& , &img src=&https://www.zhihu.com/equation?tex=%5CDelta+w+%3D+log%28%5Cfrac%7Bw%5Eg%7D%7Bw%5Ea%7D%29& alt=&\Delta w = log(\frac{w^g}{w^a})& eeimg=&1&& , &img src=&https://www.zhihu.com/equation?tex=%5CDelta+h+%3D+log%28%5Cfrac%7Bh%5Eg%7D%7Bh%5Ea%7D%29& alt=&\Delta h = log(\frac{h^g}{h^a})& eeimg=&1&& ,
(1)&/p&&p&&img src=&https://www.zhihu.com/equation?tex=%5CDelta+%5Ctheta+%3D%5Ctheta+%5E+g+-+%5Ctheta%5Ea& alt=&\Delta \theta =\theta ^ g - \theta^a& eeimg=&1&&&/p&&p&其中 &img src=&https://www.zhihu.com/equation?tex=d%5Ea+%3D+%5Csqrt%7B%28l%5Ea%29%5E2%2B%28w%5Ea%29%5E2%7D& alt=&d^a = \sqrt{(l^a)^2+(w^a)^2}& eeimg=&1&& 是锚箱底部的对角线。与[32, 38, 22, 21,4, 3, 5]不同之处在于，这里我们的目的是直接预测定向的3D边界盒，并使用对角线 &img src=&https://www.zhihu.com/equation?tex=d%5Ea& alt=&d^a& eeimg=&1&& 均匀归一化 &img src=&https://www.zhihu.com/equation?tex=%5CDelta+x& alt=&\Delta x& eeimg=&1&& 和 &img src=&https://www.zhihu.com/equation?tex=%5CDelta+y& alt=&\Delta y& eeimg=&1&& 。我们定义损失函数如下：&/p&&p&&img src=&https://www.zhihu.com/equation?tex=L+%3D+%5Calpha+%5Cfrac%7B1%7D%7BN_%7Bpos%7D%7D%5Csum_%7Bi%7D%5E%7B%7D%7BL_%7Bcls%7D%28p_i%5E%7Bpos%7D%2C1%29%7D+%2B+%5Cbeta+%5Cfrac%7B1%7D%7BN_%7Bneg%7D%7D+%5Csum_%7Bj%7D%5E%7B%7D%7BL_%7Bcls%7D%28p_j%5E%7Bneg%7D%2C0%29%7D+%2B+%5Cfrac%7B1%7D%7BN_%7Bpos%7D%7D+%5Csum_%7Bi%7D%5E%7B%7D%7BL_%7Breg%7D%28u_i%2Cu_i%5E%2A%29%7D& alt=&L = \alpha \frac{1}{N_{pos}}\sum_{i}^{}{L_{cls}(p_i^{pos},1)} + \beta \frac{1}{N_{neg}} \sum_{j}^{}{L_{cls}(p_j^{neg},0)} + \frac{1}{N_{pos}} \sum_{i}^{}{L_{reg}(u_i,u_i^*)}& eeimg=&1&&
(2)&/p&&p&其中 &img src=&https://www.zhihu.com/equation?tex=p_i%5E%7Bpos%7D& alt=&p_i^{pos}& eeimg=&1&& 和 &img src=&https://www.zhihu.com/equation?tex=p_j%5E%7Bneg%7D& alt=&p_j^{neg}& eeimg=&1&& 分别表示正锚点 &img src=&https://www.zhihu.com/equation?tex=a_i%5E%7Bpos%7D& alt=&a_i^{pos}& eeimg=&1&& 和负锚点 &img src=&https://www.zhihu.com/equation?tex=a_j%5E%7Bneg%7D& alt=&a_j^{neg}& eeimg=&1&& 的softmax输出，而 &img src=&https://www.zhihu.com/equation?tex=u_i+%5Cin+R%5E7& alt=&u_i \in R^7& eeimg=&1&& 和 &img src=&https://www.zhihu.com/equation?tex=u_i%5E%2A+%5Cin+R%5E7& alt=&u_i^* \in R^7& eeimg=&1&& 则是正锚点 &img src=&https://www.zhihu.com/equation?tex=a_i%5E%7Bpos%7D& alt=&a_i^{pos}& eeimg=&1&& 的回归输出(regression output)和参考标准值(ground truth)。公式前两项为 &img src=&https://www.zhihu.com/equation?tex=%5C%7Ba_i%5E%7Bpos%7D%5C%7D_%7Bi%3D1...N_%7Bpos%7D%7D& alt=&\{a_i^{pos}\}_{i=1...N_{pos}}& eeimg=&1&& 和 &img src=&https://www.zhihu.com/equation?tex=%5C%7Ba_i%5E%7Bneg%7D%5C%7D_%7Bi%3D1...N_%7Bneg%7D%7D& alt=&\{a_i^{neg}\}_{i=1...N_{neg}}& eeimg=&1&& 的归一化分类损失， &img src=&https://www.zhihu.com/equation?tex=L_%7Bcls%7D& alt=&L_{cls}& eeimg=&1&& 代表二进制交叉熵损失， &img src=&https://www.zhihu.com/equation?tex=%5Calpha%2C%5Cbeta& alt=&\alpha,\beta& eeimg=&1&& 是平衡相对重要性的正常数。公式最后一项是回归损失，我们在此使用SmoothL1 方法 [12, 32]。&/p&&p&&b&2.3. 高效实现&/b&&/p&&p&GPU对处理稠密张量结构进行了优化。而直接使用点云的问题在于，点在空间上是稀疏分布的，每个体素有不同数量的点。 我们设计了一种将点云转换为稠密张量结构的方法，其中堆叠的VFE操作可以在点和体素上并行处理。&/p&&figure&&img src=&https://pic4.zhimg.com/v2-3a019fbf8abcedf14f466_b.jpg& data-size=&normal& data-rawwidth=&435& data-rawheight=&348& class=&origin_image zh-lightbox-thumb& width=&435& data-original=&https://pic4.zhimg.com/v2-3a019fbf8abcedf14f466_r.jpg&&&figcaption&图5.高效实现的例子&/figcaption&&/figure&&p&
图5是这个方案的总结。我们初始化K×T×7维张量结构来存储体素输入特征缓冲区，其中K是非空体素的最大数量，T是每个体素的最大点数，以及7是每个点的输入编码维度。在处理之前，这些点是随机的。对于点云中的每个点，我们检查相应的体素是否已经存在。该查找操作在O(1)中使用散列表（其中体素坐标被用作散列键）有效地完成。如果体素已经初始化，如果有少于T个点，我们将点插入体素位置，否则该点将被忽略。如果体素未初始化，我们初始化一个新体素，将其坐标存储在体素坐标缓冲区中，并将该点插入此体素位置。体素输入特征和坐标缓冲区可以通过点列表上的单遍构造，因此其复杂度为O(n)。为了进一步提高内存/计算效率，可以仅存储有限数量的体素（K）并忽略来自具有少量点的体素的点。&/p&&p&
在构建体素输入缓冲器之后，堆叠的VFE只涉及可以在GPU上并行计算的点级和体素级密集操作。 请注意，在VFE中的连接操作之后，我们将与空点相对应的特征重置为零，使得它们不影响计算的体素特征。 最后，使用存储的坐标缓冲区，我们将计算的稀疏体元结构重新组织到密集的体素网格。 之后卷积中间层和RPN操作在密集的体素网格上工作，这可以在GPU上高效地实现。&/p&&p&&b&3. 训练细节&/b&&/p&&p&在本节中，我们将解释VoxelNet的实现细节和训练过程。&/p&&p&&b&3.1 网络细节&/b&&/p&&p&我们的实验装置基于KITTI数据集的LiDAR规范[11]。&/p&&p&&b&车辆检测&/b& 对于这个任务，我们考虑沿Z，Y，X轴分别在[-3,1]×[-40,40]×[0,70.4]米范围内的点云。 投影在图像边界之外的点被删除[5]。我们选择立体像素大小为 &img src=&https://www.zhihu.com/equation?tex=v_D+%3D+0.4%2C+v_H+%3D+0.2%2C+v_W+%3D+0.2& alt=&v_D = 0.4, v_H = 0.2, v_W = 0.2& eeimg=&1&& 米，这使得 &img src=&https://www.zhihu.com/equation?tex=D%27%3D10%2CH%27%3D400%2CW%27%3D352& alt=&D'=10,H'=400,W'=352& eeimg=&1&& 。我们设每个非空体素中随机采样的最大数为T=35。我们使用两个VFE层，VFE-1(7,32)和VFE(32,128)。最后FCN映射VFE-2输出到 &img src=&https://www.zhihu.com/equation?tex=R%5E%7B128%7D& alt=&R^{128}& eeimg=&1&& 。因此我们的特征学习网络生成一个形状为128×10×400×352的稀疏张量。为了汇总体素特征，我们依次使用三个卷积中间层Conv3D(128, 64, 3,(2,1,1), (1,1,1)), Conv3D(64, 64, 3, (1,1,1), (0,1,1)), 和Conv3D(64, 64, 3, (2,1,1), (1,1,1))，这产生了尺寸为 &img src=&https://www.zhihu.com/equation?tex=64+%C3%97+2+%C3%97+400+%C3%97+352& alt=&64 × 2 × 400 × 352& eeimg=&1&& 的4D张量。整形之后，RPN的输入是尺寸为128×400×352的特征图，尺寸对应于3D张量的通道数，高度和宽度。图4显示了这个任务的详细网络架构。 与[5]不同的是，我们只使用一个锚点大小， &img src=&https://www.zhihu.com/equation?tex=l%5Ea+%3D+3.9%EF%BC%8Cw%5Ea+%3D+1.6%EF%BC%8Ch%5Ea+%3D+1.56& alt=&l^a = 3.9，w^a = 1.6，h^a = 1.56& eeimg=&1&& 米，以 &img src=&https://www.zhihu.com/equation?tex=z%5Ea_c+%3D+-1.0& alt=&z^a_c = -1.0& eeimg=&1&& 米为中心，分别旋转0和90度。我们的锚点匹配标准如下：如果一个锚点与参考标准具有最高的交叉重合(IoU）和或者与参考标准的IoU高于0.6（在鸟瞰图中），则锚点被认为是正的。 如果它与所有的参考标准边界盒之间的IoU小于0.45，则认为锚是负的。 我们把锚定在0.45≤IoU≤0.6的锚点忽略。 在公式2，我们设α= 1.5和β= 1。&/p&&p&&b&行人和骑自行车者的检测&/b& 输入范围(我们的经验观察表明，超出这个范围，从行人，骑自行车的人返回的LiDAR变得非常稀疏，因此检测结果将是不可靠的。)分别沿Z，Y，X轴为[-3,1]×[-20,20]×[0,48]米。我们使用与汽车检测相同的体素大小，其使得D = 10，H = 200，W = 240。为了获得更多的LiDAR点以获得更好的形状信息，我们设置T = 45。特征学习网络和卷积中间层与用于汽车检测任务的网络相同。对于RPN，我们对图4中的块1进行一次修改，将第一个2D卷积中的步长从2更改为1来。这将允许更精细的锚定匹配的分辨率，对于检测行人和骑车人来说是必需的。我们使用锚定尺寸 &img src=&https://www.zhihu.com/equation?tex=l%5Ea+%3D+0.8%EF%BC%8Cw%5Ea+%3D+0.6%EF%BC%8Ch%5Ea+%3D+1.73& alt=&l^a = 0.8，w^a = 0.6，h^a = 1.73& eeimg=&1&& 米，以 &img src=&https://www.zhihu.com/equation?tex=z%5Ea_c+%3D+-0.6& alt=&z^a_c = -0.6& eeimg=&1&& 米为中心，0和90度旋转用于行人检测，使用锚定尺寸 &img src=&https://www.zhihu.com/equation?tex=l%5Ea+%3D+1.76%EF%BC%8Cw%5Ea+%3D+0.6%EF%BC%8Ch%5Ea+%3D+1.73& alt=&l^a = 1.76，w^a = 0.6，h^a = 1.73& eeimg=&1&& 米，&img src=&https://www.zhihu.com/equation?tex=z%5Ea_c+%3D+-0.6& alt=&z^a_c = -0.6& eeimg=&1&& 米为中心，0和90度旋转用于骑自行车者检测。具体的锚点匹配标准如下：如果与参考标准边界盒具有最高的IoU，或者其与参考标准的IoU高于0.5，则将锚点分配为正的。如果与参考标准边界盒的IoU小于0.35，则锚被认为是负的。对于0.35≤IoU≤0.5的锚点，我们忽略。&/p&&p&在训练期间，我们使用随机梯度下降（SGD），前150个学习阶段的学习率(learning rate)为0.01，最后10个学习阶段的学习率降低到0.001。我们batchsize 使用16点云。&/p&&p&&b&3.2. 数据增量&/b&&/p&&p&如果训练点云少于4000个，从头开始训练我们的网络将不可避免地会出现过度配合。 为了减轻这个问题，我们介绍三种不同形式的数据增量。 增量的训练数据可以在运行中生成，而不需要存储在磁盘上[20]。&/p&&p&
定义一个集合 &img src=&https://www.zhihu.com/equation?tex=M%3D%5C%7Bp_i+%3D+%5Bx_i%2Cy_i%2Cz_ir_i%5D%5ET+%5Cin+R%5E4%5C%7D_%7Bi%3D1%2C...%2CN%7D& alt=&M=\{p_i = [x_i,y_i,z_ir_i]^T \in R^4\}_{i=1,...,N}& eeimg=&1&& 作为由N个点组成的整个点云。我们参数化一个三维边界盒 &img src=&https://www.zhihu.com/equation?tex=b_i+%3D+%28x_c%2Cy_c%2Cz_c%2Cl%2Cw%2Ch%2C%5Ctheta%29& alt=&b_i = (x_c,y_c,z_c,l,w,h,\theta)& eeimg=&1&& ,其中 &img src=&https://www.zhihu.com/equation?tex=x_c%2Cy_c%2Cz_c& alt=&x_c,y_c,z_c& eeimg=&1&& 是中心点， &img src=&https://www.zhihu.com/equation?tex=l%2Cw%2Ch& alt=&l,w,h& eeimg=&1&& 是长宽高， &img src=&https://www.zhihu.com/equation?tex=%5Ctheta& alt=&\theta& eeimg=&1&& 是围绕Z轴的偏移角度。我们定义 &img src=&https://www.zhihu.com/equation?tex=%5COmega_i+%3D+%5C%7BP%7Cx+%5Cin+%5Bx_c-l%2F2%2Cx_c%2Bl%2F2%5D%2C+y+%5Cin+%5By_c-w%2F2%2Cy_c%2Bw%2F2%5D%2Cz+%5Cin+%5Bz_c-h%2F2%2Cz_c%2Bh%2F2%5D%2CP+%5Cin+M%5C%7D& alt=&\Omega_i = \{P|x \in [x_c-l/2,x_c+l/2], y \in [y_c-w/2,y_c+w/2],z \in [z_c-h/2,z_c+h/2],P \in M\}& eeimg=&1&& 作为包含 &img src=&https://www.zhihu.com/equation?tex=b_i& alt=&b_i& eeimg=&1&& 内所有点的集合，其中 &img src=&https://www.zhihu.com/equation?tex=P+%3D+%5Bx%2Cy%2Cz%2Cr%5D& alt=&P = [x,y,z,r]& eeimg=&1&& 表示整个集合中的特定LiDAR点。&/p&&p&
增量数据的第一种形式是将独立于每个地面真实3D边界框以及边界盒内的那些LiDAR点的扰动独立地应用。具体来说，我们围绕z轴旋转 &img src=&https://www.zhihu.com/equation?tex=b_i& alt=&b_i& eeimg=&1&& 和对应的 &img src=&https://www.zhihu.com/equation?tex=%5COmega_i& alt=&\Omega_i& eeimg=&1&& ,旋转角度为一个均匀分布的随机变量 &img src=&https://www.zhihu.com/equation?tex=%5CDelta%5Ctheta+%5Cin+%5B-%5Cpi%2F10%2C%2B%5Cpi%2F10%5D& alt=&\Delta\theta \in [-\pi/10,+\pi/10]& eeimg=&1&& ，然后我们给 &img src=&https://www.zhihu.com/equation?tex=b_i& alt=&b_i& eeimg=&1&& 的XYZ分量和 &img src=&https://www.zhihu.com/equation?tex=%5COmega_i& alt=&\Omega_i& eeimg=&1&& 中的每个点增加一个平移 &img src=&https://www.zhihu.com/equation?tex=%28%5CDelta+x%2C%5CDelta+y%2C%5CDelta+z%29& alt=&(\Delta x,\Delta y,\Delta z)& eeimg=&1&& ,其中 &img src=&https://www.zhihu.com/equation?tex=%5CDelta+x%2C%5CDelta+y%2C%5CDelta+z& alt=&\Delta x,\Delta y,\Delta z& eeimg=&1&& 独立绘制于一个均值为0标准差为1的高斯分布。为了避免物理上的不可能结果，我们对扰动后的任意两个边界盒做碰撞测试，如果碰撞被发现，我们将恢复到原来的状态，由于扰动被应用与每个参考标准边界盒和相关的LiDAR点，因此网络能够从原始数据中获得比实际更多的变化。&/p&&p&
第二，我们对所有的参考标准边界盒&img src=&https://www.zhihu.com/equation?tex=b_i& alt=&b_i& eeimg=&1&& 和整个点云M应用全局缩放。具体来说，我们将每个 &img src=&https://www.zhihu.com/equation?tex=b_i& alt=&b_i& eeimg=&1&& 的XYZ坐标和三个维度以及M中所有点的XYZ坐标乘以一个均匀分布于[0.95,1.05]的随机变量。 引入全局尺度增量提高了网络的鲁棒性，用于检测具有各种尺寸和距离的对象，如基于图像的分类[35,18]和检测任务[12,17]所示。&/p&&p&
最后，我们将全局旋转应用到所有的参考标准边界盒 &img src=&https://www.zhihu.com/equation?tex=b_i& alt=&b_i& eeimg=&1&& 和整个点云M上。沿着Z轴和(0,0,0)周围应用旋转。 全局旋转偏移量取决于均匀分布[-π/ 4，+π/ 4]的采样。 通过旋转整个点云，我们可以模拟车辆转弯。&/p&&p&&b&4. 实验&/b&&/p&&p&我们在KITTI 3D物体检测基准[11]上评估VoxelNet，其中包含7,481个训练图像/点云和7,518个测试图像/点云，覆盖三类：汽车，行人和骑车者。 对于每个分类，根据三个难度级别来评估检测结果：简单，中等和难度，根据对象大小，遮挡状态和截断级别确定检测结果。 由于测试集的参考标准不可用，并且对测试服务器的访问是有限的，我们使用[4，3，5]中描述的协议进行综合评估，并将训练数据细分为训练集和验证集，这形成了3,712个训练数据样本和3,769个数据样本用于验证。 分割操作避免了来自相同序列的样本被包括在训练集和验证集中[3]。 最后，我们还使用KITTI服务器提供测试结果。&/p&&p&
对于Car类，我们将所提出的方法与几种性能最好的算法进行比较，包括基于图像的方法：Mono3D [3]和3DOP [4]; 基于LiDAR的方法：VeloFCN [22]和3D-FCN [21]; 和一个多模式的方法MV [5]。 Mono3D [3]，3DOP [4]和MV [5]使用预先训练的模型进行初始化，而我们仅使用KITTI提供的LiDAR数据从头开始训练VoxelNet。&/p&&p&
为了分析端到端学习的重要性，我们实现了源自VoxelNet体系结构的强大基线，但是使用手工处理特征而不是所提出的特征学习网络。我们称这个模型为手工处理的基线[hand-crafted baseline (HC-baseline)]。 HC基线使用[5]中描述的以0.1m分辨率计算的鸟瞰特征。与[5]不同，我们将高度通道的数量从4个增加到16个，以获取更详细的形状信息 - 进一步增加高度通道的数量不会导致性能改进。我们使用Conv2D(16, 32, 3, 1, 1), Conv2D(32, 64, 3, 2,&br&1), Conv2D(64, 128, 3, 1, 1)这些有着相似尺寸的2D卷积层替换VoxelNet的卷积中间层。最后的RPN在VoxelNet和HC-基线中是相同的。 HC基线和VoxelNet中的参数总数非常相似。我们使用第3节中描述的相同的训练程序和数据增强来训练HC基线。&/p&&p&&b&4.1. 在KITTI验证集上评估&/b&&/p&&figure&&img src=&https://pic2.zhimg.com/v2-2f3bb0a89a77e67e05ef95_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&1157& data-rawheight=&513& class=&origin_image zh-lightbox-thumb& width=&1157& data-original=&https://pic2.zhimg.com/v2-2f3bb0a89a77e67e05ef95_r.jpg&&&/figure&&p&&b&指标&/b& 我们遵循官方的KITTI评估协议，其中IoU门限为0.7级轿车，0.5级为行人和骑车人。 IoU阈值对于鸟瞰和全3D评估都是相同的。 我们比较方法使用平均精度（AP）度量。&/p&&p&&b&鸟瞰图中的评估 &/b&评估结果如表1所示。VoxelNet在所有三个难度级别上始终优于所有竞争方法。 相比最先进的[5]，HC基线也取得了令人满意的性能，这表明我们的区域提案网络（RPN）是有效的。 对于鸟瞰视图中的行人和骑车者检测任务，我们将提议的VoxelNet与HC基线进行比较。 对于这些更具挑战性的类别，VoxelNet产生的AP比HC基线高得多，这表明端到端学习对于基于点云的检测是必不可少的。&/p&&p&
我们想要指出的是，[21]分别报告了简单，中等和困难水平分别为88.9％，77.3％和72.7％，但是这些结果是根据6000个训练框架和1500个验证框架的不同分割得到的， 它们不能与表1中的算法直接比较。因此，我们在表中没有包括相关的结果。&/p&&p&&b&3D评估&/b& 与只需要精确定位2D平面上的物体的鸟瞰检测相比，3D检测是一个更具挑战性的任务，因为它需要3D空间中更精细的形状定位。 表2总结了对比情况。 对于Car类，VoxelNet在所有难度级别上明显优于AP中的所有其他方法。 具体而言，仅使用LiDAR，VoxelNet在简单，中等和高效率方面明显优于基于LiDAR + RGB的最新方法MV（BV + FV + RGB）[10]，分别为10.68％，2.78％和6.29％ 对应简单，中等，和困难等级。 HC基线达到与MV [5]方法相似的精度。&/p&&p&
在鸟瞰图评估中，我们还将VoxelNet与HC-基线进行比较，以进行3D行人和骑行者检测。 由于3D姿态和形状的高度变化，成功检测这两个类别需要更好的3D形状表示。 如表2所示，对于更具挑战性的3D检测任务，VoxelNet的改进性能得到了强化（从鸟瞰图提高8％到3D检测提高约12％），这表明VoxelNet在捕获3D形状信息方面比 手工处理的更高效。&/p&&p&4.2. 在KITTI测试集上评估&/p&&figure&&img src=&https://pic4.zhimg.com/v2-78ffcded122eaaff31fbd63_b.jpg& data-caption=&& data-size=&normal& data-rawwidth=&537& data-rawheight=&209& class=&origin_image zh-lightbox-thumb& width=&537& data-original=&https://pic4.zhimg.com/v2-78ffcded122eaaff31fbd63_r.jpg&&&/figure&&p&我们通过将检测结果提交给官方服务器来评估KITTI测试集上的VoxelNet。 结果总结在表3中.VoxelNet在所有任务（鸟瞰图和三维检测）以及所有困难方面明显优于先前发表的最先进的[5]。 我们想要指出的是，KITTI基准测试中列出的许多其他领先方法都使用RGB图像和LiDAR点云，而VoxelNet仅使用LiDAR。&/p&&figure&&img src=&https://pic2.zhimg.com/v2-beafc2e66584f1adbe2c83_b.jpg& data-size=&normal& data-rawwidth=&1219& data-rawheight=&554& class=&origin_image zh-lightbox-thumb& width=&1219& data-original=&https://pic2.zhimg.com/v2-beafc2e66584f1adbe2c83_r.jpg&&&figcaption&图6.定性结果 为了更好的可视化，使用LiDAR检测到的3D边界盒投射到RGB图像上&/figcaption&&/figure&&p&
我们在图6中给出了几个3D检测示例。为了更好的可视化，使用LiDAR检测到的3D盒被投影到RGB图像上。 如图所示，VoxelNet在所有类别中提供高度精确的三维边界框。&/p&&p&
在TitanX GPU和1.7Ghz CPU上，VoxelNet的处理时间为225ms，体素输入特征计算需要5ms，特征学习网络需要20ms，卷积中间层需要170ms，区域处理网络需要30ms。&/p&&p&&b&5. 结论&/b&&/p&&p&基于LiDAR的3D检测中大多数现有的方法依赖于手工特征表示，例如鸟瞰图投影。在本文中，我们消除了手工特征处理的瓶颈，并提出了VoxelNet，这是一种新颖的基于点云的3D检测端到端可训练深度架构。我们的方法可以直接在稀疏的3D点上操作，并有效地捕捉3D形状信息。我们还介绍了VoxelNet的一个高效实现，它可以从点云稀疏性和体素网格上的并行处理中受益。我们在KITTI汽车检测任务上的实验表明，VoxelNet大大超越了先进的基于LiDAR的3D检测方法。在更具挑战性的任务中，例如行人和骑自行车的3D检测，VoxelNet也展示了令人鼓舞的结果，表明它提供了更好的3D表示方法。未来的工作包括将VoxelNet扩展到联合LiDAR和基于图像的端到端3D检测，以进一步提高检测和定位精度。&/p&&p&&b&致谢&/b&：我们感谢同事 Russ Webb，Barry Theobald和Jerremy Holland 宝贵的意见。&/p&&p&&b&参考&/b&&/p&&p&[1] P. Bariya and K. Nishino. Scale-hierarchical 3d object recognition in cluttered scenes. In 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages , 2010. 2&/p&&p&[2] L. Bo, X. Ren, and D. Fox. Depth Kernel Descriptors for Object Recognition. In IROS, September 2011. 2&/p&&p&[3] X. Chen, K. Kundu, Z. Zhang, H. Ma, S. Fidler, and R. Urtasun. Monocular 3d object detection for autonomous driving. In IEEE CVPR, , 6, 7&/p&&p&[4] X. Chen, K. Kundu, Y. Zhu, A. Berneshawi, H. Ma, S. Fidler, and R. Urtasun. 3d object proposals for accurate object class detection. In NIPS, , 6, 7&/p&&p&[5] X. Chen, H. Ma, J. Wan, B. Li, and T. Xia. Multi-view 3d object detection network for autonomous driving. In IEEE CVPR, , 3, 4, 5, 6, 7, 8&/p&&p&[6] C. Choi, Y. Taguchi, O. Tuzel, M. Y. Liu, and S. Ramalingam. Voting-based pose estimation for robotic assembly using a 3d sensor. In 2012 IEEE International Conference on Robotics and Automation, pages , 2012. 2&/p&&p&[7] C. S. Chua and R. Jarvis. Point signatures: A new representation for 3d object recognition. International Journal of Computer Vision, 25(1):63–85, Oct 1997. 2&/p&&p&[8] C. Dorai and A. K. Jain. Cosmos-a representation scheme for 3d free-form objects. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(10):, 1997. 2&/p&&p&[9] M. Engelcke, D. Rao, D. Z. Wang, C. H. Tong, and I. Posner. Vote3deep: Fast object detection in 3d point clouds using efficient convolutional neural networks. In 2017 IEEE International Conference on Robotics and Automation (ICRA), pages , May &/p&&p&[10] M. Enzweiler and D. M. Gavrila. A multilevel mixture-ofexperts framework for pedestrian classification. IEEE Transactions on Image Processing, 20(10):, Oct 2011. 3&/p&&p&[11] A. Geiger, P. Lenz, and R. Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In Conference on Computer Vision and Pattern Recognition (CVPR), , 5, 6&/p&&p&[12] R. Girshick. Fast r-cnn. In Proceedings of the 2015 IEEE International Conference on Computer Vision (ICCV), ICCV ’15, &/p&&p&[13] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 580–587, 2014. 1&/p&&p&[14] R. Gomez-Ojeda, J. Briales, and J. Gonzalez-Jimenez. Plsvo: Semi-direct monocular visual odometry by combiningpoints and line segments. In 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages , Oct 2016. 1&/p&&p&[15] A. Gonzalez, G. Villalonga, J. Xu, D. Vazquez, J. Amores, and A. Lopez. Multiview random forest of local experts combining rgb and lidar data for pedestrian detection. In IEEE Intelligent Vehicles Symposium (IV), &br&[16] A. Gonzlez, D. Vzquez, A. M. Lpez, and J. Amores. Onboard object detection: Multicue, multimodal, and multiview random forest of local experts. IEEE Transactions on Cybernetics, 47(11):, Nov 2017. 3&br&[17] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–&br&778, June
&br&[18] A. G. Howard. Some improvements on deep convolutional neural network based image classification. CoRR, abs/, 2013. 6&br&[19] A. E. Johnson and M