Mobileye 创立于 1999 年，由以色列著名计算机视觉科学家 Ziv Aviram 和耶路撒冷希伯来大学（Hebrew University of Jerusalem）计算机科学系教授 Amnon Shashua 等联合创办。2014 年 8 月 1 日在纽交会首次公开发行股票，市值超过 80亿美元。在成功上市之前，Mobileye 融资过十轮。
特斯拉在 2016 年使用了 Mobileye 的系统。之前，Mobileye 的主要产品是先进驾驶辅助系统（Advanced Driver Assistance System，简称 ADAS），以及围绕该系统所推出的多种解决方案。奥迪、宝马、雪铁龙、福特、通用、本田、现代、捷豹、陆虎、尼桑、欧宝、雷诺、丰田和沃尔沃等一共 17 家汽车品牌都和 Mobileye 有合作关系。
2016 年，Mobileye 从辅助驾驶系统，开始真正迈向自动驾驶汽车。Mobileye的技术和谷歌有所不同，谷歌从 A 点到 B 点不需要司机，Mobileye 技术则是在行驶时用的。使用 Mobileye 系统的车辆，并不像谷歌无人驾驶汽车一样智能，仅能够处理在高速公路单行道的驾驶，加速或是按照信号灯进行停车。因为总成本很低，Mobileye 的技术能够轻松实现商业化。
以下，为此次 Mobileye 联合创始人 Amnon Shashua 教授在 CVPR 2016 大会上的演讲整理：
为何追求自动驾驶技术？
1、汽车使用扇形图（左图）
• 黄色：合计每年驾驶时间 4%
• 蓝色：合计每年非驾驶时间 96%（大部分都是停在停车场）
2、估算平均每英里的共享的成本明细（基于美国市场，右上图）
• 蓝色：驾驶员工资， 0.75 美元，50%
• 黄色：乘车费用，0.30 美元，20%
• 绿色：折旧费，0.15 美元，10%
• 靛蓝：燃油费，0.15 美元，10%
• 橙色：保险、保养费用，0.15 美元，10%
3、每英里成本——共享 vs. 自有（右下图）
机器 & 网络代表一个功用，能引发大数据 & 内容的市场机遇（左图）。
为何硅谷对自动驾驶感兴趣：在我看来，自主性共享能被视为是由机器和网络代表的一种功用，能够产生大数据以及内容机会。硅谷不只是对功用反面感兴趣，更重要的是向今天的汽车公司出售它们不熟悉的数据、内容以及经验的机会，这能带来数万亿美元的潜力。这一有潜力的 TAM（技术接受模型） 的捆绑模式（功用+内容+数据）使得一些如今硅谷服务的其他主要的终端市场（PC，智能手机）相形见绌。此外，里程驾驶是一个增长型业务，长期下，在量级上有潜力超过全球轻型汽车生产，也可能超过硅谷其他主要的终端市场。
自动驾驶的三大支柱
1、传感： 环境模式、360 度感知
2、地图测绘： 高精确度定位（10 cm）、可行驶路线
3、驾驶策略（规划）：多方博弈中的协商
传感、地图测绘、驾驶策略，三者在互相影响的同时也必须要同步进行。它们并不是三个独立的技术区块。
1、传感
为什么是摄像头？
1、分辨率：
• 最好的摄像头有 1.3 - 1.7 MP（130 万-170 万像素），FPS（每秒帧数）为 36 （每秒大约 47-61 M ）
• 2020 年计划摄像头分辨率达到 7.2 MP （每秒 260 M）
• 激光雷达技术每秒发射脉冲 60-300k （300k 赫兹）
• 最先进的未来雷达（MIMO）将会达到每秒 300k 点次。
2、分辨率为什么重要？
• 高分辨率能够显示复杂场景的细节描述
• 低分辨率（激光雷达）需要一个稳定的背景 3D 地图
3、形状 vs. 外观
• 最复杂的情境由外观（ 纹理）定义，而不只是形状：
• 道路标记、交通标识、交通信号灯
• 像马路牙子这样的路径界标
在「环境模式」中都发生了什么
1、动态/静态目标（ADAS 技术自然发展出来的）：
• 得到零个假负例样本（0 个假正例是自动采集系统的一部分）
• 任何方位的汽车，增强型的行人/自行车探测
• 更为普通的目标（非基于模型训练的）
2、路径分界（略微超出ADAS 的能力）：自由环境，探测任何道路边界，标记边界的类型
3、可驾驶路线（非常具有挑战性）：
• 探测所有可驾驶路线的道路边界（即使车道线不存在）
• 为每一条路线附加语义信息（路面标线以及其他环境信息）
• 探测关键点（并道、岔道等）
为何要是全范围摄像头？
四角雷达 + 两边雷达是否足够覆盖全范围？
• Yes，在大部分都是高速公路的高度自动化驾驶（HAD，Highly Automated Driving）级别，这是正确的。
• 在城市环境中的全自动驾驶（FAD）级别，却需要更高的分辨率传感，如图中所示。
这里，Amnon Shashua 教授讲了一个传感部分的例子：3DVD 探测任意方位的汽车。探测一个目标，你不只需要探测这是一辆汽车，还包括每辆汽车所属方位：红色的离你很近，绿色的在你前方，黄色的在左方，蓝色的在右方等。
• 输出的定义：并非在任何时间下，都能看到汽车 3D 信息。
• 测量：范围以及 TTC。
在这一部分，Amnon Shashua 教授视频演示了在自由环境中，路径界定的技术。他表示 Mobileye 在这里面用到了深度学习。
语义自由环境：目标
包括平整路面、台阶（路沿）、竖墙、防护轨、混凝土防撞栏。
在环境感知中，最难的一部分就是可驾驶线路中的探测。
在这种环境中，计算机需要在没有地标的情况下规划驾驶路线，使用到了整体的提示信息。
如此，把前面介绍的语义自由环境（SFS）、车道线探测等技术结合起来就是整合路线。
这同样是个视频演示的例子：在隧道中自动驾驶汽车的线路探测。
可驾驶路线中的语义信息：包括往左、往右变道，岔道等。
道路信息中有很多关键点，比如说车道分叉口，车道合并处。
• HL - 左边主车道
• HR - 右边主车道
• NLL -下一条车道的左标记
• ERR - 右车道出口的右标记
• ERL - 右车道出口的左标记
道路语义信息 — 坡度估算
蓝色图片是地面实况图（上）与网络（ConNet）（下）输出的路面信息。
右边蓝色图片中标色的线是斜坡，上面一张显示的是路面实况图，下面一张是网络输出的图，可以看出显示出的路面信息是一样的。
道路语义信息 — 车道分割信息
• 红黄是「复杂的」道路标记（左/右）
• 浅蓝是「简单的」道路标记
上面的对比图中，路面实况图把右边的整条车道都标记成了复杂，而左边的照片显示的实际情况只有前面分叉的地方才是复杂的。在这一点上网络输出的路面信息是正确的。
下面的对比图中，路面实况漏标了一处复杂。
2、驾驶策略/规划
需要像人类那样驾驶
• 驾驶是一个「多主体」情境
• 有很多行为需要学习
• 如果我们希望 FAD 汽车与人类驾驶的汽车并存在马路上，那么 FAD 应该学习人类的驾驶技术
传感 vs. 规划
1、感知
• 感知当下的环境
• 单一「主体」情境
• 完美可预测
技术
• 深度监督学习
• 多模块，端到端训练训练每个模块
2、驾驶策略
• 计划未来
• 多主体情境
• 「如果....会发生什么」类型的推理
• 非完美可预测
技术
• 强化学习
强化学习
• 目标：学习一个策略，绘制从状态到行为的图
• 学习过程如图中所示。
强化学习 vs. 监督学习
• 在监督学习中，行为不会影响环境，因此我们能收集训练样本，而且之后只能搜索出一个策略
• 在监督学习中，行为的影响是局部的，而在前强化学习中，行为具有长期的影响
• 在监督学习中，我们被给予了正确的答案，而在强化学习中，我们只观察到一个奖励
Mobiley RNN 网络深度强化学习
S. Shwartz， Ben-Zrihem，Cohen & Shahua 「通过短期预测进行的长期规划」
这里展示了汽车进入环形交通枢纽的状况，其中蓝色的车是攻击性的司机、绿色是有礼貌的司机。
对比可以发现，迭代次数较少时，汽车会比较容易发生冲撞；迭代次数较多时，汽车会选择绿色汽车让道后驶入。
为什么感知和驾驶测试相关？
语义和时间的抽象。输入视频经过深度神经网络处理得到驾驶策略（Driving Policy），然后实现对各种部件的控制，最终实现对汽车的控制。
卷积（端到端）模型和时间抽象模型。
3、地图测绘
地图测绘（Mapping）：道路经验管理（REM）
我们人类不需要地图测绘就能驾驶汽车，但我们可能需要导航地图，借助 GPS 技术可以实现大约 10 m左右精度的导航。而无人驾驶汽车对地图测绘的要求就高得多，精度至少需要达到大约 10 cm。
「自动驾驶」有怎样的地图要求？
1、地图更新必须是近实时的连续处理
• 处理必须是「众包」的，即每一辆自动驾驶汽车的地图更新都会汇集起来给所有汽车使用
2、每辆汽车每千米所积累的数据量应当非常小，大约每千米 10 kb
• 传输图像和其它原始数据是不可能的
• 必须要在汽车的本地计算机中完成高级处理，将图像等数据中的关键信息提取出来
3、最好不要为这一任务引入任何专用的硬件
• 相机已经被用于 ADAS（高级驾驶辅助系统）系统了——而且采用率还在增长
• 稀疏的 3D：主要确定一些路标性的东西，比如交通灯、交通标志等的位置。数据量较大，稀疏处理比较好。
• 密集的 1D：车道线，这需要精确的处理，但因为只有 1D，所以数据量也不大。加上稀疏的 3D 数据只需要 10kb/km 的数据量就够了。
• 众包：将所有汽车处理后的数据上传到云综合起来，得到持续更新的地图。
稀疏 3D 处理的各种视觉路标的例子。
我们大约有 2 万种不同的道标。包括一些交通标志：圆形的、方形的、三角形的、菱形的、道路转向标志、车道线、交通信号灯
还有路灯杆、反射器、水平结构、隧道的出入口等建筑和结构。这些都可以使用计算机视觉进行检测。
道路上路标的分布情况。通常城市中路标较多，更容易处理，而高速路上则少一点。在美国，最糟糕的情况是每隔 200 米才有一个路标。在路标之间运动时，一个想法是使用自运动（egomotion）来保持位置，而且还要保证不发生偏移（drift）。
密集的 1D 用来记录车道的位置，使用自运动保持运动。
众包可以整合 REM 分段（10kb每千米）、增加路标的精度、检测发生的改变；从而得到 RoadBook。
• RoadBook 的作用：
• 纵向大约 10 cm，横向大约 3-5 cm 的精度
• 高清地图内容：哪里是可以行使的路径？
• 使用地图内容驱动控制
通过 REM 的驱动控制，可以简单假设成以下配置：
• 车 1 沿着特定道路旅行生成了一个模型；
• 车 2 使用车 1 生成的模型来保持其在同一道路上的横向运动。
如图：来自车 1 的模型投射到来自车 2 的视频上。
日产的演示总结：
• 15 千米的市区和高速公路，有一些区域塞满了汽车和 VRU
• 交叉路的 REM 定位
• 交叉路的 90° 转向
• 270° 爬坡
• 汇入高速路
• 离开高速路
• 变道
实际试验时的画面：图上的三个点分别是下一、二、三个瞬间汽车的目标位置。
在日本的实验：两条全自动驾驶路径的测试，其中每条路径有 8 千米城市道路、20 千米高速路。
1、从横滨（Yokohama）到 Oppama：
• 29 个交叉路口，10 次路口转向
• 7 次汇入高速路
• 1 个收费站
2、从 Oppama 到横滨（Yokohama）：
• 30 个交叉路口，11 次转向
• 6 次汇入高速路，1 次汇入前的隧道内变道
• 1 个急转弯
• 1 个收费站
一个复杂十字路口的地图测绘（来自大众）
现在我们已经有大众、通用、宝马已经加入，但预计到今年年底，汽车行业的大部分企业都将加入。
总结
2015-2017 年：高速路自动驾驶（今天的特斯拉这样的），算不上自动驾驶，需要人类监督，只能是不安全（当人放松警惕时）的横向控制（lateral control）。
2018-2020 年：高度自动驾驶（HAD），但只能在高速路上使用，你有足够的反应时间，非常安全。你可以睡觉，当汽车需要你时会唤醒你；就算你不醒来，汽车也会自动安全停靠。
2021 年：全面的自动驾驶（FAD，4 级或 5 级自动化）（扩展到市区、共享汽车），再也不需要司机了，但监管可能滞后。
2023 年后：全面的自动驾驶（任何地方都是自动驾驶，共享汽车所有权），甚至可以向汽车商订阅汽车，按需使用。
最前沿的电子设计资讯
