自动驾驶感知系统概述

以下文章来源于雪岭飞花，作者雪岭飞花

雪岭飞花：研究自动驾驶行业最新趋势，做有深度、高质量的技术分享，推动自动驾驶技术的普及和发展。

本篇是“自动驾驶”系列文章的第二篇，主要介绍自动驾驶的感知系统。

感知系统概述

所谓“感知系统”，从狭义角度来讲，主要是指自动驾驶特有的感知单元，例如摄像头、毫米波雷达、激光雷达、超声波雷达、高精地图等。

从广义角度来讲，只要是参与到自动驾驶系统工作的感知单元都可以涵盖，例如湿度传感器、驾驶员监控、车速传感器、扭矩传感器等。这些感知数据会参与到自动驾驶状态机的跳转判断，或者规划控制的指令计算。

广义自动驾驶感知系统可以分为如下几类：

其中：

• 绿色底纹：自动驾驶核心传感器，决定自动驾驶的关键感知性能，为规划控制提供主要的感知输入。
• 黄色底纹：自动驾驶重要传感器，会应用在控制链路中，参与指令计算。
• 灰色底纹：自动驾驶辅助传感器，主要用于协助判断自动驾驶的工作模式。

限于篇幅，本文主要介绍自动驾驶中最重要的4种传感器：摄像头、激光雷达、毫米波雷达和超声波雷达。（其他传感单元在后续文章中再展开）

01 激光雷达

1. 基本原理

激光雷达的原理请参考：《激光雷达系列（一）：原理、分类和发展趋势》

如下是不同方案激光雷达的工作原理（视频来源：B站）：

• 机械式：
  
• MEMS方案：
  
• 线光源+一维转镜方案：
  
• Flash方案：
  

激光雷达在应用中，经常会出现高反“鬼影”、高反“膨胀”、点云粘连、吸点、雨雾、粉尘和雪干扰、内部串扰（Crosstalk）、光干扰、外部雷达干扰、电磁干扰、地面积水干扰等问题。

相关原因和应对方案请参考：《雪岭 · 激光雷达常见点云异常场景分析》

例如，路边指示牌的“鬼影”：

图片来源：速腾聚创

2. 应用场景和主要产品

激光雷达主要用于前向感知，在自动驾驶要求比较高的场景中，还经常会使用激光雷达检测后方以及侧面目标。

对于装配激光雷达的主要车型，请参考：《激光雷达系列（三）：配备激光雷达的汽车汇总（含安装方式）》

图片来源：https://zhuanlan.zhihu.com/p/688537867

2024年1月~4月，主要激光雷达厂商车用激光雷达装车量如下：

数据来源：微信公众号“NE时代智能车”，“特旧闻”，数据处理：雪岭飞花

国内主要的几家激光雷达公司（禾赛、速腾、图达通、华为等）的产品介绍，请参考：《激光雷达系列（二）：国内主要激光雷达公司产品简介》

部分激光雷达玩家产品Roadmap：
（注意：下面图片中数据来自于各公司官网、其他网络数据以及相关行业专家，和真实情况未必一致，仅供参考，最终请以官方正式发布数据为准）

• 禾赛：
  
• 华为：
  

华为96线激光雷达拆解分析：《55图分析：华为激光雷达详细拆解和系统方案》

该文章分析的是D2侧面雷达，而D2前向雷达的芯片方案和侧面雷达不同，D2前向雷达采用了海思Hi3559和两片FPGA：

图片来源：pointlessofmyriad-01

华为192线激光雷达拆解分析：《发布 · 华为最新192线激光雷达拆解分析报告》

华为D3相对于D2一个比较大的变更是，激光器由EEL变更为了VCSEL线光源：

• 速腾：
  

速腾MX方案分析：《凭啥做到1000元级？速腾最新产品MX分析》

• 图达通：
  
• 一径：
  
• 法雷奥：
  
• Innoviz：
  

3. 技术趋势

激光雷达的演进趋势如下：

1）波长

905nm/940nm技术近两年取得了长足进步，测距能力大幅提升，并且成本更低，因此是目前激光雷达的主流波长方案。

根据Yole的报告，905nm技术占据89%的市场份额：

图片来源：Yole《Automotive LIDAR Market: Competitive Dynamics, Technology Evolution, and Revenue Trends》（Automotive LiDAR conference 2023, October 3-5）

2）扫描方式

Lidar正在经历“机械式 → 半固态 → 全固态”的发展过程。当前乘用车主要以转镜类和MEMS类的半固态方案为主。全固态Lidar主要以Flash技术为主，目前主要用在补盲领域，不过量产车型并不多。

MEMS微振镜口径较大，但在极端振动条件下使用时，良率较低。在目前市场上最新的产品中，采用转镜方案的更多。

Yole对于不同扫描方案的占比预估：

图片来源：Yole《Automotive LIDAR Market: Competitive Dynamics, Technology Evolution, and Revenue Trends》（Automotive LiDAR conference 2023, October 3-5）

转镜路线的核心要素是电机控制，以及针对特定波长高反射率的镀膜反射镜。

转镜一般搭配振镜或者线光源实现激光扫描，其中，转镜用于水平扫描，振镜或者线光源用于垂直扫描。因此，“转镜+振镜”也被常被称为2维扫描，“转镜+线光源”被称为1维扫描或者1维扫描+电子扫描。

“转镜+线光源”的优势在于发射的是连续的线光斑，因此垂直方向的分辨率非常高。禾赛AT128的转镜+电子扫描：

图片来源：禾赛

图达通falcon激光雷达采用“转镜+振镜”方案，该方案灵活度较高，通过改变转镜和振镜的转速，能够设计灵活的ROI。

图片来源：中信证券

3）光路

光路分为旁轴光路和同轴光路两种类型。

• 旁轴光路：发射光路和接收光路是非同轴的，使用各自的透镜，即旁轴光路，该光路优点是成像清晰程度较高，缺点是近场盲区较大。华为D3的旁轴光路：
  
• 同轴光路：收发共用一组透镜，检测更为直接，易于对光路进行校准，近场盲区小。缺点是成本稍高，内部结构稍复杂，而且成像清晰程度比独立的旁轴成像要稍差。目前速腾、禾赛等产品基本都是采用同轴光路，例如禾赛的AT128的同轴光路：
  
  图片来源：绿芯频道

4）发射器

激光雷达发射器的发展路径如下图所示：

多层VCSEL激光器的发光功率密度得到了大幅提升，凭借在成本及性能方面的优势，VCSEL正逐步取代EEL。

图片来源：网络

EEL和VCSEL的指标对比：

根据排布方式的不同，VCSEL又可以分为单点VCSEL（点光源），线阵列VCSEL（线光源）以及面阵列VCSEL（面光源）。

线光源VCSEL可以大幅减少VCSEL器件数量，降低成本，减少走线，降低系统复杂度，提升良率。不过，VCSEL集成度越高，散热挑战也越大。

如下是单点VCSEL和线阵列VCSEL的对比：

由于半固态激光雷达有机械扫描机构，因此VCSEL线光源就可以满足发光需求，是目前半固态雷达的主流光源方案。

而Flash纯固态激光雷达没有机械扫描机构，需要更多的光源数量以覆盖足够的FOV，因此大多采用VCSEL面阵列。

5）接收器

激光雷达接收器的发展路径如下图所示：

在905nm路线下，SPAD/SiPM替代APD已成大势。

SPAD芯片可以集成TDC、TIA、AMP、ADC等大量后端电路，能够降低对SoC和FPGA的算力需求。

SPAD的研发门槛很高，目前市面上真正能够做到车规级的SPAD传感器，只有安森美的Padion SPAD和索尼的IMX459等少量产品。而在中国自主品牌阜时科技、灵明光子、芯辉科技、宇称电子等也在布局研发车规SPAD。

其中，索尼IMX459是目前激光雷达应用最广泛的SPAD SoC，该芯片在2021年发布，其分辨率为597×168，SPAD间距10μm，PDE达到24%。

图片来源：Sony

索尼SPAD采用背照式像素结构、堆叠结构和Cu-Cu连接等技术。

图片来源：Sony

下图是SPAD放大之后的横截面和俯视图。传感部分位于顶部，逻辑电路位于底部，中间通过Cu-Cu键合。微透镜几乎完全覆盖像素，从而尽量多的进行回光的收集。

图片来源：ADAS之眼，Sony

索尼的下一代SPAD是IMX479，探测效率（PDE）高达50%，据说已经在华为和禾赛内测，并且有了Demo样机。

如下图是华为D2和D3使用的SPAD芯片对比：

未来，SPAD芯片有可能集成度越来越高：

来源：禾赛科技招股书

6）TCSPC探测技术

TCSPC探测方法（时间相关单光子计数法，Time Correlated Single Photon Counting，TCSPC）是目前比较常用的检测方法。

SPAD极为敏感，环境光噪声也可以被SPAD检测到，如果采用单次发射进行检测，会导致检测精度不高，信噪比也非常低。因此，一般采用多次发射和概率统计的方法，来精确的获取目标信息。TCSPC方法可以将噪声识别为统计意义上的离散点，从而比较容易的滤除。

TCSPC的工作原理：

1. VCSEL线阵列编码m次脉冲，以不同的时间间距发射激光。其中，根据测量需求和处理不同，脉冲数量m一般取几十次到上千次不等；
2. 每一次发射之后，在SPAD上对应区域的n个像素点同时测量，得到m个光子事件直方图（见下图）。光子事件直方图的开始时间（零时刻），即是发光单元的发光时刻，而光子事件直方图的持续时间就等于一次探测周期的长度。
3. 采用最大峰值法、互相关法或者最小能量法，根据光子事件直方图得到某个点的深度信息。

TCSPC通过记录在固定时间内光子事件的频次及到达时间，还原出光子事件数随事件变化的直方图，进而拟合出目标的深度信息。TCSPC方法具有很高的时间精度、时间分辨率和光子利用率，是目前主流的测距方案。

7）FMCW激光雷达

各主要激光雷达公司都在预研FMCW激光雷达，这种雷达有望成为车载激光雷达的终极方案。详见：《1.5万字初探：车载激光雷达的终极形态——FMCW激光雷达的原理、优势、方案和玩家》

02 毫米波雷达

1. 基本原理

雷达在军用、民用、航空航天领域用途广泛，不同产品的波段分布如下图所示。其中，车载毫米波雷达常用的是24GHz（K波段，基本淘汰）、60GHz（V波段，主要用于舱内、门防撞等超近距场景）和77GHz（W波段，目前最常用频段）：

图片来源：网络

民用常见毫米波雷达的波段分布：

图片来源：工信部、AIoT星图研究院

毫米波雷达原理详见：《毫米波雷达系列（一）：毫米波雷达简介》

目前市场上主要是FMCW调制的毫米波雷达，其系统架构如下：

FMCW原理：

图片来源：SiLC

毫米波雷达的一般结构：

图片来源：BOSCH

毫米波雷达的关键指标和影响因素：

资料来源：CSDN

毫米波雷达的常见性能局限场景分析：《毫米波雷达系列（二）：毫米波雷达的性能局限》，以及《雪岭 · 毫米波雷达典型“误报漏报”场景分析》

图片参考：Jeroen等，Uncorrelated Interference in 79 GHz FMCW and PMCW Automotive Radar，后处理：雪岭飞花

2. 应用场景

车载毫米波雷达目前主要用在前向雷达，角雷达，舱内雷达和门雷达。

图片来源：GGAI、头豹、AIOT星图研究院

1）市场情况

如下是2020~2023年中国市场乘用车毫米波雷达搭载量：

图片来源：中国毫米波雷达产业分析报告（2023）

从以上数据可以看到：

1. 汽车智能化发展趋势明显，毫米波雷达搭载增速水平远高于国内汽车市场整体增速水平；
2. 角雷达搭载量快速增长，车载毫米波雷达需求正从1R向3R-5R多雷达搭载方案延伸；

我国车载雷达市场的主要玩家：

图片来源：中国毫米波雷达产业分析报告（2023）

前向雷达一般会涉及车辆控制，功能安全等级要求较高，研发难度高。

2023年1-6月，博世、大陆、电装三大供应商占据超过84%的市场份额，森思泰克、楚航科技、华锐捷、华为等国内供应商占比2.74%。

图片来源：中国毫米波雷达产业分析报告（2023）

角雷达研发难度较低，市场集中度低于前向雷达。国内供应商占比相对较高，市场份额逐步扩大：

图片来源：中国毫米波雷达产业分析报告（2023）

2）前雷达和角雷达

如下是大陆ARS540的FOV示意图：

图片来源：大陆

如下是BOSCH五代角雷达（CR5CP）的FOV示意图：

图片来源：BOSCH

前雷达和角雷达公开信息较多，这里不再赘述。

3）车内成员检测雷达

车内成员检测雷达一般安装在汽车天窗附近，隐藏在顶棚内部。

图片来源：森思泰克

车内成员检测雷达可以感知整个座舱区域、探测目标并对其进行分类和生物特征的监测，监测车内人数以及座位的占用情况。可以防止儿童以及宠物被遗留在车内而发生意外，一旦有儿童被遗留在车内，系统会输出报警信息给驾驶员。

图片来源：森思泰克

4）呼吸心跳检测雷达

呼吸心跳检测雷达实时检测驾驶员的呼吸和心率等体征信息，为驾驶员疲劳驾驶、突发疾病等问题提供智能化的解决方案。

图片来源：森思泰克

5）手势检测雷达

手势检测雷达可以识别手势，可以实现非接触式的操控功能。

图片来源：胖胖橙，《基于毫米波雷达的手势识别原理》https://zhuanlan.zhihu.com/p/363654621

6）开门避障雷达

开门避障雷达一般安装在车门下边缘位置，当汽车驻车开门时，雷达检测门周围障碍物，如果发现有碰撞风险，会控制车门自动停止，从而实现下车警示、开门防撞等功能，避免车开门事故的发生。

图片来源：森思泰克

例如，森思泰克STA79-6 开门避障雷达：

图片来源：森思泰克

7）电动尾门雷达

电动尾门雷达一般隐藏安装在车尾正后方底部。当车辆处于驻停模式且钥匙在特定范围内时，开启工作。电磁波可以穿透保险杠探测脚部运动，识别到特定动作后，发出指示控制尾门开关，从而达到释放双手，打开尾门的目的。

图片来源：小鹏

森思泰克STA79-7电动尾门雷达：

图片来源：森思泰克

3. 技术趋势

毫米波雷达产业发展历程图：

资料来源：AIoT星图研究院

毫米波雷达的发展趋势：

资料来源：加特兰、Yole，AIoT星图研究院

1）4D成像技术

4D成像毫米波雷达是目前车载毫米波雷达的重要方向，基本所有的毫米波雷达玩家都在研发4D成像技术。

关于4D成像雷达，详见：《4D成像毫米波雷达应用现状和发展趋势》，以及《万字介绍：4D成像毫米波雷达方案和34家主要雷达公司产品》

4D成像毫米波雷达具有较高数量的点云密度、较高的角度分辨率和高度测量能力，和一般毫米波雷达的对比如下：

部分前向4D成像毫米波雷达的性能指标：

2）FMCW编码调频技术

通过对Chrip参数的编码，提高雷达的抗干扰能力。例如，frequency hopping模式、chirp shifting模式等。

图片来源：加特兰，https://www.zhihu.com/question/468198654/answer/2703203307

3）PMCW编码调相技术

PMCW雷达采用匹配滤波器进行距离维的计算，匹配滤波器的主瓣宽度很窄，因此具有更高的对比度分辨率（HCR），更容易区分相距较近的强弱目标，同时具有更好的抗干扰能力。

end