特斯拉的FSD技术演变.

1，计算硬件基础和周边感知架构
A：FSD v12 支持 Tesla HW3 之后的硬件
HW3 FSD它为 HW2.5 提供兼容性，由 Samsung 代工，是一款 14nm FinFETCMOS 处理器3 个4核Cortex-A72 集群,共 12 个arm 内核运行在 2.2GHZ,内存为 63.58GB/s的 LPDDR4-4266ECC128bit 宽度 RAM(用于驾驶舱娱乐系统的内存并不是 ECC)。1 GHz的 Mal G71 MP12 GPU.还有硬件 H.265 的编码器来倒车影像，哨兵模式和行车记录仪。FSD upto2300fps/s。作为对照 HW2.5 为 110fps/s。具有 CS| 的摄像头串行接口。ISP 提供 24bit 的通道可以处理8个HDR，每秒高达十亿像素，对于视频处理 chip 具有tone mapping和 denoise 的功能内置神经网络加速:
NNA 加速器 2 个/chip。以 36 TOPS 的速度运行，总共 72TOP.加上专利 AcceleratedMathematical Engine 加速数学引擎提供优化性能功耗:36X2 72w，NPU 15W 标记 safetysystem 安全系统的区域中实现了双核锁步方法。两个 FSD 芯片相互比较彼此的输出值并判断是否存在问题并得出最终的输出值以保证计算冗余安全
HW4 FSD
CPU 核心数量从每侧 12 个增加到 20 个，每个核心的最大频率为 2.35 GHz，空闲速度为1.37GHz。单个 NN 神经网络加速器也得到了改进，可提供每个高达 50 TOPS 的性能，而HW3 中为 36 TOPS
B：再谈 Tesla Dojo 的特点:
大规模网络:每个 D1 芯片可提供 16.000 GBps(4 个 4Tbps 通道)的网络带宽，它们组合成25 个芯片 MCM(多芯片模块)可提供 36.000 GBps(4x 9TBps)的网络带宽高效内存计算:每个D1 芯片由 354 个功能单元组成，每个功能单元只有 1.25 MB 的 SRAM,没有 DRAM,因此每个 D1 处理器的内存不到 1/2 GB。5 排机架的每一端都配置了大型 DRAM 池而计算机架本身没有 DRAM。从而达到高速的带宽组合，非常适合运行比许 ML训练工作负载更少的内存密集型视觉模型。
高功率密度:每个 D1 芯片仅耗 400 W，这 25 芯片 MCM 为训练块，每个耗散 15 kw，完整规划的 10 机架 Doio 训练系统来说，这意味着 1.8 兆瓦。从规模上看，中型数据中心的运行功率将在 30 至 40 兆瓦范围内。
特定自动规划任务交给 Dojo 进行训练
C:视觉和雷达方案?全新前后置摄像头，分辨率更高、视野更广。每个 B.C 柱上都有一个新摄像头，可以看到侧面和稍微向前的情况。具有更高分辨率和更宽视野的新型驾驶舱摄像头。每个挡泥板上都有一个新摄像头，可以看到车辆后面车辆两侧各有两个新摄像头，安装位置比以前更低、更靠前预计将有一种名为“Phoenix"的雷达，它比以前的雷达更准确

2，万物基于神经网络
一般来说视觉的自动驾驶分为三个阶段:
2D 的图像空间障碍物检测->多摄像头时间融合并投影到 3D 空间->BEV 空间获得道路边界和布局
A:2021 年 HydraNet 九头蛇网络8 个摄像头经过 ReqNet 类似 ResNet 图像提取处理->transformer 融合多机位->融合后的图像视频队列进行时间上的融合->输出 heads 给 2 个芯片并结合云推理和本地 FSD 推理HydraNet 网路的好处:
Feature Sharing 共亨特征，计算效率提升
Decouple Tasks 不影响其他预测，强鲁棒性
之后国内厂商非常关注的 BEV:
BEV 最先单纯的跨相机融合带来了很多误差例如边缘出血拉伸，透视关系问题。而所以为了解决 2D 转 3D 投影的问题，Tesla 提出了 BEVNet,负责实际的 3D 空间，占用情况motionfow(类似于 optic fiow)和遮挡情况从而预测例如道路的坡度,它专注于城市复杂任务检测无明确语义分诶和不规则状态障碍物的问题。为 BEVFormer 埋下种子。它负责道路边缘语义分割，道路结构语义分割，和之后的占用网络。但是 lidar 技术栈仍然不可或缺。规划能力被称为 Monte Carlo Tree Planner 接管，是一种树模型:从视觉上的测量开始->候选目标和轨迹->礼让行人或者行驶->行驶方向现在，HydraNet 执行这感知任务，蒙特卡洛和 NN 执行规划任务
B:2022 年的 Occupancy Network 占用网络从名字我们可以知道，它是基于occupancy grid mappng，将世界空间划分为网格单元来定义占用和空闲与否,后通过预测空间中的占据的概率来获得近似的三维空间表示。现在感知任务交到了 HydraNet 和 Occupancy Network，而规划任务也交给了 Occupancy Network!
C:2023 年的 End to End 端到端特斯拉全栈神经网络实现，直接输入传感器数据，输出转向、制动和加速信号，全程没有任何 rulebased。但同时有两个缺点，第一是可解释性，二是需要高质量数据支撑。端到端的训练做了什么?
缓存多尺度和级别的特征并可以finetune 特定的任务重复端到端迭代,并存在shadow mode将预测结果和实际收集结果比较并 auto lable(Nerf相关)是不是挺像大语言模型了?这意味着lidar 未来将可以移除，单纯靠视觉模型！

3.应用端到端的 Robotaxi
新专利申请已于前天 4月5日公布
"Machine Learning Models Operating at Different Freguencies for Autonomous Vehicles"[esla 将于8月8日发布 Robotaxi，即将推出的自动驾驶汽车将建立在特斯拉的下一代汽车平台上。有关国内外自动驾驶芯片公司等正在持续调研中，并将分为另一篇文章，我将持续关注。端到端自动驾驶公司推荐关注:OpenPilot，Comma.ai，Wayve.ai