专题：2024中国汽车软件大会

　　11月7日-8日，2024中国汽车软件大会在上海嘉定召开。联想汽车智能驾驶期间想象高等总监文治宇发饰演讲。

　　以下内容为现场发言实录：

　　感谢韩总，尊敬的诸位相似、诸位行家、诸位嘉宾：

　　大家下昼好！很红运能受邀参加今天的论坛，也相等感谢协会春联想汽车的认同，能在今天上昼的会议上荣获优秀翻新案例的奖项。今天也借此契机向大家陈述一下联想汽车在智能驾驶期间翻新与应用方面的最新施展。

　　像刚才李部长讲到的，联想汽车也一向相等温和和紧跟前沿通用东谈主工智能领域的发展。

　　在往日的一年中，咱们快速完成了三代期间栈的逾越式的发展。从客岁11月启动，NPN，即先验神经蚁集的决策，让咱们具备了全场景NOA的技艺，连通了高速以及城市谈路，况兼快速在客岁年底之前完成了宇宙百城城市NOA的掩盖。

　　在这之后，咱们又同样壮健到，以NPN或者依赖先验信息的样式仍然弗成够快速复旧咱们完成宇宙范围内所有这个词城市的掩盖，于是在本年5月又启动了基于下一代期间栈，也便是无图NOA的早鸟用户推送，将NOA的可用范围推论到了宇宙。

　　再到本年7月份足下，伴跟着端到端的飞扬，咱们又开启了下一代基于端到端+VLM的NOA的推送，亦然全球在智能驾驶标的首创的双系统架构。这让智能驾驶的AI技艺获取了再次的升迁，也在10月底前率先启动了面向全量Max用户的推送。

　　要是再来看三个中枢的统计数据，也可以看到往日一年的增长照旧止境于往日几年累计值的接近一半的增长。发轫是用户的智驾总里程，往日一年中增长了16亿公里，刻下来到了26亿公里。而用户规模也照旧跨过了百万大关达到了102万，在上个月的时候刚刚完成了百万下线以及托福的庆典。对于研发来说，另一个很要紧的目的，云表的算力，面前照旧来到了5.39E Flops，在一年中增长了2.9E。

　　刚才提到了端到端+VLM双系统，面前最新一代的期间栈。今天也借这个契机向大家共享一下这代期间栈的情况和咱们的念念考。

　　双系统的表面，着手于诺贝尔奖获取者丹尼尔·卡尼曼的“念念考快与慢”，将东谈主类念念考的进程轮廓为了这两个系统。浮浅来讲，系长入，也便是快系统，它的脾性是更多依赖直观及本能，能够应酬日常活命中卓著95%的场景。举一个例子，其实大部分东谈主在大部分开车的时刻也不需要用劲去想应该怎样开车，也能把车开好。

　　然而东谈主也一定偶尔会遭受一些情况，需要慢下来，或者是停驻来想一想后续应该怎样开。其实这亦然运用到了所谓的系统二，或者是慢系统的念念考的模式。它的脾性是需要一些有壮健的分析，慢一些，然而念念维的头绪更高。

　　受这套表面的启发，咱们也尝试在自动驾驶的方朝上去设置这么一套架构，来把它落地下来。

　　发轫来看系长入，便是快系统，咱们使用了一个端到端模子，它的脾性是能够完成对环境的快速反应。而在系统二方面，咱们使用一个更大规模体量的模子，当今使用的是VLM视觉谈话模子，往来独揽一个系统二的职能。有了这套模子体量更大的系统，在锤真金不怕火以及考据方面，仍然会濒临到一些贫乏。咱们的处置决策是在云表去构建一个基于世界模子的强化学习以及考据系统，来完成对于整套系统的高效迭代。

　　接下来咱们掀开这三个模子来浮浅看一下里面的结构。

　　发轫是系长入，端到端。联想汽车的端到端模子经受了one model，也便是一体化的架构。发轫咱们的输入依然经受像录像头、激光雷达以及导航这么的信息，通过骨干蚁集、特征蚁集，以及编解码器，最终输出可以推论的想象轨迹。

　　为了能够让咱们去作念相应的监督锤真金不怕火，以及同样为了能够给咱们的用户在车机上显现出刻下的环境信息，咱们将此前常见的感知任务，比如拦阻物、谈路结构的感知，同样尝试去作念了实例化，来表征出来。

　　这么的样式给咱们带来了三个上风，第一是可以让所有这个词这个词端到端的信息传递愈加高效，利用模子的中间特征的样式来作念编码和传递，中间不会有澄莹信息的损耗，因为中间莫得规章的断点。

　　第二，所有这个词这个词端到端之后，全链路的推理蔓延也会比之前有了很猛进程上的优化。

　　第三，因为所有这个词这个词链条都是模子，可以作念到齐全的可导可训，也能够进一步加速基于数据闭环的迭代恶果。

　　再来看系统二，也便是慢系统。系统二的模子体量会更大一些，为了尽可能让它拟东谈主，咱们经受了拟东谈主的前视两路相机以及导航信息动作输入。

　　经过编码器，以及经过多模态信息的对皆，运输给视觉谈话模子往来作念相干的自纪念推理。最终形成对于驾驶决策的高头绪念念考的决策，来闭环反馈给系长入，完成双系统的调解。

　　而面前限制，受限于广阔的端侧算力瓶颈，以及刻下这代主流芯片针对transformer架构的优化问题，将大模子部署在端侧仍然是行业里广阔还莫得处置得很好的问题。

　　联想汽车在这个方朝上也作念出了一些探索，并和英伟达的共事调解在现存框架下完成了多项打破。咱们面前能把2.2B，便是22亿参数目的模子顺利部署到了车端。

　　最初完成部署的时候，它的单次推理时延卓著了4秒钟，这在推行应用进程中一定是不可被接受的。经过这些翻新性的期间应用以后，咱们面前能够将单次的推理时延镌汰到0.3秒，大略3.3赫兹，可以作念到准及时，并顺利将大模子确凿应用到了面前日常的智能驾驶的及时反应之中，这亦然业界初度将大模子部署到车端智驾量产芯片。

　　通过端到端和VLM，使得智能驾驶系统治有了类东谈主的快速反应的技艺，也领有了类东谈主的推理念念考的技艺。那怎样锤真金不怕火和考据它？亦然需要处置的中枢问题。

　　面前，咱们的处置决策是提倡了一个基于世界模子的锤真金不怕火以及考据系统，在假造的环境中进行学习和锤真金不怕火。这里用到中枢期间有两个，第一个是基于3D高斯溅射的场景重建的方法，对已知的问题场景，或者说已有的数据集，以3D高斯溅射的方法去对场景进行重建与收罗，咱们将它称之为所谓的“错题集”。

　　除此除外，智能驾驶也仍然需要去作念大批的泛化考据，往来处置长尾问题的场景。咱们的念念路是使用扩散模子，基于已有场景去作念举一反三，以生成式的方法，对已有的数据作念增强和泛化，比如可以尝试调动天气、调动光辉、调动路况等等。

　　将这两个标的合一，就可以形成一套对于模子的评价体系，或者说一套考题集。

　　有了这套考题以后，再使用一些工程化的方法，提高自动化运积恶果，就形成了这代可以支握高效迭代的考据样式，也和以往以实车为主的考据样式比较有了显贵的考据恶果升迁。

　　以上讲到这些期间翻新点，着手于团队对研发的握续参预，相干的学术责任也取得了平凡认同。这里摘要了一些团队从2021年于今在学术顶会上的责任发表，也在一些学术竞赛上取得了可以的收货。像刚才提到的双系统、世界模子等，也发表在了本年的ECCV和CoRL上。

　　接下来想跟大家共享的是一个相等道理且要紧的发现，模子性能和锤真金不怕火数据体现的规模相干性，亦然大家常提到Scaling Laws其中的一个方面。

　　发轫看一下数据踱步，在这里统计了在往日的2个月里，咱们对于智能驾驶相等可爱的万东谈主用户前卫团的使用情况，他们踱步在宇宙卓著300多个城市，在往日2个月时刻里完成了接近200万公里的城市NOA的使用里程，也帮咱们集中了相等珍惜的数据。可以看到上海的亦然宇宙范围内最爱使用城市NOA的Top5城市之一。

　　有了这些数据以后，再去作念下一步分析，咱们在这两个月的时刻里，一共锤真金不怕火了25版模子，大略平均每2-3天就会有一个新版的模子出来。经过刚才提到的基于世界模子的评价系统，以及咱们对于模子准出的其他条款，这25版模子中，最终开释给用户的是18个。

　　再来看纵轴，纵轴暗示的数值是在城市工况内的平均赓续行驶里程，也便是赓续开若干公里需要袭取一次。这里数据点的心情表征了使用不同的数据量锤真金不怕火出的模子的版块，蓝色是100万clips锤真金不怕火的模子，绿色是200万，金黄色代表的是300万。咱们也在近期刚刚向用户开释了下一版基于400万clips锤真金不怕火的模子，相干的数据统计也还在进行中。

　　可以看到从第一个模子启动，赓续行驶里程刚刚卓著10公里，到9月底的时候，达到了快要30公里。在对这些数据点进行拟合之后，就看到了Scaling Law。要是再往后作念一些预测的话，咱们的下一个主义是让城市工况的平均行驶里程达到100公里，对应推算出将需要梗概1000万clip的数据，同期也考据了刻下数据的规模与质料照旧成为了模子性能的决定性的要素。

　　要是城市NOA的赓续行驶里程可以达到100公里，那一个平时用户可能每周只需要袭取1-2次。天然按摄影干计策法例，这面前仍然是一个L2级别的赞助驾驶系统，然而它的体验照旧可以让咱们看到L3的雏形。

　　说结束期间，再来看一下居品方面。咱们同样快速完成了基于以上期间决策的居品化的落地，发轫看一个演示视频，这里模仿了一些咱们的AI agent“联想同学”的技艺。

　　（视频）

　　刚才这位用户提到的一键智驾，也便是当今启动向用户推送的“车位到车位”的全场景智能驾驶的功能，可以完成从车位的开拔，跨层地库的行驶，包括小区、园区闸机的自动通行，到公开谈路以后，可以完成一些相对复杂的城市集景的交通博弈。假如咱们的用户在我方的小区，或者在公司或者在喜欢去的商超，也会有一个常用的车位，就可以完成车位到车位赓续的齐全行驶体验。

　　下一部分是对于主动安全。除了刚才提到的餍足驾驶类的功能除外，咱们也一向相等温和主动安全方面的技艺。除了不停提高旧例的自动紧迫制动，也便是AEB，的技艺除外，在最近的OTA中，咱们也向用户推送两个相对比较新的主动安全功能。

　　第一个是AES，自动紧迫转向，最高支握130KPH的车速。这个视频也来自一位咱们果然凿车主，在AES上线不到2周之内就碰到的一个相等极限的案例，其时以130KPH的速率行驶在高速公路上，在弯谈遭受一个功课并不太活动的施工车，即使对于东谈主类驾驶员来说，其时的场景也相等危机，咱们通过AES匡助用户有惊无险地幸免了这起事故。

　　第二个是低速AEB，便是LS-AEB，主要的主义是掩盖一些常见的低速停车类的场景。比如在地库里，以相对较低的速率，和周围的行东谈主、柱子、雕栏等可能发生的碰撞。这些事故的脾性是发生碰撞之后，可能形成的赔本不大，然而很艰难，极度是针对一些生手驾驶员。

　　咱们通过AES和低速AEB这么的居品，完成了全时段、全速域的主动安全的保证。

　　能够去支握咱们完成这么的期间以及居品的翻新，离不开两大中枢基础法子，一个是锤真金不怕火里程，一个是锤真金不怕火算力。面前咱们的锤真金不怕火里程基数照旧达到26亿公里，并有信心在本年打破30亿公里。在算力标的，刻下为5.39E Flops，瞻望在本年之内可以达到8E Flops，去复旧后续握续的研发。

　　临了的一页中，也向大家共享一下联想汽车以及智能驾驶的中永恒想象。联想汽车的企业愿景是在2030年景为全球发轫的东谈主工智能企业，而智能驾驶又是其中最要紧的部分之一。在智能驾驶方面，畴昔咱们接头以卓著50E Flops锤真金不怕火算力，卓著100亿公里的锤真金不怕火里程，以及卓著350万台的车队规模，往来握续鼓舞下一步智能驾驶以及自动驾驶的前瞻性研发迭代。咱们的第一个主义是达到跟东谈主类止境的驾驶智能，将城市工况平均的赓续行驶里程，不才一个milestone提高到2500公里。

　　在安全方面，面前通过里面的数据统计，东谈主类平均的MPA，即安全里程，每若干公里出现一次事故，大略在24万公里足下。咱们盼望智能驾驶能够达到优于东谈主类10倍的驾驶安全，咱们下一个主义让智能驾驶的MPA达到至少240万公里，这会远超绝大多数用户一世的驾驶里程。

　　联想汽车但愿能通过智能驾驶领域的期间翻新以及居品落地，握续推送智能驾驶的社会使用普及，也共同期待以及加速畴昔自动驾驶期间的到来。谢谢！

　　（注：本文左证现场速记整理，未经演讲嘉宾审阅）

包袱裁剪：梁斌 SF055体育游戏app平台