专题：2024中国汽车软件大会欧洲杯体育

　　11月7日-8日，2024中国汽车软件大会在上海嘉定召开。重庆梧桐车联科技有限公司期间委员会轮值主席王超发饰演讲。

　　以下本体为现场发言实录：

　　谢谢民众！我是梧桐科技的王超，今天很快意莽撞在这里和民众相通一下，对于座舱联系的话题。今天我共享的主题是梧桐科技在AI座舱方面的念念考，以及咱们的实践。

　　民众都知说念，最近这几年最热点的期间细则是AI大模子，我看今天许多演讲嘉宾共享的主题也都与AI商量。然则基于神经汇集的期间，其实并不是这几年才出现的。在上个世纪80年代，其实就有了这种期间。这些年亦然经过一系列的演变，2017年谷歌推出Transformer架构，2018年又推出BERT模子，很猛进程上促进了大模子期间的发展，然则莫得达到这样火爆的进程。直到2022年，Open AI推出ChatGPT之后，基本上引爆了这轮期间行情。跟着这种期间的爆发，越来越多的AI居品也驱动出咫尺咱们的周围，像AI手机，基本上咫尺头部的手机品牌都发布了我方AI手机和AI操作系统。

　　海外的居品，像AI Pin，以及国内最近刚出的AI耳机等新的居品也都驱动出现。有一个数据商量，到本年年底，统统这个词AI手机出货量将达到1.7个亿，在全球手机量的占比莽撞达到15%，这个增长速率还口舌常快的。大模子期间咫尺亦然越来越多被各个车企驱动使用，许多车企也在推出我方专属的大模子。

　　在这个布景下，梧桐科技亦然对我方的AI座舱进行了全新界说，主若是分红三部分重塑。第一部分是座舱专属算力，它就像咱们形体通常，你要有一个结识康健的形体；第二部分是座舱专属架构，它为咱们提供了很刚劲手段，提供全面的手段支握；有了形体和手段之后，接下来要对AI座舱专属应用进行很好的打造，为用户提供更厚情谊上的照拂，提供积极的神志价值。

　　今天，我要点会先容面向AI座舱的五大架构，区分是生成式AI架构、AI大模子端云架构、AI 3D引擎架构、AI舱驾协同架构、AI软总线架构。

　　一、生成式AI架构。

　　这个架构秉性零层级交互材干以及跨域贯通的材干。这里承袭了多模感知，大模子决议和当然讲话处理等等期间。这个架构分红三层，数据感知层、模子会通层、应用层，这三层各司其职，彼此精细合作，撑握用户在统统这个词出行流程中对智能的体验。数据感知层端庄把许多感知到的数据，比如行车数据、用户数据、环境数据，以及DMS、TOF数据、语音数据，把这些感知数据给到模子会通层。模子会通层通过大模子+小模子这种双向模子处理材干，精确商量用户接下来的活动和预期闭幕。再把闭幕给到应用层，应用层就会笔据拿到的闭幕进行最优化展现，不错说是提供了一个“千东说念主千面”的呈现成果。说到“千东说念主千面”，梧桐科技最早在2019年、2020年的模式就一经推出“千东说念主千面”期间。

　　那时的期间其实是基于把底层的组件化材干，以及咱们基于多窗口不错编排的材干盛开出来给用户，用户不错笔据我方的喜好删除、添加，不错改变统统这个词界面的元素，也不错拖拽排布，通过这样达成个东说念主专属HMI展现，它亦然一种“千东说念主千面”。基于当通常间达成方式，它照旧有许多的局限性，比如需要用户提前主动参与，通过主动参与才能获取你想要的闭幕。基于咫尺生成式AI架构，咱们重新界说了“千东说念主千面”，它不错确凿真谛上作念到“千东说念主千面”，因为它鸠合了你的活动数据，还有你那时所处的位置，然后环境、温度等等一系列，以及你面前正在跟这个车机进行什么样的交互。通过模子商量和生成对应的HMI，日复一日每个东说念主都是不通常的，是以达到了确凿真谛上的“千东说念主千面”。生成式架构在居品上的应用，一经驱手脚念研发，很快就会在座舱智能助手3.0系统融入进去，会提供更多复杂多元化，以及复杂场景贯通的材干。

　　在研发生成式AI架构的流程中，咱们碰到了许多期间挑战。像咱们都熟知的大模子幻觉问题如何惩处，以及信息反映实时性的问题。因为咱们使用手机的时候，你用AI助手和行车场景下皆备不通常，尤其是在驾驶位的时候，需要信息反映特别实时。

　　基于以上这几个期间痛点，咱们承袭了一种基于复杂度分发的期间。对于“幻觉”这个问题，咱们承袭由小模子给大模子打一些草稿，大模子为小模子提供灵感，这两个模子进行双向反映。通过两个模子有用合作来摒除幻觉，莽撞消弱50%以上模子幻觉。在信息反映实时性问题处理上，咱们承袭复杂意图分发模式，把80%简短意图交给小模子处理，20%复杂意图由大模子来进行处理，两个模子去作念有用的合作，以此来惩处这个问题。

　　二、AI大模子端云架构。

　　这是一个围绕“东说念主-车-路-云”全交通体系，以及东说念主、车、环境等多维度数据，通过端云共同构建全时域和全空域，情商、才略和双商都在线的期间架构。由云侧大模子来保证智能的上限，因为云侧的运算材干特别强。然后用端侧大模子来保证智能的下限，惩处在典型场景下，像无网、弱网，以及用户秘密等一系列问题。

　　这里还引入了AI Agent的材干，通过Agent的材干，保证咱们从识别感知-分析-决议-实行，统统这个词全交互链路都有智能体的参与，而不是说特别割裂的。前边有智能体，后头莫得智能体，这种割裂感口舌常不好的。在这个架构内部也波及到典型的挑战，像异构芯片如何保证高性能推理，因为咱们是端云架构，云霄对数据存储量、带宽等等的材干及要乞降端侧都是不同的，车端自己受许多戒指，诡计材干包括架构都不通常的情况下，奈何样用相宜的算法去得志这个异构的场景，其实这个亦然有很大的挑战。咱们承袭了许多期间，最初大模子要走轻量化，因为咱们名目上也无为说，你们咫尺动不动就搞一个十几B这样大的模子，我的这个车机奈何跑得起来，有许多这种执行的问题。

　　另外是芯算一体，咱们在存储和诡计都作念了许多期间上的攻坚，尤其在端侧进行异构诡计会通，去充分阐扬每一种诡计单位不通常的秉性，期骗软件为它作念深度的加快。通过这一系列期间来惩处以上的辛苦。

　　三、AI 3D引擎架构。

　　它是咱们基于国产3D引擎自研的虚实会通，数字孪生的架构。这亦然分红三层，内部用到基于神经汇集辐照场期间、3D超分、高斯堆叠等等一系列期间。这内部临两个挑战，第一双于场景回复度；第二个对于渲染的画质保证。

　　先讲一下场景回复度的问题，海量数据奈何进行有用准确的回复，这里波及到许多期间上的难处。咱们构建了我方AI三维重建期间，主若是NeRF。咱们把许多荒芜视点的3D坐标分红组，输入给神经汇集，由它去作念诡计和揣度，商量出来每个点的体积是多大、辐照强度、位置等等一系列诡计闭幕，把它交给3D引擎再去进行渲染。通过这种期间，咱们莽撞在资本缩短30%的情况下，统统这个词回复遵守还能提高60%。

　　不错看一下右边这个视频，可能在这上头播放不是很了了。这是在上海，咱们把上海地标性建筑，以偏激他独揽环境作念了一个回复的成果，包括太空、水系，以及车模等等，民众不错看到回复的成果还口舌常棒的。

　　刚才说已矣回复，底下说一下渲染。渲染濒临的问题，照旧车机资源不够。车机芯片，比如像8155，这些是不莽撞像咱们玩游戏，以及《黑据说》这种，你是80、90显卡去玩的，因为它的架构都不通常。比如东说念主家用的是图灵架构，由于车规的戒指你车机芯片也作念不到，许多诡计因子，包括API支握的数目都是不通常的，车机端都比PC端要少许多的。

　　咱们奈何惩处这个问题？说简短点等于减少输入端的输入，通过缩短这个来缩短诡计花消。奈何惩处输入少之后画质还能保证很好？咱们引入了一系列期间，像3D超分、光泽重建期间，包括商量3D帧、材质作风窜改等等一系列期间，通过这一系列期间组合起来，达到很高的渲染画质。

　　右面这三张图，第一张不错看到是通例渲染，通例渲染就很花消资源，你要建巨额的模子，许多面需要渲染，既需要花消东说念主工，又需要花消诡计资源，成果亦然相比朦拢的一种成果。第二张图开启了光追成果，不错看到回复的成果就相比传神，然则对资源的花消口舌常精深的。第三张图咱们关掉了光追，用咱们梧桐科技自研的AI 3D渲染引擎来进行画质的渲染，成果也口舌常棒的。

　　上头我简短先容了一下梧桐科技的几大自研架构。面向翌日，咱们在AI座舱方面的期间趋势是什么，在这里我也果敢作念一个商量。

　　第一，全面芯算一体。刚才我讲基于端和云异构，基于这种异构去作念许多芯算一体期间使命。其实还有许多像刚才一汽憨厚也讲了，你基于驾驶和基于座舱不同异构等等，其实亦然要去作念芯算一体的。

　　第二，全面数实会通。咱们确凿世界与物理世界翌日会有更高的会通的需求，尤其是座舱。咫尺居品司理一经驱动提这些，你要去作念未下世界，你要去作念元天下，你要把许多确凿世界中的东西搬到虚构世界，刚才也说到车机的性能照旧相比低的。从确凿世界来讲，我举个例子。比如说建筑物的回复，咫尺作念建筑物什么的，民众都是弄个楼模子，这个模子到底奈何样，其实也不确凿。翌日基于这种确凿世界的投影，会把许多确凿的东西搬进来。比如这个楼到底长什么模式，上头有几许层，外不雅是若何的，玻璃是什么材质，它会作念什么样反光等等。这一系列确凿世界投影需要巨额期间去作念使命，包括模子构建的量级会几何级的增长，是以说期间还有许多辛苦需要攻克。

　　第三，全面群体智能。基于咫尺单体智能，翌日越来越不行得志咱们出行条目。翌日“东说念主-车-路-云”的群体智能是势必的趋势，包括路边会有更多的开导去接济统统这个词群体去作念智能决议，包括前段时辰克强院士也在讲“车-路-云”的联系进击显露。通过这种群体智能才能更好的为咱们的生涯和咱们的出行提供更好的功绩。

　　今天我的共享就到这里收尾，谢谢民众！

　　（注：本文笔据现场速记整理，未经演讲嘉宾审阅）

海量资讯、精确解读，尽在新浪财经APP

职守裁剪：梁斌 SF055欧洲杯体育