高通万卫星出席MEET2026智能以前大会，分享混杂AI发展趋势与时刻效果
12月10日，量子位MEET2026智能以前大会在北京启幕。本届大会以“共生无界 智启以前”为主题，打造了一个跨范畴、高密度的相易平台。近三十位来自科技、产业及学术范畴的领军东谈主物皆聚一堂，围绕东谈主工智能+、AI Infra、智能末端、智能驾驶、低空经济、动力电力等前沿科技话题发表前瞻不雅点，张开深度对话。
高通公司AI居品时刻中国区厚爱东谈主万卫星出席大会，并发表了以“混杂AI：从云霄到边际智能”为主题的演讲。万卫星指出，现时AI正从生成式AI向智能体AI演进;生态系统从单体模子转向复合模子，将成为迈向智能体AI的基础。他还在演讲中稀罕提到，以前的AI体验将朝着混杂AI标的膨大。为达成这一愿景，高通还是通过量化压缩、并行解码、NPU及异构规画架构等时刻革命，推进端侧AI向更主动、更高效的业绩花式发展，构建端云协同体系，为用户提供更个性化的智能业绩。
以下为演讲全文：
全球上昼好!我是高通时刻公司万卫星。今天我想跟全球分享一下高通在末端侧AI以及混杂AI上的效果和想考。
最初，咱们来看一下AI应用在通盘这个词行业中的演进。第一个阶段不错称之为“感知AI”，包括全球比较熟练的、传统的当然言语贬责、语音降噪、图片识别和分割等AI时刻，咱们都称为感知AI。这些时刻其确切许多年前就还是在许多末端侧确立上竣事买卖化落地。
第二个阶段，是跟着ChatGPT的兴起而来的。这一阶段主要基于浩繁数据进行预老师，并在东谈主类监督下完成某类具体任务，包括文生图、聊天机器东谈主，或是运用大模子进行翻译等，这些都属于“生成式AI”的范畴。
第三个阶段，咱们称之为“智能体AI”。与生成式AI比拟，智能体AI不错在险些莫得东谈主类监督或无干与的情况下，进行自主行径、揣度、意图延续与任务编排。咱们随机看到，尽管当今行业温文点仍然皆集在生成式AI上，但通盘这个词产业其实正呈现出从生成式AI向智能体AI演进的阶梯。
第四个阶段，咱们叫作念“物理AI”。在这个阶段，AI不错延续信得过的物理寰球，并笔据信得过的物理定律与划定作念出相应的反馈和反映。当今，物理AI尚处于盘考和探索的初期。
咱们看到在末端侧生成式AI的生态趋势中，跟着模子尺寸的不断增大，当今手机不错救济快要100亿参数的大模子部署，PC不错救济约200亿参数的大模子末端侧部署。在车载场景中，模子救济的规模则更大，可部署的参数目级已达到200亿至600亿之间。
在模子尺寸不断扩大的同期，模子质料也不断升迁。本年年头咱们还是随机将救济想维链(CoT)和推理才气的模子皆备部署在端侧。在才气上所救济的转折文长度也在显赫增长——从两年前端侧仅能贬责1K到2K的转折文，到前年已升迁至4K，而本年则已随机救济8K到16K的典型用例在端侧进行部署。事实上，在本年9月的骁龙峰会上，咱们展示了在某些格外场景下，还是不错竣事128K的文本在端侧的大模子部署。
从模态的角度来看，末端侧AI也呈现出从单一的笔墨模态，向救济文本、图片、视频、音频、语音等多模态，以致全模态演进的趋势。
咱们再来看一下在端侧运转AI的上风，以及所靠近的挑战。咱们以为在末端侧运转大模子或AI，在末端侧运转大模子，最大的克己之一是个性化，数据的产生也都在末端侧，在距离数据产生最近的场地作念推理，是自关系词然的事情，同期也稀罕故意于保护用户的隐秘和安全。和云霄比拟，端侧还具备两个上风，一是皆备免费，二是无需任何收罗荟萃。
那么挑战有哪些呢？在这里我想珍摄分享两点。最初是内存限制，末端侧有限的内存大小限制了可运转模子参数目的大小，从而独揽了末端侧模子的才气上限;其次是带脱期制，末端侧有限的带宽决定了AI的推理速率，因此会影响用户体验。虽然，在手机这类集成度稀罕高的末端去运转大言语模子，对能效限制也提议了极致条款，因为若是功耗过高，就容易触发确立的温控机制。
面对这些挑战，高通公司都有哪些时刻储备和预研呢？第一是量化和压缩。从8 bit、4 bit到本年竣事的2 bit，通过更极致的量化压缩，咱们使端侧随机救济的模子尺寸越来越大，其所占用的内存越来越小;第二是在端侧带宽独揽下，咱们汲取并行解码时刻以提庞大预言模子的token速率;第三是通过先进的NPU，包括eNPU的架构和跳跃的异构规画系统，咱们让端侧AI从以往的被迫式业绩向主动式、个性化的AI业绩迈进。
接下来，我想就并行解码时刻再进行张开素养。现时大言语模子大部分是基于自追思架构，它需要把通盘的输入和权重一谈加载到内存中，才能生成一个token。从遵守的角度来讲，这短长常不经济的行径。尤其是跟着模子规模握续增大，token的生成速率会稀罕慢，进而导致时延增多、影响用户体验。高通通过并行解码时刻，先在端侧运转一个较小的草稿模子，一次性推理出多个token，然后将这些token交予原始的、较大的模子进行校验。因为草稿模子是基于原始大模子老师而来，在原始大模子上进行token考据时，随机保证较高的接受率，从而竣事并行解码，达到提高端侧解码速率的指标。
咱们正处在从生成式AI向智能体AI演进的旅途上。从用例的角度来讲，生成式AI主要能救济流毒的“单体”用例，比照及时翻译、文生图或者骨子创作、摘要、续写等。智能体AI是更复合、更复杂、更主动式的AI业绩。竣事智能体AI需要许多基础模块，最初需要一个具有推理才气的大模子，它不错在端侧或者云上运转以延续用户意图;在延续用户的意图和任务之后，不错通过查询个东谈主常识图谱等个东谈主土产货数据，生成个性化的任务编排;终末通过调用土产货或云上的API现实相应的任务。
底下不错看一个具体的智能体AI用例：用户不错运用智能体发布微博。最初通过当然言语和智能体进行交互，当它延续了用户“用户需要发布微博”的意图后，会翻开微博APP，搜索需要发布的相片，同期它还不错笔据用户过往的个东谈主偏好给相片加滤镜，最终完成通盘这个词发布过程。不仅如斯，用户还不错通过当然言语交互监测讨教，并进行相应操作，比如我稀罕心爱某个驳倒时，不错去点赞或讨教。这个用例在本年9月的骁龙峰会上进行展示时，通盘这个词历程是一谈运转在端侧的。
虽然，高通公司除了手机芯片除外，也隐敝了丰富品类的居品，包括智能眼镜、PC、汽车、智高腕表、IoT等，咱们随机救济通盘骁龙确立之间的智能互联。全球不错设想一下，智能眼镜、智高腕表等算力较小确切立，不错通过Wi-Fi或者蓝牙与手机、汽车荟萃，去分享它们之间的土产货数据，将大模子推理从较小确立中退换笔直机、PC以致汽车等算力较大确切立上，竣事散布式的个性化大模子推理。
终末，咱们笃信AI体验在以前会向混杂AI的标的发展，也便是说，在末端侧运转垂类的、比较高效的模子，提供更好的、更安全的个性化AI业绩;在云霄，运转更大尺寸的模子，提供才气更强、更通用、更极致的AI业绩。高通公司也将凭借低时延、高速且安全的荟萃时刻，确保混杂AI场景下的端云协同和端云荟萃。