终端侧人工智能经过过去三到四年的发展，正在迎来一个关键的变化节点。高通公司AI产品技术中国区负责人万卫星在上海的一场分享中表示，终端侧AI的落地并非始于大模型，影像其实是最早在终端落地的领域之一。近年来手机拍照效果持续提升，背后就有终端侧AI技术的推动。如今，终端侧AI已经进一步拓展到简单问答、聊天、图像生成与处理，以及文本处理、语音转录、实时翻译等多模态应用，其中不少功能在端侧落地的条件已经比较成熟。
不过，万卫星也指出，目前很多端侧AI应用仍然偏向单点功能。例如自动语音识别、文本摘要、图片处理、简单聊天机器人等，大多解决的是一个具体任务。如果未来希望终端能够进一步完成意图理解、任务编排、实时操作目标App等系统级、规划类任务，就需要更强的端侧模型能力。这意味着，终端侧AI正在逐渐从解决一个个具体任务，向更加复杂的智能体体验演进。这一判断为行业提供了一个观察窗口：端侧AI的竞争焦点，可能从单一功能的数量比拼，转向系统级任务规划能力的较量。
在端侧与云端的关系上，高通并不强调端侧的唯一性，而是强调端云协同或者“计算连续体”，其中一个重要思路是“端侧优先”。传统依赖云端的AI服务，每一次推理都需要消耗云端Token、GPU以及云端调度资源，同时依赖网络连接。如果将合适的AI能力部署到端侧，则可以减少对网络的依赖，提供更加及时和稳定的响应，同时发挥终端在安全、隐私和个性化方面的优势。用一个直观的比喻来理解：云端更像一个“通用知识库”，端侧则拥有更多属于用户个人的“专业化知识”。端侧可以结合用户是谁、在哪里、过去做过什么，以及当前所处的环境，对用户接下来可能需要的服务作出判断，这也是“主动式AI服务”的基础。因此，端侧并不是孤立的体系，云端可以承接需要更强智能和计算能力的任务，端侧则发挥实时、稳定、隐私以及个性化等优势，二者相互协同。
在技术路线上，混合专家模型（MoE）成为终端侧AI的重要方向。以一个30亿参数的稠密模型为例，每完成一次推理，30亿参数都需要运行一遍才能得到最终输出。MoE的工作方式有所不同，它将模型中的参数划分为多个不同的“专家”模块，每个专家模块负责其中一部分，而且可能擅长不同的任务。当模型处理某个具体任务时，只需要调用与这个任务相关的部分专家模块。比如一个MoE模型包含20个专家模块，执行某个任务时可能只需要调用其中2至3个，而不是让全部20个同时运行。万卫星用“厨师”作比喻：稠密模型就像家里只有一个厨师，无论想吃什么菜都由他来做，他可能会很多菜系，但每一种都未必最擅长；MoE则像同时有多位擅长不同菜系的厨师，想吃淮扬菜时只需要让擅长淮扬菜的厨师出手。这种按需调用的方式，有助于在端侧有限的算力与功耗条件下兼顾模型能力与响应效率，也为终端侧AI向智能体体验演进提供了技术支撑。
