端侧AI的“第三条路”
不是把模型塞进设备,而是重新分配计算
2026年端侧AI的进展是具体的。Kestrel-LLM在16GB内存的RK3588开发板上运行30B模型,峰值内存仅1.11GB,主打低门槛的边缘推理;英伟达扩展Nemotron系列,推出面向GeForce RTX、Jetson等设备的边缘部署模型,覆盖从数据中心到嵌入式界面的场景。模型轻量化、量化压缩和边缘硬件进步,让“在本地跑AI”从概念走向可工程化的选项。但端侧AI的真正价值不在于“把云端的活搬到端上”,而在于按任务属性做分配。把模型塞进设备只是第一步,知道什么该在端上跑、什么该在云上跑,才是关键。
科大讯飞发布的端云一体方案给出了一个清晰的框架:根据任务难度、端侧能力和数据安全需求,选择纯端侧执行、端云协同或纯云侧执行;需要云端参与时,敏感信息先在本地脱敏,经用户确认后发送,原始文件不上传;端云路由的准确率提升至96.1%。这意味着端侧承担的是隐私敏感、低延迟、离线可用的任务,云端承担的是复杂推理和大规模计算,二者按需切换,而不是互相替代。端云协同解决的是“两难”,不是“二选一”。过去企业面临的选择是:要么数据上传云端换取更强能力,要么留在本地牺牲部分能力。端云协同给出的答案是:按任务拆分,让隐私敏感的部分留在本地,让复杂计算交给云端,两边各做擅长的事。
端云协同对应用设计提出了新的要求:开发者需要判断哪些功能放在端侧、哪些依赖云侧、切换逻辑如何设计、离线时降级到什么程度。这些判断不是技术选型问题,而是产品设计问题。一个语音助手,唤醒和简单指令可以放在端侧,复杂问答交给云端;一个医疗影像应用,原始影像留在本地,脱敏后的特征上传分析。智来科技在涉及敏感数据的行业应用,比如医疗场景中,体会较深的一点是,数据“不出端”本身就是一个功能卖点,而不只是技术约束。当用户知道原始数据不会被上传,信任门槛会显著降低。这不是营销话术,而是真实的产品差异。
端侧AI的2026年,不是终端取代云的叙事,而是计算被重新分配的进程。把合适的事放在合适的位置,比追求“全部在端上跑”更务实,也更容易在真实产品中站住脚。端侧不是云端的对手,而是云端的分工伙伴。计算分配做得好,用户体验和隐私保护可以同时成立,而不是二选一。
