导语

随着ＣｈａｔＧＰＴ 的风靡，生成式ＡＩ 不断刷新热度，随之而来的是进一步的探索和落地尝试。其中一个趋势是，云端的机遇正传导至边缘和端侧，给这些市场埋下一颗大彩蛋。

混合ＡＩ 的机遇

高通高级副总裁Ａｌｅｘ Ｋａｔｏｕｚｉａｎ 最近表示，高通正在从通信公司转型为“智能边缘计算”公司。他指出，“随着连接设备和数据流量的加速增长，叠加数据中心成本攀升，（我们）不可能将所有内容都发送到云端。”

高通看到的机遇，其实也反映了ＡＩ 当下的两大趋势。

首先，不止云端，边缘ＡＩ 也将成为必然趋势。边缘计算具有低时延、降低带宽依赖、降低成本、数据可控、高可靠性等核心优势，可与云端计算互补协同，是解决推理加速“最后一公里”的关键所在。

其次，“连接＋计算”的能力越来越关键。

在云端市场中，英伟达正在实现从计算到连接能力的突破，随着模型参数的急剧膨胀、ＧＰＵ 要处理和传输的数据量飙升，英伟达通过升级ＮＶＬｉｎｋ 系统，赋予以太网ＡＩ 能力，使网络连接技术迈上了新台阶。

在边缘市场中，高通正在做类似的事情，不过与英伟达相反，它是从通信连接能力向算力进发。与英伟达在云端的计算能力相对应，高通在无线通信基带、手机计算芯片市场，都占据领先地位。随着“算力”成为ＡＩ 时代的宝贵资源，高通已经不满足于通信市场，而是希望集“连接＋计算能力”于一身，从边缘侧进攻ＡＩ 大市场。

那么，高通在边缘ＡＩ 市场主打什么战略？ 目前看来，主要是云边一体的混合ＡＩ 路径。从高通已有的模型落地案例来看，其边缘大模型相当于云端大模型的“感知器官”，从而实现ＡＩ 功能在终端设备的实现。

２０２３ 年２ 月，高通就利用ＡＩ 软件栈执行了全栈的ＡＩ 优化，首次在Ａｎｄｒｏｉｄ 智能手机上部署了ＳｔａｂｌｅＤｉｆｆｕｓｉｏｎ。在这个场景中，用户对着手机说话，自动语音识别ＡＩ 模型（如Ｗｈｉｓｐｅｒ）可以在手机设备上将语音转换为文本，然后发送到云端，再由云端运行大模型，回发文本答案。

根据高通最近发布的混合ＡＩ 白皮书，上述场景就是一个典型的混合ＡＩ 场景。并且，在未来的进阶版本中，设备端ＡＩ 可以承担更多处理任务，通过与调度程序协作，可以基于上下文提供更个性化的提示给云端。例如，用户要求通过手机预约最爱的餐厅和朋友吃饭，对简单查询、较小的模型可在设备上运行而无需云交互；如果用户需要复杂信息，则本地将需求转化为提示发给云端大模型并返回详细答案。

高通认为，混合ＡＩ 主要有以下优点。

（１）经济性：降低云端推理成本、高效利用边缘算力、降低ＡＩ 应用开发门槛。

（２）能耗低：边缘设备可以通过较低能耗运行大模型，若考虑处理和数据传输等因素，能耗节约更加显著。

（３）可靠性：边缘ＡＩ 不受网络状况影响，运行更加稳定。

（４）隐私性：数据完全在本地推理，大幅降低泄密风险。

（ ５）个性化：边缘设备可以通过用户真实生活中的行为、价值观、痛点、需求、关注问题等信息，形成个人画像，提供更为个性化服务。

预计到２０２３ 年，边缘ＡＩ 将覆盖１０ 亿参数以下的各类模型。