大语言模型

将AI大模型装进你的手机，你愿意么？

2024 年 6 月 2 日

AI大模型的发展，有两个方向，一个是模型越做越大，以规模来提升性能。还有一个重要的方向，就是通过将模型做小，来嵌入手机、电脑等计算终端，这同样是值得关注的发展方向。

终端化的浪潮，意味着大模型将直接嵌入到个人设备中，这无疑将为用户带来更加个性化和智能化的体验。手机和PC制造商纷纷布局，试图通过集成大模型来提升产品的竞争力。

都有哪些PC厂商在积极引入大模型？

先来看PC厂商。

1. 联想

联想推出了首款AI PC产品，该设备运用了联想自研的大模型压缩技术，允许设备在本地运行个人大模型，无需云端操作，以此确保个人隐私和数据安全。此外，联想还推出了两款AI服务器——问天WA7780 G3 AI大模型训练服务器和问天WA5480 G3 AI训推一体服务器。

2. 惠普

惠普与星环科技合作，推出了面向大模型领域的一体机服务平台AI一体机。该一体机结合了星环大模型开发和应用平台Sophon LLMOps的产品能力，旨在为企业提供大模型的开发和应用支持。

3. 戴尔

戴尔与Meta合作，尝试在其本地基础设施上部署Llama 2大语言模型（LLM），以减少对云设施的依赖。戴尔的生成式AI验证设计计划，结合了戴尔服务器套件与英伟达GPU、存储及软件，主要针对涉及自然语言生成的应用场景。戴尔还提供部署和配置指导，帮助客户快速启动和运行AI模型。

4. 微软

微软虽然不是终端PC厂商，但其确实PC操作系统的霸主，是PC端大模型的关键玩家。微软正在积极推动大模型技术在PC端的集成和应用，以提升用户体验和设备智能化水平。通过发布Windows Copilot，微软将AI助手功能嵌入到Windows操作系统中，允许用户直接与AI大模型交互，执行各种任务。

5月21日，微软发布了Copilot+ PC方案，将旗下AI助手Copilot全面融入Windows 11系统。微软的两款Copilot+ PC系列产品，Surface Laptop 7和Surface Pro 11。Copilot+ PC还推出了Recall（回忆）功能，利用AI访问用户在PC上见过的任何内容，将其作为记忆的一部分。

将AI大模型装进你的手机，你愿意么？

有哪些手机厂商在积极引入大模型？

再来看看手机厂商。

1. 华为

华为在大模型技术的应用上表现积极，已经将盘古大模型集成到其手机系统中，特别是HarmonyOS 4系统全面接入盘古大模型，成为全球首个嵌入了AI大模型能力的移动终端操作系统。华为Mate60系列手机，搭载了基于多模态大模型技术实现的“智慧搜图”功能。此外，华为的语音助手小艺也融合了盘古自然语言大模型、盘古视觉大模型和盘古多模态大模型，最高版本参数高达1000亿，进一步强化了华为手机的AI能力。

2. 小米

小米在大模型技术上采取了渐进策略，已经自研了13亿参数端侧模型，并在手机端跑通了Demo，部分场景效果可以媲美云端60亿模型的运算效果。小米在AI大模型团队组建和研发投入上表现积极，小米的澎湃OS操作系统也在AI大模型方面进行了深度植入，小爱输入助手具备了AI大模型的文本创作能力和AI扩图能力，这些功能在小米14系列手机上有所体现。

3. OPPO

OPPO在大模型技术上的进展显著，发布了全新的AI战略，不仅在手机上推出AI超级智能体，还上线了AI Pro智能体开发平台。OPPO在其研究院下成立了AI中心，聚集AI研发人员，并投入大量资源到AI技术。OPPO还建立了全新数据中心，具备800P的算力，支持手机端运行千亿级参数的大模型。此外，OPPO发布了自主训练的安第斯大模型（AndesGPT），以“端云协同”为基础架构设计，旨在提升手机的智能体验。

4. vivo

vivo在大模型技术上同样积极布局，官宣将发布自研AI大模型矩阵，包括十亿、百亿、千亿三个不同参数量级的5款自研大模型，全面覆盖核心应用场景，并将首次应用于新操作系统OriginOS 4中。vivo的大模型技术旨在提升手机的图像识别、语音交互和智能辅助功能，增强用户体验。

5. 荣耀

荣耀在大模型技术上也有所作为，发布了全新一代旗舰智能手机荣耀Magic6系列，该系列手机将首发搭载荣耀自研的70亿参数端侧平台级AI大模型“魔法大模型”。

6. 三星

三星在大模型技术上的应用也值得关注，其S24系列手机已经上线了"即圈即搜"、“笔记助手”等AI应用。三星在自研大模型Gauss可用之前，选择了与中国厂商合作，借助百度智能云千帆平台、美图等的力量，以增强其AI能力。

7. 苹果

苹果公司在引入大模型技术方面展现出了积极的态度和显著的进展，据外媒报道，苹果正与谷歌商讨可能的合作协议，计划将谷歌的Gemini人工智能引擎集成到iPhone中。此外，苹果也在自研大模型技术，Ajax模型能在设备端快速生成响应，尽管更复杂的任务可能需要云端支持。苹果的多模态大模型Ferret展示了其在图像和语言理解方面的进步，该模型在多模态任务上表现优异，苹果还发布了OpenELM系列模型。随着iOS18系统的即将发布，苹果预计将引入大模型技术，这将是AI技术发展的新里程碑。

是什么驱动着大模型的终端化趋势？

那么，是什么原因在驱动大模型的终端化进程呢？数据猿看来，主要是技术和用户需求者两个要素在驱动。

在消费者需求方面，随着互联网技术的普及和数字化生活的发展，用户对智能化终端设备的需求日益增长。人们期望通过智能手机、平板电脑和个人电脑等设备，获得更加智能、个性化的服务体验。

例如，用户希望智能手机能够更准确地理解语音指令，希望个人电脑能够提供更加强大的图像和视频处理能力。同时，随着远程工作和在线教育的兴起，用户对终端设备的多任务处理能力和智能协作功能也有了更高的期待。大模型的终端化，正是对这一需求的积极响应。

技术进步是推动大模型终端化的关键力量，随着芯片制程技术的不断突破，如5纳米甚至更小制程的芯片开始量产，设备的计算能力得到了大幅提升。同时，AI算法的优化和模型压缩技术的发展，使得原本只能在云端运行的大模型得以瘦身，以适应终端设备的计算和存储资源。

要将大模型“装”手机、电脑，核心环节有哪些？

随着人工智能技术的飞速发展，大模型终端化已成为推动智能设备创新的关键力量。在这一进程中，技术与创新起到了至关重要的作用。要将大模型嵌入手机等终端，关键是要解决下面的问题：

1、模型压缩与优化

模型压缩与优化是大模型终端化进程中的核心环节，它们使得资源受限的终端设备，能够高效运行原本设计用于强大服务器的复杂模型。

例如：权重剪枝是模型压缩中最直接的方法，它通过移除模型中不重要的权重来减少模型的参数数量。这种方法可以显著减少模型的存储和计算需求，同时保持其核心功能；结构化剪枝通过移除整个神经网络层或通道来降低模型的复杂度，与权重剪枝相比，结构化剪枝对模型结构的改变更大，但可以带来更显著的压缩效果；自动化模型压缩算法，如神经网络架构搜索（NAS），可以自动发现既满足性能要求又具有较小尺寸的模型架构。这种自动化方法减少了人工干预，提高了模型开发和优化的效率。

此外，知识蒸馏是另一种有效的模型压缩技术，它涉及训练一个小型的“学生”模型来模仿一个大型的“教师”模型的行为。这种方法可以在减少模型大小的同时，保持较高的性能。硬件感知的模型设计考虑特定硬件架构的特性，设计出在该硬件上运行得更加高效的模型。随着专用AI硬件的普及，硬件感知的设计变得越来越重要。

2、终端算力的持续提升与边缘计算的发展

近年来，随着半导体技术的进步，尤其是芯片制造工艺的提升，电脑和手机等终端设备的处理器性能得到了显著增强。例如，移动设备中的系统芯片（SoC）已经从几个核心发展到多核处理器，并且集成了GPU、NPU或AI加速器。

将AI大模型装进你的手机，你愿意么？配图 2

这些专用硬件单元为执行深度学习模型提供了强大的支持，使得复杂的AI算法可以在本地设备上流畅运行。个人电脑和服务器的CPU和GPU性能也在不断提升，它们现在拥有更多的核心和线程，以及更高的时钟频率和改进的缓存架构，从而为运行大型机器学习模型提供了充足的算力。

此外，边缘计算作为一种分布式计算范式，它将数据处理和存储更靠近数据源的位置，这样可以减少数据传输的延迟，提高响应速度，特别适合对实时性要求高的应用场景。

在大模型终端化中，边缘计算允许终端设备在本地处理数据，而不是将所有数据发送到云端处理，这不仅提升了效率，也有助于保护用户隐私。

终端算力的提升和边缘计算的发展相结合，为大模型的部署和运行提供了更加坚实的基础。随着5G等高速通信技术的应用，边缘设备之间的互联互通也变得更加容易，这为构建分布式智能系统提供了可能，使得大模型可以在多个边缘节点上协同工作，实现更高级的智能功能。

3、隐私与安全

在终端设备上运行大模型，虽然带来了智能化的体验，但也引发了隐私和安全方面的担忧。终端设备通常包含大量个人敏感信息，如何在运行大模型的同时保护这些信息的安全，成为了一个重要问题。

为了解决这一问题，技术开发者采用了多种措施来加强隐私保护。例如，差分隐私技术通过添加噪声来模糊个人数据，保护用户隐私的同时允许进行数据统计分析。同态加密技术则允许在加密数据上直接进行计算，这样即使数据在云端处理，也可以保证其内容不被暴露。

大模型终端化才刚刚开始，还有一系列问题要解决

在大模型终端化的道路上，技术、经济、用户接受度以及社会伦理等方面的问题交织在一起，构成了一个复杂的挑战网络。

技术层面，模型的大小、计算资源的限制以及对实时性能的高要求是摆在开发者面前的三大难题。大模型的参数量庞大，存储和计算需求高，这对终端设备的硬件提出了挑战。

虽然模型压缩技术的发展为解决这一问题提供了可能，但如何在不损失关键性能的前提下实现有效压缩，仍是一个技术难题。此外，即使是压缩后的模型，其运行仍然需要较高的计算资源，这可能导致终端设备发热、电池消耗快，甚至在性能较差的设备上无法运行。

同时，许多应用场景对实时性能有着严格的要求，大模型在终端设备上的运行速度可能无法满足这些需求。

经济成本也是大模型终端化过程中不可忽视的因素，研发成本高昂，需要大量的人才、设备和时间投入。部署成本也不菲，特别是当需要额外的硬件支持，如高性能芯片时，这会增加设备的成本。此外，大模型的维护和更新也需要成本，尤其是在模型需要频繁更新以适应新的数据和场景时。这些成本最终可能会转嫁到消费者身上，影响产品的市场竞争力。

用户接受度是另一个关键因素，用户可能对在终端设备上运行大模型的性能和隐私保护有所顾虑。虽然本地运行可以保护隐私，但用户可能担心设备的性能是否能够满足需求。

面对这些挑战和问题，需要政府、企业和研究机构共同努力。技术上，需要继续研发更高效的模型压缩和运行技术；经济上，需要探索更合理的成本分摊机制；政策上，需要制定合理的监管政策和标准，引导大模型终端化技术的健康发展。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

将AI大模型装进你的手机，你愿意么？

立即咨询 JOTO

想把这些做法用到你的业务里?

Start your enterprise AI rollout

Tell us what you need