SiMa.ai发布Palette 3.0:边缘AI操作系统支持多模型并发与3.5倍文本生成加速
SiMa.ai推出Palette 3.0边缘AI操作系统,提升Modalix芯片上多AI工作负载协同效率,文本生成速度最高提升3.5倍,并新增可离线使用的模型浏览器。该平台面向机器人、无人机及工业摄像头等物理AI设备开发者。

对于将人工智能集成到机器人、无人机或工业摄像头中的企业而言,模型的智能性仅是问题的一部分。设备还必须处理传感器输入、生成有用响应,并在不耗尽内存或电源的情况下保持其他应用程序正常运行。
SiMa.ai 正以解决该部署难题为目标,推出 Palette 3.0——其片上软件操作系统,可扩展在其Modalix边缘AI处理器上运行的AI工作负载范围。Palette 3.0改进了应用程序共享芯片资源的方式,并引入了该公司声称可将文本生成速度最高提升3.5倍的技术。
该平台面向将AI集成至物理产品(包括机器人、无人机及工业系统)的开发者。其应用开发层的一部分—— Palette Neat核心库采用Apache 2.0许可证。编译器与固件的许可证条款尚未确认。
开发者可通过SiMa.ai的 开发者中心 和 GitHub组织开始使用。该公司 DevKit 3.0商店页面 将一套开发系统在美国和欧洲的售价定为1499美元。该套件包括一个Modalix模块、载板、外壳、电源及500GB存储空间。此次公告未单独提供Palette 3.0软件价格或量产规模硬件报价。
据SiMa.ai社区公告, Palette SDK自10月31日起已可供使用。该公司表示,其升级版 Model Browser 将于11月17日上线,届时将详细说明此次更新的功能与性能表现。
在VentureBeat的采访中,SiMa.ai通用人工智能(GenAI)产品经理Manuel López Roldán确认,这些变更可在现有硅片上运行。
“这完全是软件层面的改动,”他表示。该公司机器学习加速器(MLA)软件事业部联席副总裁Ashok Sudarsanam表示,其团队负责构建将模型转换为加速器指令的编译器,以及调度这些指令运行的软件。
Sudarsanam向VentureBeat表示:“从第一天起,我们就同步开发硬件与软件。”他指出,SiMa.ai通过更新软件来支持新发布的模型,并加快客户已有芯片上应用程序的运行速度。
在同一芯片上运行多个AI工作负载
Palette 3.0的核心变更涉及设备需执行多项AI任务时所发生的情况。
SiMa.ai的媒体演示显示,一枚Modalix芯片可同时运行一个语言模型与三个视觉-语言模型。另一项独立演示则运行六个Docker容器,在目标检测到3D姿态估计等不同任务间共享该芯片资源。
该公司改变了应用程序向芯片提交任务的方式。现在,进程直接向操作系统内核中的驱动程序发送请求,绕过中间服务层。每个硬件引擎一次仅处理一个请求,而不同引擎则可并行执行各自的任务。开发者可为单个请求分配优先级。
López Roldán向VentureBeat举例说明:某摄像头视频流需持续进行目标检测,同时语言模型偶尔为场景添加上下文信息。他表示,开发者可为检测器的请求赋予更高优先级,并让语言模型在加速器空闲时使用其资源。这些演示展示了芯片如何共享资源。但简报材料未明确说明在持续高负载下,高优先级请求可能等待多长时间。
SiMa.ai还在一枚Modalix芯片上实现了YOLOv26目标检测,可同时处理60路720p视频流,总帧率达600帧/秒,即平均每路流10帧/秒。在另一项摄像头调优工作流中,López Roldán表示,开发者可将新摄像头对准色卡,并利用AI代理调整图像处理参数。SiMa.ai称,开发者无需重新编译应用程序代码即可完成此类调整,从而让团队能够自行调优新型传感器。
3.5倍性能提升声明所衡量的内容
SiMa.ai将其最大的文本生成速度提升归因于 推测解码(speculative decoding)技术。该技术预先草拟多个词元(token),再由目标模型一次性校验,从而减少生成答案所需的串行步骤数量。
该公司简报演示文稿报告称,相较于同一目标模型上的传统生成方式,其解码吞吐量提升幅度介于2.21倍至3.49倍之间。所涉技术包括EAGLE3、DFlash及Gemma 4的多词元预测。其中一项突出成果采用DFlash N16配合Qwen3.5 9B模型,达到该提升范围的上限。
公司是在Modalix芯片上对比相同模型的传统解码方式测得上述增益。在另一项包含900次请求的车载助手测试中,SiMa.ai报告响应时间提速幅度较小,为1.35倍至2.06倍。该公司表示,全部900次请求均成功生成预期的结构化函数调用。
SiMa.ai还估算,在每次计算请求中,该芯片能耗降低25.9%至51.4%,而平均功耗基本保持不变。在这些测试中,芯片通过更快完成任务实现节能。该估算仅涵盖芯片自身的计算能耗。而一台机器人的总能耗还取决于传感器、电机等其他组件。
在16GB Modalix模块上支持OpenAI的GPT-OSS-20B模型是另一项重点能力。能在设备上成功部署该模型是一项有价值的里程碑,但客户仍需在自身预期配置下测量其响应时间、上下文长度限制及准确率。
展示SiMa.ai数据来源的模型浏览器
López Roldán向VentureBeat展示了升级版Model Browser如何揭示基准测试背后的权衡取舍。除吞吐量与延迟外,它还显示芯片功耗、CPU与内存占用率,以及各模型层的具体执行情况。对于具有多种配置的模型,开发者可观察更低数值精度对速度与准确率的影响。这有助于团队在基于自有数据微调模型后,选择尝试哪一种配置。
López Roldán表示,浏览器的下载按钮提供一个已预置为可在Modalix本地运行的制品(artifact)。若开发者希望重建该制品,可使用公共代码仓库中的脚本;这些脚本从GitHub、Hugging Face或Roboflow等来源获取原始模型。他指出,当准备将微调后的模型投入部署时,“你可以完全复现相同的工作流。”他还表示,SiMa.ai在选定初始模型集时,优先考虑了客户提出的需求。
“该开发板甚至无需互联网连接,”López Roldán表示。他说,客户可在具备网络连接的场所下载更新包,之后再为现场设备安装。这对需要在间歇性或无网络连接环境下持续运行的设备安装场景尤为重要。
Palette与Nvidia及Hailo的对比
SiMa.ai并非与单一可互换产品竞争,而是与一系列边缘计算方案展开竞争。Nvidia提供集成式Jetson开发系统及其JetPack软件环境。Hailo则提供可为主机计算机增添本地AI处理能力的加速器。
所列价格涵盖开发硬件。部署预算还需考虑生产硬件和集成成本。
平台 | 访问权限及已公布的硬件价格 | 软件与部署模型 | 相关区别 |
|---|---|---|---|
SiMa.ai Palette 3.0 / Modalix | DevKit 3.0:1499美元;量产报价通过SiMa.ai提供 | 采用Apache-2.0许可Neat核心及额外平台组件的厂商硬件 | 侧重于在有限功耗预算下多个模型共享资源 |
Nvidia Jetson Orin Nano Super | Jetson硬件及Nvidia的软件栈 | 进入Jetson生态系统的较低价位入门选项;配置不同于Modalix | |
Nvidia Jetson AGX Thor | 搭载JetPack的Jetson硬件;属于商用平台,而非完全开源系统 | 面向要求严苛的机器人及物理AI(physical-AI)应用 | |
Raspberry Pi AI HAT+ 2(搭载Hailo-10H) | 附加模块:200美元(不含Raspberry Pi主机) | 搭载Hailo软件及模型工具链的加速器附加模块 | 配备8GB专用内存,用于本地语言模型及视觉-语言模型工作负载 |
Nvidia的 Jetson Thor技术概览 描述了如何将开发套件连接至现有机器人,并使用JetPack 7开发和测试应用程序。该表格采用Nvidia常见问题解答(FAQ)中的定价信息。
基于Hailo的方案提供了显著更低的硬件起始成本,但必须额外添加Raspberry Pi主板、存储及其他组件。Raspberry Pi的 文档 指出其支持参数量约为60亿的语言模型及视觉-语言模型。这与SiMa.ai所引用的200亿参数混合专家(mixture-of-experts)示例不同,尽管仅凭参数数量本身并不能确立模型的准确率或推理速度。
企业决策关乎完整应用
Palette 3.0最适用于那些感知与推理模型已能独立运行、但在共同运行时争夺计算与内存资源的团队。
对机器人而言,这可能最终取决于目标检测能否在其截止时间(deadline)内完成响应,同时语言模型是否能生成答案。
SiMa.ai的解码数据为生成速度提供了具体数值。混合工作负载演示则将该截止时间问题留给开发者在其自身应用中自行测试。
现有客户还需考虑迁移工作。SiMa.ai的发布说明指出,从平台版本2.1.3升级至3.0.0需执行迁移操作,且开发者必须针对匹配的组件重新构建原生应用程序。
JOTO 企业落地观察
- 对企业部署而言,Palette 3.0的资源优先级调度与免联网模型浏览器显著降低现场设备在弱网/断网环境下的运维门槛,使工业摄像头、AGV等嵌入式系统可在无持续云连接前提下完成模型调优与更新,缓解边缘AI落地中常见的带宽与合规约束。
- 对智能体工程而言,其支持单芯片同时运行语言模型+多个视觉-语言模型(如目标检测+3D姿态估计),且允许开发者为不同任务分配执行优先级,为构建具备感知-推理-决策闭环能力的轻量级物理智能体(如巡检机器人)提供了确定性资源保障框架。
- 对FDE落地而言,Palette Neat核心库采用Apache 2.0许可,配合GitHub公开脚本与可复现制品,降低了企业自建边缘AI栈的技术锁定风险;但编译器与固件许可证未明示,可能影响长期自主可控演进路径,需在采购前明确开源边界。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
想把这些做法用到你的业务里?
留下你的场景和痛点,我们帮你判断从哪一步开始。
联系我们


