Llamanet：一行代码就可以将OpenAI驱动的程序转换为lamma.cpp！

01。

概述

Llamanet是一个开源的即插即用库/工具，它能够让您立即将任何由OpenAI驱动的应用程序转换为lamma.cpp应用程序，仅需一行代码即可实现。

它无需任何配置，也无需依赖任何第三方库，因此您无需了解任何额外信息，只需像使用OpenAI一样使用它。

Llamanet提供了一个同构API，可在以下平台间无缝工作：

• JavaScript
• Python
• CLI

• 希望将基于OpenAI API的大型语言模型（LLM）应用程序迅速迁移至使用本地LLM？
• 不希望要求用户下载第三方LLM应用程序或服务器才能使用您的应用程序？
• 希望您的应用程序能够独立管理所有LLM，不依赖第三方系统？

Llamanet为您服务。

Llamanet是一个嵌入式的lamma.cpp管理系统，它能够自动“无缝工作”。它允许您通过在应用程序中添加一行代码，立即替换OpenAI。因为引擎嵌入在您的应用程序中，您无需告诉用户安装第三方LLM应用程序或服务器来使用您的应用程序。

无需第三方LLM即可发布您的应用程序：Llamanet是一个自包含的库/命令行工具，它提供了从您的应用程序原生提供LLM所需的一切。无需下载第三方LLM应用程序/服务器。您的应用程序用户只需安装您的应用程序即可。它就是如此简单易用。

与OpenAI API兼容的服务器：Llamanet是一个代理服务器，可以运行并路由到多个与OpenAI API兼容的Llama.cpp服务器。这种兼容性意味着您可以将任何现有的OpenAI API驱动的应用程序转换为由Llama.cpp驱动的应用程序，仅需一行代码。

自动模型管理系统：内置的模型管理系统消除了单独手动下载检查点的需要。只需使用任何Huggingface上的GGUF URL发起一个与OpenAI兼容的API请求。您不是指定"model": "gpt-4-turbo"，而是指定一个Huggingface的URL（例如："model": "https://huggingface.co/models/some-model-gguf/resolve/main/some-model-fp16.gguf"），它将自动下载检查点并启动一个嵌入的lamma.cpp服务器，该服务器带有检查点，之后请求将被路由到服务器。

以下是Llamanet的实际操作示例：

参考：

1.https://github.com/pinokiocomputer/llamanet

---