TabbyAPI

一个基于 FastAPI 的应用程序，允许使用 Exllamav2 后端使用 LLM 生成文本，并支持 Exl2、GPTQ 和 FP16 模型。

• GitHub

快速入门

1. 遵循 安装说明 在官方 TabbyAPI GitHub 上。

2. 创建您的 config.yml 设置模型路径、默认模型、序列长度等。如果需要，您可以忽略大多数（如果不是全部）这些设置。

3. 启动 TabbyAPI。如果它有效，您应该看到类似这样的内容：

   

4. 在 SillyTavern 中的文本补全 API 下，选择 TabbyAPI。

5. 将您的 API 密钥从 TabbyAPI 终端复制到 Tabby API key 并确保你的 API URL 是正确的（应该是 http://127.0.0.1:5000 默认情况下）。

如果一切正确，您应该在 SillyTavern 中看到类似以下内容：

您现在可以使用 TabbyAPI 聊天！

TabbyAPI 加载器

TabbyAPI 的开发人员创建了一个官方扩展，可以直接从 SillyTavern 加载/卸载模型。安装很简单：

1. 在 SillyTavern 中，单击“扩展”选项卡并导航到“下载扩展和资产”。

2. 复制 https://raw.githubusercontent.com/theroyallab/ST-repo/main/index.json 进入 Assets URL 并单击右侧的插件按钮。

3. 你应该看到这样的东西。单击 Tabby Loader 旁边的下载按钮。

   

4. 如果安装成功，您应该在屏幕顶部看到一条绿色的弹出消息。在扩展选项卡下，导航到 TabbyAPI Loader 并将管理密钥从 TabbyAPI 终端复制到管理密钥中。

5. 单击模型选择旁边的刷新按钮。当您单击其下方的文本框时，您应该会看到模型目录中的所有模型。

您现在可以直接从 SillyTavern 加载和卸载模型！

支持

还需要帮助吗？参观 TabbyAPI GitHub 获取开发者官方 Discord 服务器的链接以及 阅读维基百科.