API 连接

SillyTavern可以连接到广泛的LLM API。 以下是它们各自的优点、缺点和用例的描述。

ELI5：聊天完成与文本完成

当您第一次导航到 ST 中的“API 连接”页面时，您会注意到一个下拉选项，可在使用术语（例如“聊天补全”和“文本补全”）的选项之间进行选择。理解这意味着什么是有帮助的。

事实并非如此：人们很容易将“文本补全”视为本地模型，将“聊天补全”视为基于云的法学硕士，但事实并非如此。也不是例如“NovelAI”或“Kobold”实际上是一种单独的模型类型，尽管它们是 ST 中 API 下拉列表中的单独选项。您可以使用适当的后端将模型强制转换为不同的 API 结构，但这不是本节的重点。

当您使用 ST 发送消息时，您的聊天、角色描述和其他提示词（例如传说或作者笔记）将被构造成单个“提示词”以发送到模型。您正在使用的模型的 API“类型”决定了这个提示词的构建方式（ST 在后台自动为您处理的事情 - 您可以打开 ST 终端并准确查看发送到 AI 的提示词的样子）。

聊天完成

顾名思义，聊天补全模型会将您的提示词构建为用户（您）和助手（AI）或系统（中立）之间的一系列消息。针对聊天补全训练的模型有助于营造“聊天”的感觉，人工智能“响应”最后一条消息。当您使用 ChatGPT 网站时，您正在后台处理聊天完成 API。

文本完成（又名“完成”）

另一方面，文本补全，正如其名称所暗示的，会将您的提示词转换为一个长字符串，并且模型将简单地尝试继续此操作（就像，从字面上想象您的所有文本、数百条消息、所有格式、换行符等都被压缩成一个很长的句子）。

如果 ST 中的消息碰巧被格式化为 YourPersona: 和角色: 之间的一系列消息，则文本补全模型将尝试继续此模式，ST 会将其呈现为新的聊天消息，但实际上该模型只是尝试继续文本。如果您输入“太阳升起”，文本完成模型可能会用“东方”为您完成该消息。

大多数文本补全模型都有一个推荐的“指令模板”（通常在模型的文档或下载页面中提到），可以帮助它们“响应”消息和指令，就像聊天补全模型一样。 ST 通常在“高级格式”页面中提供大多数（如果不是全部）教学模板供您选择。

本地API

• 这些 LLM API 可以在您的 PC 上运行。
• 它们可以免费使用并且没有内容过滤器。
• 安装过程可能很复杂（SillyTavern 开发团队不提供对此的支持).
• 需要单独下载 LLM 模型 抱脸 每个可以是 5-50GB。
• 大多数模型不如云 LLM API 强大。

狗头人Cpp

• 易于使用的 API，具有 CPU 卸载（对低 VRAM 用户有帮助）和流媒体
• 在 Windows、Mac 和 Linux 上从单个二进制文件运行
• 支持GGUF模型
• 比仅使用 GPU 的加载器（例如 AutoGPTQ 和 Exllama/v2）慢
• GitHub, 设置说明

骆驼.cpp

• KoboldCpp 和 Ollama 分叉的原始来源
• 提供预编译的二进制文件和从源代码编译的选项
• 支持GGUF模型
• llama-server 的轻量级 CLI 界面
• GitHub

奥拉马

• 最容易设置和使用所有基于 llama.cpp 的 API
• 一个俏皮的 目录 可供一键下载的模型
• 支持以 Ollama 自己的格式包装的 GGUF 模型
• GitHub, 网站

Oobabooga TextGeneration WebUI

• 带流媒体功能的一体化 Gradio UI
• 对量化（AWQ、Exl2、GGML、GGUF、GPTQ）和 FP16 模型的最广泛支持
• 提供一键安装程序
• 定期更新，有时会破坏与 SillyTavern 的兼容性
• GitHub

将 SillyTavern 连接到 Ooba 新 OpenAI API 的正确方法：

1. 确保您使用的是 Oobabooga TextGen 的最新更新（截至 2023 年 11 月 14 日）。
2. 编辑 CMD_FLAGS.txt 文件，并添加 --api 那里有旗帜。然后重新启动 Ooba 的服务器。
3. 将 ST 连接至 http://localhost:5000/ （默认情况下），无需选中“旧版 API”框。您可以删除 /v1 postfix 来自 Ooba 控制台为您提供的 URL。

您可以使用以下命令更改 API 托管端口 --api-port 5001 flag，其中 5001 是您的自定义端口。

虎斑API

• 轻量级 埃拉马夫2基于 API 的流式传输
• 支持 Exl2、GPTQ 和 FP16 型号
• 官方延期 允许直接从 SillyTavern 加载/卸载模型
• 不建议 VRAM 较低的用户使用（无 CPU 卸载）
• GitHub, 设置说明

KoboldAI Classic（已弃用、废弃）

• 在您的 PC 上运行，100% 私有，提供多种型号
• 提供对 AI 生成设置的最直接控制
• GPU 中需要大量 VRAM（6-24GB，取决于 LLM 模型）
• 模型仅限于 2k 上下文
• 没有流媒体
• 流行的 KoboldAI 版本：
  • 亨基联队
  • 0cc4m 的 4bit 支持 United

云 LLM API

• 这些 LLM API 作为云服务运行，不需要您的 PC 上的资源
• 他们比大多数本地法学硕士更强大/更聪明
• 不过，它们都有不同程度的内容过滤，而且大多需要付费

AI Horde

• SillyTavern 可以直接访问此 API，无需额外设置
• 使用个体志愿者（部落工人）的 GPU 来处理您的聊天输入的响应
• 在生成等待时间、AI 设置和可用模型方面受 Worker 支配
• 网站, 设置说明

OpenAI (ChatGPT)

• 易于设置和获取 API 密钥
• 需要按提示词预付学分和费用
• 非常合乎逻辑。创意风格可以重复且可预测
• 大多数较新的型号（gpt-4-turbo、gpt-4o）支持多模态
• 网站, 设置说明

克劳德（人类）

• 推荐给希望 AI 聊天具有创意、独特写作风格的用户
• 需要按提示词预付学分和费用
• 最新型号（Claude 3）支持多模态
• 需要特定的提示风格和利用 预填充物 用于回复引导
• 网站, 设置说明

Google AI Studio 和 Vertex AI

• 具有具有速率限制的免费套餐（Gemini Flash），可能需要账单信息
• 人工智能工作室 通常具有最新的型号和功能
• 顶点人工智能 设置起来比较棘手，但更稳定
• 设置说明

米斯特拉尔（由米斯特拉尔 AI 提供）

• 各种尺寸和用例的高效模型。您可以在以下位置创建帐户和 API 密钥 他们的平台.
• 一般用途的上下文大小为 32k 到 128k，编码的上下文大小为 32k 到 256k。
• 有速率限制的免费套餐。
• 合理节制，米斯特拉尔的主要原则是保持中立并赋予用户权力，更多信息 这里.
• 网站, 设置说明

开放路由器

• 提供统一的API来访问市场上所有主要的法学硕士
• 按 token 信用系统付费，以及每日请求有限的免费模型
• 除非 LLM 供应商要求，否则不强制审核
• 网站, 设置说明

深度搜索

• 提供对非常流行的 DeepSeek V3 最新版本的访问（deepseek-chat）和 DeepSeek R1（deepseek-reasoner) 型号
• 需要支付积分（最低 2 美元），但这些模型的质量相当便宜
• 对 API 没有审核，但模型可能会拒绝某些提示词
• 网站, 设置说明

人工智能21

• 提供对 Jamba 系列开放模型的访问
• 免费试用（三个月 10 美元），然后需要按 token 每月付费
• 网站, 设置说明

连贯

• 提供对 Cohere 最新模型的访问（command-r、command-a、c4ai-aya 等）
• 有免费套餐（试用密钥），具有足够的速率限制供休闲使用
• 网站, 设置说明

困惑

• 通过 API 提供对独特的 Perplexity Sonar 在线模型的访问
• 需要配置计费并购买积分
• 网站, 设置说明

曼瑟人工智能

• 承载各种家庭无约束模型的服务
• 使用“积分”支付各种型号的 token
• 默认情况下不记录提示词，但您可以启用它以获得 token 的信用折扣。
• 使用类似于以下的 API Oobabooga TextGeneration WebUI，参见 曼瑟文档 了解详情。
• 网站, 设置说明

梦创

• 未经审查的模型针对可引导的创意写作进行了调整
• 每月免费积分以及付费订阅
• 型号范围从7B到70B
• 设置说明

授粉

• 无需设置，开箱即可使用
• 免费提供多种模型的访问
• 输出有时可能包含带有第三方服务链接的广告

小说人工智能

• 无内容过滤器，最新型号基于Llama 3
• 需要付费订阅，层级决定最大上下文长度
• 网站, 设置说明

电子集线器

• 一个 API 密钥可解锁多个供应商（OpenAI、Anthropic、DeepSeek 等）的模型，用于生成文本和图像
• 每天 0.25 美元的免费积分，提供付费计划
• 网站, 设置说明

人工智能/机器学习API

• 适用于 300 多个模型的统一 API，包括 Claude、GPT-4o、Gemini、LLaMA 3、Mistral 等
• 拥有带有费率限制、订阅计划和即用即付选项的免费套餐
• 网站, 文档, 型号