高级格式设置

中文译稿 · 由官方原文机器翻译,尚未逐句校对。对照原文 ↗

本节中提供的设置允许对 提示词-大楼 策略,主要针对文本补全 API。

此面板中的大多数设置不适用于聊天完成 API,因为它们由提示词管理器系统控制。

文本补全 API

聊天补全 API

重置模板

您可以将默认模板恢复到原始状态。这可以通过 UI 或手动删除相关数据文件来完成。

用户界面重置

  1. 打开 高级格式化 菜单。
  2. 选择您要重置的模板。
  3. 单击 恢复当前模板 按钮。
  4. 出现提示时确认操作。

手动复位

确保 skipContentCheck 设置被设置为 false 在 配置.yaml,否则不会触发内容检查。

  1. 导航到您的用户数据目录(请参阅 数据路径 了解详情)。
  2. 删除 content.log 文件来自用户数据目录的根目录。该文件跟踪为您的用户复制的默认文件。
  3. 从相关子目录中删除模板 JSON 文件(context, instruct, sysprompt等)。
  4. 重新启动SillyTavern服务器。应用程序将重新填充默认内容,恢复任何已删除的默认模板。

后端定义的模板

适用于:文本补全 API

不适用于聊天补全 API,因为它们使用不同的提示词构建器。

一些文本补全源提供了自动选择模型作者推荐的模板的功能。这是通过比较模型中定义的聊天模板的哈希来实现的 tokenizer_config.json 具有默认 SillyTavern 模板之一的文件。

  1. 派生模板 必须在中启用选项 高级格式化 菜单。这可以应用于上下文、指令或两者。
  2. 必须选择受支持的后端作为文本补全源。目前只有 llama.cpp 和 KoboldCpp 支持派生模板。
  3. 建立与 API 的连接时,模型必须正确报告其元数据。如果这不起作用,请尝试将后端更新到最新版本。
  4. 报告的聊天模板哈希必须与以下之一匹配 已知 SillyTavern 模板。这仅涵盖默认模板,例如 Llama 3、Gemma 2、Mistral V7 等。
  5. 如果哈希匹配,如果模板存在于模板列表中(即未重命名或删除),则将自动选择该模板。

系统提示词

适用于:文本补全 API

对于聊天补全 API 中的等效设置,请使用 提示词管理器。的 主提示词 相当于聊天补全 API 中的系统提示词。

系统提示词定义了模型要遵循的一般指令。它为对话定下了基调和背景。例如,它告诉模型充当 AI 助手、写作伙伴或虚构的角色。

系统提示词是 故事串 通常是模型收到的提示词的第一部分。

请参阅 提示引导 了解有关系统提示词的更多信息。

上下文模板

适用于:文本补全 API

对于聊天补全 API 中的等效设置,请使用 提示词管理器.

通常,AI 模型要求您以某种特定方式向它们提供角色数据。 SillyTavern 包含针对不同型号的预制转换规则列表,但您可以根据需要自定义它们。

本节的选项在中进行了解释 上下文模板.

分词器

分词器是一种将一段文本分解为更小的单元(称为 token)的工具。这些 token 可以是单个单词,甚至可以是单词的一部分,例如前缀、后缀或标点符号。根据经验,1个token一般对应3~4个角色文本。

本节的选项在中进行了解释 分词器.

自定义停止字符串

接受 JSON 序列化的停止字符串数组。示例: ["\n", "\nUser:", "\nChar:"]。如果您不确定格式,请使用 在线 JSON 验证器。如果模型输出 结束 对于任何停止字符串,它们都将从输出中删除。

支持的API:

  1. KoboldAI Classic(版本 1.2.2 及更高版本)或 KoboldCpp
  2. AI Horde
  3. 文本补全 API:文本生成 WebUI (ooba)、Tabby、Aphrodite、Mancer、TogetherAI、Ollama 等。
  4. 小说人工智能
  5. OpenAI(最多 4 个字符串)和兼容的 API
  6. OpenRouter(文本和聊天补全)
  7. 克洛德
  8. 谷歌人工智能工作室
  9. 米斯特拉尔人工智能

开始回复

注意事项

默认情况下,“开始回复”前缀不会显示在结果消息中。启用“在聊天中显示回复前缀”以显示它。

文本补全 API

预填充提示词的最后一行,强制模型从该点继续。这对于执行内容很有用,例如推动 模型推理 使用定义的前缀:

<think>
Sure!

聊天补全 API

在提示词末尾添加助理角色消息。对于某些后端模型,这相当于预填充模型响应,但有些可能根本不支持,并且会因验证错误而失败。如果您不确定,请将此字段留空。