推理
在语言模型中,推理(也称为模型思维)是指一种思维链(CoT)技术,它反映了人类通过逐步分析解决问题的过程。 SillyTavern 提供了多种功能,使推理模型的使用在支持的后端之间更加高效和一致。
常见问题
- 使用推理模型时,模型的内部推理过程会消耗您的响应 token 津贴的一部分,即使此推理未显示在最终输出中(例如 o3-mini 或 Gemini Thinking)。如果您发现您的回复不完整或为空,您应该尝试调整最大响应长度设置 AI响应配置 面板。对于推理模型,与标准会话模型相比,通常使用明显更高的 token 限制(从 1024 到 4096 token)。
配置
大多数与推理相关的设置可以在“推理”部分进行配置 高级格式化 面板。
推理块在聊天中显示为可折叠的消息部分。它们可以手动添加、由后端自动添加或通过响应解析添加(见下文)。
默认情况下,推理块会折叠以节省空间。单击一个块可展开并查看其内容。您可以通过启用来设置块自动扩展 自动扩展 在推理设置中。
当推理块展开时,您可以使用复制或编辑其内容 复制 和 编辑 按钮。
有些模型支持推理,但不会将自己的想法发回。仍然可以通过切换来显示推理块和推理时间。 显示隐藏 设置。
添加推理
手动
通过以下方式向任何消息添加推理块 留言编辑 菜单。点击 在编辑时添加推理部分。第三方扩展还可以通过写入来添加推理 extra.reasoning 消息对象的字段,然后将其添加到聊天中。
通过命令
使用 /reasoning-set 用于向消息添加推理的 STscript 命令。该命令需要 at (消息 ID,默认为最后一条消息)和推理文本作为参数。
/reasoning-set at=0 This is the reasoning for the first message.
通过后端
如果您选择的LLM后端和模型支持推理输出,请在 AI响应配置 面板将添加一个包含模型思维过程的推理块。
支持的来源:
- 克洛德
- 深度搜索
- 谷歌人工智能工作室
- 谷歌顶点人工智能
- 开放路由器
- xAI(格洛克)
- 人工智能/机器学习API
- 扎艾
- 授粉
- 米斯特拉尔人工智能
- 电子集线器
- 滑道
- 纳米GPT
- 登月计划
对于 大多数 消息人士称,“请求模型推理”并不能确定模型是否进行推理,因为它无法被禁用。如果后端和模型支持明确请求禁用推理,则该设置将这样做。否则,模型将始终推理。
提供商特定说明:
- 克劳德和谷歌(2.5 Flash)允许切换思维模式;看到 推理努力.
- 可以禁用推理 Z.AI (GLM) 和 登月(基米)。该设置映射到
thinking.type参数。他们不支持“推理努力”。 - 对于 OpenRouter,当“请求模型推理”开关在设置最小推理工作量的情况下停用时,支持它的模型的思维将被设置为禁用。该行为取决于模型;某些提供商可能会拒绝此类请求。
通过解析
启用“自动解析” 高级格式化 面板自动解析模型输出的推理。
响应必须包含包含在配置的前缀和后缀序列中的推理部分。默认提供的序列对应于 DeepSeek R1 推理格式。对于某些返回未解析推理的 API 源(例如 MiniMax 或 Perplexity),需要启用此功能。
带前缀的示例 <think> 和后缀 </think>:
<think>
This is the reasoning.
</think>
This is the main content.
推理提示
默认情况下,已识别的推理块内容不会发送回模型。要在提示词中包含推理,请在 高级格式化 面板。推理内容将包装在配置的前缀和后缀序列中,并通过分隔符与主上下文分开。最大添加数字设置控制可以包含多少个推理块,从提示词末尾开始计数。
大多数模型提供商不建议在多轮对话中将 CoT 发送回模型。
继续推理
一种特殊情况是,在不启用“添加到提示”切换的情况下,可以将推理发送回模型,即继续生成(例如,通过按“继续”) 选项 菜单),但正在继续的消息仅包含推理而没有实际内容。这使得模型有机会完成不完整的推理并开始生成主要内容。 提示词将按如下方式发送:
<think>
Incomplete reasoning...
正则表达式脚本
正则表达式脚本来自 正则表达式扩展 可以应用于推理块的内容。检查脚本编辑器“影响”部分中的“推理”以专门针对推理块。
不同的短暂性选项通过以下方式影响推理块:
- 没有短暂性:推理内容会永久改变。
- 编辑时运行:编辑推理块时将重新评估正则表达式脚本。
- 更改聊天显示:正则表达式应用于推理块的显示文本,而不是底层内容。
- 更改传出提示词:正则表达式仅在推理块发送到模型之前应用于推理块。
推理努力
推理努力是聊天补全设置 AI响应配置 影响可能用于推理的 token 数量的面板。每个选项的效果取决于所连接的源。对于以下来源,“自动”仅表示请求中不包含相关参数。
| 选项 | 克劳德(如果没有流媒体,则≤ 21333) | OpenAI(关键词) | OpenRouter(关键字) | xAI (Grok)(关键字) | 困惑(关键词) | NanoGPT(关键字) |
|---|---|---|---|---|---|---|
| 型号 | 作品 4、十四行诗 4/3.7 | o4-迷你、o3*、o1* | 适用机型 | grok-3-迷你 | 声纳深度研究 | 适用机型 |
| 汽车 | 未指定, 没有思考 | 未指定 | 未指定,效果取决于 | 未指定 | 未指定 | 未指定 |
| 最低 | 预算 1024 token | “低” | “低”,或最大响应的 20% | “低” | “低” | “无” |
| 低 | 最大响应的 15%,最小值 1024 | “低” | “低”,或最大响应的 20% | “低” | “低” | “最小” |
| 中等 | 最大响应的 25%,最小值 1024 | “中” | “中”,或最大响应的 50% | “低” | “中” | “低” |
| 高 | 最大响应的 50%,最小值 1024 | “高” | “高”,或最大响应的 80% | “高” | “高” | “中” |
| 最大 | 最大响应的 95%,最小值 1024 | “高” | “高”,或最大响应的 80% | “高” | “高” | “高” |
- 对于不支持自适应思维的旧版 Claude 模型,如果禁用流式传输,预算上限为 21333。如果计算出的预算小于 1024,则最大响应更改为 2048。
- Claude 还支持 Opus 4.6+ 模型的自适应思维,可以通过以下方式启用
claude.enableAdaptiveThinking在 配置.yaml (Opus 4.7+ 始终开启)。启用后,推理工作量设置会映射到自适应思维级别,而不是 token 预算。对于适用型号,此设置优先于“详细程度”设置。 - 对于 OpenRouter、Pollinations、Perplexity、xAI、Chutes、DeepSeek、AI/ML API、xAI、Electron Hub,只会发送 OpenAI 风格的关键字。
- 对于 OpenAI 上的 GPT-5.4 和 GPT-5.5 模型,“最小”推理工作对应于“无”,即禁用推理。
- 对于作为聊天补全自定义 API 源运行的 KoboldCpp,推理工作作为
reasoning_effort参数值为“minimal”、“low”、“medium”、“high”和“xhigh”。 - 对于其他自定义(OpenAI 兼容)源,仅当模型在官方 OpenAI 源上支持时才会发送推理工作。
Google AI Studio 和 Vertex AI 如下:
| 型号 | 自动(动态思维) | 最低 | 低 | 中等 | 高 | 最大 |
|---|---|---|---|---|---|---|
| 2.5专业版 | 思考预算=-1 | 128 | 最大响应的 15%,最小值 128 | 最大的 25% | 最大的 50% | 最大值或 32768 中的较低者 |
| 2.5 闪存 | 思考预算=-1 | 0, 没有思考 | 最大响应的 15% | 最大的 25% | 最大的 50% | 最大值或 24576 中的较低者 |
| 2.5 闪存精简版 | 思考预算=-1 | 0, 没有思考 | 最大响应的 15%,最小值 512 | 最大的 25% | 最大的 50% | 最大值或 24576 中的较低者 |
| 3.0/3.1 专业版 | 思维水平=空 | “低” | “低” | “低” | “高” | “高” |
| 3.0/3.1闪存 | 思维水平=空 | “最小” | “低” | “中” | “高” | “高” |
- 对于 Gemini 2.5 Pro 和 2.5 Flash/Lite,无论流媒体设置如何,预算上限分别为 32768 或 24576 token。