通用设置

这些设置控制使用语言模型生成文本时的采样过程。这些设置的含义对于所有支持的后端都是通用的。

上下文设置

响应（token）

API 将生成用于响应的 token 的最大数量。

• 响应长度越长，生成响应所需的时间就越长。
• 如果API支持，您可以启用 Streaming 逐位显示正在生成的响应。
• 当 Streaming 关闭后，响应将在完成后立即显示。

上下文 (token)

SillyTavern 将作为提示词发送到 API 的 token 的最大数量减去响应长度。

• 上下文包括角色信息、系统提示词、聊天记录等。
• 消息之间的虚线表示聊天的上下文范围。该线以上的消息不会发送到 AI。
• 要在生成消息后查看上下文的组成，请单击 Prompt Itemization 消息选项（展开 ... 菜单并单击带线条的方形图标）。

采样器参数

温度

温度控制token选择的随机性：

• 低温（<1.0）导致文本更可预测，有利于更高的概率 token
• 高温（>1.0）通过为较低概率的 token 提供更好的机会来增加输出的创造力和多样性。

将原始概率设置为 1。

重复处罚

尝试根据 token 在上下文中出现的频率对其进行惩罚，以遏制重复。

将值设置为 1 可禁用其效果。

重复处罚范围

最后生成的 token 中有多少个 token 将被考虑作为重复惩罚。如果设置得太高，可能会破坏响应，因为像“the、a、and”等常见单词将受到最严重的惩罚。

将值设置为 0 可禁用其效果。

重复罚分斜率

如果这和 Repetition Penalty Range 大于 0 时，重复惩罚将在提示词末尾产生更大的影响。值越高，效果越强。

将值设置为 0 可禁用其效果。

前K

Top K 设置了可以选择的 top token 的最大数量。例如，如果 Top K 为 20，则这意味着仅保留排名最高的 20 个 token（无论它们的概率是多样的还是有限的）。

设置为 0（或 -1，取决于您的后端）以禁用。

Top P

顶部 P（又名核采样）将合计达到目标百分比所需的所有顶部 token 相加。如果前 2 个 token 均为 25%，且 Top P 为 0.50，则仅考虑前 2 个 token。

将值设置为 1 可禁用其效果。

典型P

典型的 P 采样根据 token 与集合平均熵的偏差来确定优先级。它维护累积概率接近预定义阈值（例如0.5）的token，强调具有平均信息内容的那些。

将值设置为 1 可禁用其效果。

最小P

通过切断相对于顶部 token 的低概率 token 来限制 token 池。产生更连贯的响应，但如果设置太高也会导致重复性恶化。

• 在低值下效果最好，例如 0.1-0.01，但可以设置得更高 Temperature。例如： Temperature: 5, Min P: 0.5

将值设置为 0 可禁用其效果。

顶级A

Top A 根据最高 token 概率的平方设置 token 选择的阈值。例如，如果 Top-A 值为 0.2，并且顶部 token 的概率为 50%，则排除概率低于 5% (0.2 * 0.5^2) 的 token。

将值设置为 0 可禁用其效果。

无尾采样

无尾采样 (TFS) 通过使用导数分析 token 概率的变化率，在分布中搜索低概率 token 的尾部。它根据归一化二阶导数将 token 保留到阈值（例如 0.3）。越接近0，token被丢弃的越多。

将值设置为 1 可禁用其效果。

平滑因子

使用二次变换增加高概率 token 的可能性，同时降低低概率 token 的可能性。旨在产生更具创造性的反应，无论 Temperature.

• 在没有截断采样器的情况下效果最好，例如 Top K, Top P, Min P等

将值设置为 0 可禁用其效果。

动态温度

根据顶部 token 的可能性动态缩放温度。旨在在不牺牲一致性的情况下产生更多创意输出。

• 接受从最低到最高的温度范围。例如： Minimum Temp: 0.75 和 Minimum Temp: 1.25
• Exponent 应用基于顶部 token 的指数曲线。

取消勾选即可禁用其效果。

厄普西隆截止

Epsilon 截止设置了一个概率下限，低于该下限则 token 被排除在采样之外。以1e-4为单位；合理的值为 3。

设置为 0 以禁用。

埃塔截止值

Eta截止是特殊Eta采样技术的主要参数。以1e-4为单位；合理的值为 3。请参阅论文 Hewitt 等人将截断采样作为语言模型去平滑。 (2022) 了解详情。

设置为 0 以禁用。

DRY 重复罚分

DRY 对 token 进行惩罚，因为 token 会将输入的末尾扩展为先前在输入中出现的序列。如果您想允许逐字重复某些序列（例如名称），您可以将它们添加到序列破坏者列表中。查看拉取请求 这里.

将乘数设置为 0 以禁用。

排除首选 (XTC)

XTC 采样算法将最可能的 token 排除在考虑范围之外，而不是修剪最不可能的 token。它会删除除最不可能以给定概率满足给定阈值的 token 之外的所有内容。这确保了至少一个“可行”的选择得以保留，并保持了一致性。查看拉取请求 这里.

将概率设置为 0 以禁用。

米罗司他

Mirostat 将输出困惑度与输入困惑度相匹配，从而避免重复陷阱（当自回归推理生成文本时，输出的困惑度趋于零）和混淆陷阱（困惑度发散）。详细信息请参阅论文 Mirostat：一种直接控制困惑度的神经文本解码算法，作者：Basu 等人。 (2020).

模式选择 Mirostat 版本。

• 0 = 禁用，
• 1 = Mirostat 1.0（仅限 llama.cpp），
• 2 = 米罗他2.0。

波束搜索

LLM 采样中使用的贪婪暴力算法，用于查找最可能的单词序列或 token。它一次扩展多个候选序列，在每一步保持固定数量（波束宽度）的顶部序列。

顶级尼西格玛

一种根据统计属性过滤逻辑的采样方法。它将 token 保持在最大 logit 值的 n 个标准偏差内，为 top-p/top-k 采样提供更简单的替代方案，同时保持不同温度下的采样稳定性。