Scale 是一种通过部署充当 API 端点的"应用程序"来访问 GPT-4 和其他 LLM 的简单方法。
目前，Scale 不支持通过 SillyTavern 的 UI 进行 token 流式传输和配置温度等参数。
Scale API 不是免费的，但如果您绑定信用卡，可以获得 5 美元的试用额度。
快速开始
- 在 https://spellbook.scale.com 创建 Scale Spellbook 账户（如果您所在的国家不受支持，请使用 VPN）
- 创建一个具有任意名称和描述的"应用程序"
- 创建一个"变体"，用于设置参数（系统提示词、模型、温度、响应 token 限制等）
- 选择要部署的适当语言模型（推荐使用 GPT-4）
- 将提示词的"用户"部分内容替换为以下内容：
在这个虚构的聊天中完成下一个回复。
{{ input }}
- 配置模型参数。
- 模型： GPT-4
- 温度： ~0.6 - 0.9
- 最大 Token 数： 400 - 600（取决于消息长度偏好）
- 点击"保存新变体"
- 转到您的新变体并点击部署
- 这将为您的机器人创建一个 API 密钥和 URL
- 导航到 SillyTavern，选择"聊天补全" API 和 Scale 来源
- 将 API 密钥和 URL 粘贴到相应的字段中，然后点击"连接"
致谢
实现和文档的灵感来自 khanon 在 TavernAIScale 上的工作。