# 模型与 API 连接

规范地址：https://xstavern.com/wiki/usage/api-connections/
原文：https://sillytaverncn.net/usage/api-connections/
核对日期：2026-11-03
授权迁移，保留作者、上游许可与出处。

API 连接


# API 连接

SillyTavern 可以连接到多种 LLM API。
以下是对它们各自的优势、劣势和使用场景的描述。

## 简单解释：聊天补全与文本补全的区别

当您第一次进入 ST 的"API 连接"页面时，您会注意到有一个下拉选项，可以在"聊天补全"和"文本补全"等选项之间选择。了解这些概念很有帮助。

它不是：很容易把"文本补全"理解为本地模型，把"聊天补全"理解为基于云的 LLM，但事实并非如此。同样，例如"Novel AI"或"Kobold"实际上也不是完全不同类型的模型，尽管它们在 ST 的 API 下拉菜单中是单独的选项。您可以通过适当的后端强制模型使用不同的 API 结构，但这不是本节的重点。

当您使用 ST 发送消息时，您的聊天、角色描述和其他提示词（如知识库或作者注释）会被构建成一个单一的"提示词"发送给模型。您使用的模型的 API"类型"决定了这个提示词将如何构建（ST 在后台会自动为您处理这些 - 您可以打开 ST 终端，看到发送给 AI 的提示词的确切内容）。

### 聊天补全

顾名思义，聊天补全模型会将您的提示词构建成用户（您）和助手（AI）或系统（中立）之间的一系列消息。为聊天补全训练的模型有助于营造"聊天"的感觉，让 AI"回应"最后一条消息。当您使用 ChatGPT 网站时，您在后台使用的就是聊天补全 API。

### 文本补全（又称"补全"）

另一方面，文本补全（同样顾名思义）会将您的提示词转换为一个长字符串，模型只是试图继续这个字符串（就像，字面上想象您所有的文本、数百条消息、所有格式、换行符等都被压缩成一个很长的句子）。

如果您在 ST 中的消息恰好被格式化为 YourPersona: 和 Character: 之间的一系列消息，文本补全模型会尝试继续这个模式，ST 会将其呈现为新的聊天消息，但实际上模型只是在尝试继续文本。如果您输入"太阳从东方"，文本补全模型很可能会用"升起"来完成这条消息。

大多数文本补全模型都有推荐的"指令模板"（通常在模型的文档或下载页面中提到），这些模板帮助它们像聊天补全模型一样"回应"消息和指令。ST 通常在"高级格式设置"页面中提供了大多数（如果不是全部）指令模板供您选择。

## 本地 API

- 这些 LLM API 可以在您的电脑上运行。
- 它们免费使用且没有内容过滤。
- 安装过程可能比较复杂（**SillyTavern 开发团队不提供此方面的支持**）。
- 需要从 [HuggingFace](https://huggingface.co/models?other=LLM) 单独下载 LLM 模型，每个模型可能有 5-50GB。
- 大多数模型不如云端 LLM API 强大。

### KoboldCpp

- 易于使用的 API，支持 CPU 卸载（对低 VRAM 用户有帮助）和流式传输
- 在 Windows、Mac 和 Linux 上可以从单个二进制文件运行
- 支持 GGUF 模型
- 比仅 GPU 加载器（如 AutoGPTQ 和 Exllama/v2）慢
- [GitHub](https://github.com/LostRuins/koboldcpp)，[设置说明](/Usage/API_Connections/koboldcpp.md)

### llama.cpp

- KoboldCpp 和 Ollama 的原始源代码
- 提供预编译二进制文件和从源代码编译的选项
- 支持 GGUF 模型
- 轻量级 CLI 接口 llama-server
- [GitHub](https://github.com/ggml-org/llama.cpp)

### Ollama

- 所有基于 llama.cpp 的 API 中最容易设置和使用的
- 一个精巧的模型[目录](https://ollama.com/library)，可一键下载
- 支持以 Ollama 自己的格式包装的 GGUF 模型
- [GitHub](https://github.com/ollama/ollama)，[网站](https://ollama.com/)

### Oobabooga TextGeneration WebUI

- 带有流式传输的一体化 Gradio UI
- 对量化模型（AWQ、Exl2、GGML、GGUF、GPTQ）和 FP16 模型的最广泛支持
- 提供一键安装程序
- 定期更新，有时可能会破坏与 SillyTavern 的兼容性
- [GitHub](https://github.com/oobabooga/text-generation-webui#one-click-installers)

**正确连接 SillyTavern 到 Ooba 新 OpenAI API 的方法：**

1. 确保您使用的是 Oobabooga's TextGen 的最新更新（截至 2023 年 11 月 14 日）。
2. 编辑 CMD_FLAGS.txt 文件，在其中添加 `--api` 标志。然后重启 Ooba 的服务器。
3. 将 ST 连接到 `http://localhost:5000/`（默认），不要勾选"Legacy API"框。您可以删除 Ooba 控制台提供的 URL 中的 `/v1` 后缀。

*您可以使用 `--api-port 5001` 标志更改 API 托管端口，其中 5001 是您的自定义端口。*

### TabbyAPI

- 基于 [Exllamav2](https://github.com/turboderp/exllamav2) 的轻量级 API，支持流式传输
- 支持 Exl2、GPTQ 和 FP16 模型
- [官方扩展](https://github.com/theroyallab/ST-tabbyAPI-loader) 允许直接从 SillyTavern 加载/卸载模型
- 不推荐给低 VRAM 用户（无 CPU 卸载）
- [GitHub](https://github.com/theroyallab/tabbyAPI)，[设置说明](/Usage/API_Connections/tabbyapi.md)

### KoboldAI Classic（已弃用，已放弃）

- 在您的电脑上运行，100% 私密，可使用多种模型
- 提供对 AI 生成设置的最直接控制
- 需要 GPU 中大量的 VRAM（6-24GB，取决于 LLM 模型）
- 模型限制在 2k 上下文
- 不支持流式传输
- 流行的 KoboldAI 版本：
  - [Henky's United](https://github.com/henk717/KoboldAI)
  - [0cc4m's 4bit-supporting United](https://github.com/0cc4m/KoboldAI)

## 云端 LLM API

- 这些 LLM API 作为云服务运行，不需要您电脑的资源
- 它们比大多数本地 LLM 更强大/更智能
- 但它们都有不同程度的内容过滤，大多数需要付费

### AI Horde

- SillyTavern 可以开箱即用地访问此 API，无需额外设置
- 使用个人志愿者（Horde Workers）的 GPU 来处理您的聊天输入的回应
- 在生成等待时间、AI 设置和可用模型方面受制于 Worker
- [网站](https://aihorde.net/)，[设置说明](./horde.md)

### OpenAI (ChatGPT)

- 易于设置和获取 API 密钥
- 需要预付费购买积分，按提示词收费
- 非常逻辑化。创意风格可能重复和可预测
- 大多数较新的模型（gpt-4-turbo、gpt-4o）支持多模态
- [网站](https://platform.openai.com/)，[设置说明](/Usage/API_Connections/openai.md#openai)

### Claude (by Anthropic)

- 推荐给希望 AI 聊天具有创意、独特写作风格的用户
- 需要预付费购买积分，按提示词收费
- 最新的模型（Claude 3）支持多模态
- 需要特定的提示词风格和使用 [prefills](https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/prefill-claudes-response) 进行回复引导
- [网站](https://console.anthropic.com/)，[设置说明](/Usage/API_Connections/openai.md#claude)

### Google AI Studio 和 Vertex AI

- 有带速率限制的免费层（Gemini Flash），可能需要账单信息
- [AI Studio](https://aistudio.google.com/) 通常拥有最新的模型和功能
- [Vertex AI](https://console.cloud.google.com/vertex-ai/studio) 设置起来比较棘手，但更稳定
- [设置说明](/Usage/API_Connections/google.md)

### Mistral (by Mistral AI)

- 各种规模和用例的高效模型。您可以在[他们的平台](https://console.mistral.ai/api-keys/)上创建账户和 API 密钥。
- 一般用途的上下文大小从 32k 到 128k，编码用途的上下文大小从 32k 到 256k。
- 有限制的免费层级。
- 合理的审核，Mistral 的主要原则是保持中立并赋能用户，更多信息[在此](https://mistral.ai/terms/)。
- [网站](https://console.mistral.ai/)，[设置说明](/Usage/API_Connections/openai.md#mistral-ai)

### OpenRouter

- 提供统一的 API 来访问市场上所有主要的 LLM
- 按 token 付费的积分系统，以及每日请求有限的免费模型
- 没有强制审核，除非 LLM 供应商要求
- [网站](https://openrouter.ai)，[设置说明](/Usage/API_Connections/OpenRouter.md)

### DeepSeek

- 提供对非常流行的 DeepSeek V4（`deepseek-v4-flash`和`deepseek-v4-pro`）模型的最新版本的访问
- 需要付费购买积分（最低 $2），但模型的价格相对质量来说相当便宜
- API 上没有审核，但模型可能会拒绝某些提示词
- [网站](https://platform.deepseek.com/)，[设置说明](/Usage/API_Connections/openai.md#deepseek)

### AI21

- 提供对 Jamba Family 开放模型的访问
- 有免费试用（三个月 $10），然后需要按 token 每月付费
- [网站](https://ai21.com/)，[设置说明](/Usage/API_Connections/openai.md#ai21)

### Cohere

- 提供对 Cohere 最新模型（command-r、command-a、c4ai-aya 等）的访问
- 有免费层（Trial Keys），对于休闲使用有足够的速率限制
- [网站](https://cohere.com/)，[设置说明](/Usage/API_Connections/openai.md#cohere)

### Perplexity

- 通过其 API 提供对独特的 Perplexity Sonar 在线启用模型的访问
- 需要配置账单并购买积分
- [网站](https://perplexity.ai/)，[设置说明](/Usage/API_Connections/openai.md#perplexity)

### Mancer AI

- 托管各种系列的无约束模型的服务
- 使用"积分"为各种模型的 token 付费
- 默认不记录提示词，但您可以启用它以获得 token 积分折扣
- 使用类似于 `Oobabooga TextGeneration WebUI` 的 API，详情请参见 [Mancer 文档](https://mancer.tech/docs/clients/#sampling-parameters)
- [网站](https://mancer.tech/)，[设置说明](/Usage/API_Connections/mancer.md)

### DreamGen

- 针对可控创意写作调优的无审查模型
- 提供免费月度积分和付费订阅
- 模型范围从 7B 到 70B
- [设置说明](DreamGen.md)

### Pollinations

- 无需设置，可以开箱即用
- 免费提供对各种模型的访问
- 输出可能偶尔包含带有第三方服务链接的广告

### NovelAI

- 无内容过滤，最新模型基于 Llama 3
- 需要付费订阅，tier 决定最大上下文长度
- [网站](https://novelai.net/)，[设置说明](/Usage/API_Connections/novelai.md)

### Electron Hub

- 一个 API 密钥解锁来自多个供应商（OpenAI、Anthropic、DeepSeek 等）的模型，用于文本和图像生成
- 每天 $0.25 的免费积分，提供付费计划
- [网站](https://www.electronhub.ai/)，[设置说明](/Usage/API_Connections/openai.md#electron-hub)

### AI/ML API

- 统一的 API，支持 300 多个模型，包括 Claude、GPT-4o、Gemini、LLaMA 3、Mistral 等
- 有带速率限制的免费层、订阅计划和按需付费选项
- [网站](https://aimlapi.com)，[文档](https://docs.aimlapi.com)，[模型](https://aimlapi.com/models)

许可与致谢：https://xstavern.com/wiki/licensecredits/