Docs
Powered by

“自訂（OpenAI 協定）” 功能說明與使用指南

一、什麼是「自訂（OpenAI 協定）」

“自訂（OpenAI 協定）” 簡單來說，就是讓你可以接入自己選擇的 AI 模型，而不僅僅依賴 OpenAI 的官方服務。你可以透過這個功能接入自己本地部署的 AI 模型，或是第三方提供的相容 OpenAI 格式的 API 服務。

  • 本地模型： 例如，你在自己的電腦上使用 llama.cpp 或 Oobabooga 這類 AI 模型，可以透過它們提供的介面與 Tavo 對話。
  • 第第三方 API 服務： 例如，Cloudflare AI 或 DeepSeek 提供的相容 OpenAI 的 API，Tavo 也能輕鬆接入。

二、為什麼要使用 “自訂（OpenAI 協定）” ？

◼️ 你可以靈活切換模型

你不再侷限於 OpenAI 的官方模型，可以選擇自己喜歡的其他模型進行對話。

◼️ 本地執行節省費用

如果你在本地執行 AI 模型，就能避免向雲端付費，減少成本。

◼️ 保護隱私

你不需要將對話內容傳輸到外部伺服器，保護自己的隱私。

◼️ 自訂優化

有些模型是針對特定任務做了優化的，使用這些模型可以獲得更好的結果。

示例場景

假設你在自己的電腦上透過 llama.cpp 部署了一個 AI 模型，介面地址是 http://localhost:8080/v1。透過 Tavo 的「自訂（OpenAI 協定）」功能，你可以直接與這個模型對話，而不需要用 OpenAI 的官方服務。

三、新手使用者快速上手指南

步驟1：準備好 API 服務

  • 本地部署： 你需要在自己的電腦上執行一個相容 OpenAI 格式的 AI 模型（比如 llama.cpp）。確保服務已經啟動並能透過地址 http://localhost:1234/v1 存取。
  • 第三方服務： 如果你使用的是第三方 API（比如 DeepSeek 或 Cloudflare），你需要從服務供應商那裡取得 API 地址和 API 金鑰。

步骤2：在 Tavo 中設定

1.進入設定頁面

打開 Tavo，點擊左上角按鈕 → API 連接 → 新建 。

2.选選擇 自訂（OpenAI 協定）

在模型平台 选選擇框中，選中 自訂（OpenAI 協定） 。

3.填寫 API 金鑰（如果需要）

如果你的服務需要金鑰認證，輸入相應的 API 金鑰；如果不需要，不用填寫。

4.填寫 API 基礎 URL

  • 輸入你要連接的 API 服務地址（例如 http://localhost:1234/v1）。
  • 注意：如果連接不成功，可以嘗試在 URL 末尾加上 /v1，並確保地址格式正確。

5.選擇模型名稱

根據服務的文件，選擇你要使用的模型名稱，比如 gpt-4o 或 llama3-8b 等。

步驟3：測試與開始使用

1.發送測試訊息

將該 API 設為預設，並與自己原有角色進行對話，看看是否能收到 AI 的回覆。

  • ✅ 成功示例： 收到 AI 的回覆內容
  • ❌ 失敗處理： 如果沒有返回結果，檢查下 URL、埠號、模型名是否正確，確保服務已啟動。

2.開始使用

設定成功後，你就可以像使用 OpenAI 一樣，在酒館 AI 中與自訂的 AI 模型進行對話了。

四、常見問題

◼️ 連接失敗怎麼辦

  • 確認 API 服務是否已經啟動（例如本地服務需要啟動）。
  • 檢查 API 地址格式是否正確，埠號是否開放。
  • 查查看服務日誌，尋找可能的錯誤資訊。

◼️ 模模型名不對怎麼辦？

  • 確保選擇的模型名稱與服務供應商的文件一致。
  • 本地部署時，模型名通常與你載入的模型檔案名稱一致。

◼️ 顯示「無連接」怎麼辦？

  • 確保你設定的 API 端點可用，或重新檢查端點設定。

五、提示處理與相容性

◼️ 相容性說明 雖然 Tavo 支援與很多 API 端點相容，但它不保證與所有 API 端點都能相容。特別是一些本地端點，如 TabbyAPI、Oobabooga 或 Aphrodite，在連接時可能需要一些額外設定。你可能需要查看這些端點的文件，確保它們的介面格式符合 OpenAI 的標準。

  • 小提示：如果連接不上，嘗試在 URL 末尾加 /v1，而不是 /chat/completions，這樣通常可以解決連接問題。

◼️ 提示格式限制

有些端點可能會對輸入的提示格式有要求，比如要求只有一條系統訊息，或是嚴格交替角色。Tavo 提供了內建的提示轉換器，幫助你滿足這些要求：

  • 合併同一角色的連續訊息（適用於鬆散的格式要求）

  • 只允許一條系統訊息（適用於半嚴格要求）

  • 只允許一個可選的系統訊息，並要求使用者角色是第一個（適用於嚴格要求）

六、示例設定

◼️ 本地部署 llama.cpp

  • 自訂端點：http://localhost:8080/v1
  • 模型名：llama3-8b
  • API 金鑰：無需填寫（本地服務通常不需要金鑰）。

◼️ 第三方服務（DeepSeek）

  • 自訂端點：https://api.deepseek.com/v1
  • 模型名：deepseek-chat
  • API 金鑰：填寫服務提供的金鑰。