Martin · 大模型路由網關
現已開放一個 API,統一模型調用、憑證管理與額度管控
Martin 透過一個兼容 OpenAI 的 API 路由您的模型調用,集中管理憑證,並按 API key、智能體與團隊控制支出上限
martin · 額度管控示例
範圍額度已用狀態
team/research
5,000
62%
正常
key/prod-chat
2,000
88%
已提醒
key/batch-eval
1,000
100%
已凍結
team/growth
3,000
41%
正常
key/staging
300
14%
正常
異常消耗已通知負責人
key/batch-eval 目前消耗為其 7 日平均的 4.2 倍
01 — 模型調用
指向 Martin,程式碼毋須重寫
Martin 兼容 OpenAI。只需更換 Base URL 與 API key,即可透過一個端點調用多家供應商的模型
模型供應商
模型供應商名單暫未公開。預約演示,了解適合您場景的模型
需要修改的內容python
client = OpenAI( api_key=os.environ["OPENAI_API_KEY"], base_url=os.environ["GOSEVEN_BASE_URL"], api_key=os.environ["GOSEVEN_API_KEY"],)
02 — 憑證與額度管控
額度上限,自動執行
當 API key 或團隊超出額度時,Martin 會自動處理,毋須專人盯守後台
-
01
簽發 API key
在一個 GoSeven 帳戶中,為每個團隊和應用簽發 API key
-
02
設定額度
為每個 API key 與團隊設定額度上限
-
03
24 小時內凍結
超額的 key 或團隊將在 24 小時內被凍結,相應額度被預扣
-
04
提醒負責人
帳戶負責人收到提醒,並決定後續處理
03 — 消除浪費
不再為不必要的調用付費
01
調用優化
Martin 優化調用方式,以更低成本完成同樣的工作
02
異常識別
Martin 按 API key 與團隊,及早識別異常消耗
04 — 數據與計費
您的提示詞,只屬於您
- 提示詞與回覆內容
- 不保存,或進行私隱處理
- 計費方式
- 預付額度,購買路由服務