LiteLLM：一個網址、一把 key，
打遍八家模型

你寫過打 OpenAI API 的程式嗎？那你已經會用 LiteLLM 了。它是一個長得跟 OpenAI 一模一樣的入口， 背後卻接著 NVIDIA、Google、Groq、Cloudflare、OpenRouter……八家供應商。 程式碼寫死 model="nemotron-3.5-lightning"，每一發請求會被分到這顆模型的兩個來源之一 （NVIDIA NIM／OpenRouter），哪家慢、哪家限流就換家——你的程式完全無感。先按幾次看看：

右欄的 notebook 會真的打這個 gateway——課程提供一把教學用 key（只開免費模型， 課後會撤銷），不用申請任何帳號。每一節讀完就到 notebook 的同號章節動手。

免費額度池化、模型名穩定、金鑰收斂

免費方案的共同特性是單家限流都很小：分鐘級 RPM、日配額都低，稍微跑個批次就 429。 gateway 把同一顆模型在不同供應商的免費額度掛在同一個名字下，一家撞牆就換下一家。 但池化只是第一個好處：

連線只要兩行設定，SDK 是官方 openai 套件、一行都沒改：

回應物件裡藏了什麼，以及一個空字串的坑

client.chat.completions.create(model=..., messages=[...]) 拿回一個 ChatCompletion：回答在 choices[0].message.content， usage 是 token 帳單，model 是實際回應的模型。 notebook 裡有一個可以換模型、改問題的小面板——同一段程式碼，換的只是那個字串。

然後是這個 gateway 上最常見的「沒報錯卻沒答案」：nemotron-3.5-lightning 是推理型模型， 先在心裡想、再開口，而且想得不少（一句自我介紹先想 600 多個 token）。max_tokens=20 問 1+1， 實測回來的 content 是 "Here's a thinking process: 1. Analyze User Input…"—— 那不是答案，是被切斷的思考過程被當成 content 吐出來，finish_reason='length'。 給到 4096，答案 1+1=2 在 content，思考在非標準欄位 reasoning_content。 reasoning_tokens 只有部分來源回報（OpenRouter 會、NIM 是 None）—— 同一個模型名、不同上游的痕跡。結論：對推理型模型 max_tokens 要裝得下思考＋答案（本系列一律 4096）。

兩個同一個入口就能用的能力

串流（stream=True）：回傳的不是一個物件而是一串 chunk， 每個 delta.content 是新增的幾個字。notebook 會把每個 chunk 的到達時間畫成階梯圖， 推理型模型的圖常有個特徵：前面一段是平的（它在想，思考過程不會串流出來）， 想完文字才一口氣湧出——有時幾秒、有時不到一秒，看落到哪個來源。做聊天介面時，那段空白就是該放「思考中…」的地方。

向量（client.embeddings.create）：同一把 key、同一個入口， 模型換成 qwen3-embedding-0.6b，任何一段文字變成 1024 個數字。 意思相近的句子方向相近：實測「貓咪喜歡曬太陽」vs「小貓在窗邊打盹」餘弦相似度 0.54， vs「今天股市大跌」只有 0.21。這個模型回傳的已經是單位向量，內積就是 cosine。 這是後面 Qdrant 與 RAG 兩課的地基。

同時發 12 個，親眼看見輪替

批次推論的標準寫法是 AsyncOpenAI + asyncio.gather： 12 發同時出去，牆鐘時間 ≈ 最慢那一發，不是 12 倍（實測序跑要 55–90 秒、並發約 15–20 秒）。 但你怎麼知道 gateway 真的在換家？LiteLLM 每個回應都帶一個 header x-litellm-model-api-base，用 with_raw_response 讀出來，「隨機輪替」就從黑盒變成一張分佈圖。

同時盯著每一發的秒數：同一顆模型在不同來源的延遲不一樣——實測多數 2–5 秒，偶爾一發要等 10–30 秒。 失敗的也算進統計（紅色長條）。看見失敗與慢，本身就是可觀察性： 一家慢了、倒了，另一家照跑，你的程式碼一個字不用改，這正是 gateway 存在的理由。

換你動手

挑戰在 notebook 末節，由淺到深：

卡住了？每一題在 notebook 末節都有折疊解答——先自己做，再打開對照。

離開這堂課前記住兩件事：任何認得 OPENAI_BASE_URL / OPENAI_API_KEY 的工具（curl、LangChain、Open WebUI、aider）兩個變數指過來就能用； 正式專案請到 gateway 管理介面自己發一把 key，別用教學用的。

情境測驗

離開前試試看：下面的情境都真的會遇到。每題選一個你認為的最佳做法，選了馬上看得到解釋。