← 回主題列表 TOPIC · LLM APPS

🧩 學 LLM 應用開發

六堂主線、一條管線:從一把 key 打遍八家模型開始,到讓模型做事、把函式變成 AI 工具、 向量資料庫、RAG——最後接成一台會自己查資料的客服。有程式背景、工具新手,照順序上。 上完第 3 課(或整條主線)之後,四堂 FastMCP 4 補充系列把認證、狀態、4.0 專屬功能與生態系一次補齊。

主線 · 六堂課一條管線
LITELLM · 01

🔑 LiteLLM:一個網址、一把 key,打遍八家模型

官方 openai SDK 兩行設定,背後八家供應商。列模型、對話、推理型模型的 max_tokens 坑、 串流、embeddings,最後同時發 12 個請求親眼看見同名三來源在輪替。

開始上課 →
LITELLM · 02

🛠️ 讓模型做事:Tool calling、結構化輸出與看圖

模型不回答而是「請幫我呼叫 get_weather」——兩回合、迴圈、跨模型實測誰能用; json_schema 嚴格輸出與 drop_params 默默失效的陷阱;畫一個紅圓問誰真的看得到圖。

開始上課 →
MCP · 03

🔌 FastMCP 4:把函式變成 AI 工具,一發請求不用握手

一個裝飾器自動生成說明書、自動把關參數。在 notebook 裡起一台真的 HTTP 伺服器側錄請求: 舊協定 6 發帶 session、新協定 3 發無狀態——再用一發裸 POST 呼叫工具證明它。

開始上課 →
VECTOR DB · 04

🧭 Qdrant:向量資料庫,記憶體裡就能跑

一行 QdrantClient(":memory:") 起一個完整的向量資料庫。用人看得懂的 3 維口味向量 玩最近鄰、過濾、三種距離,再換成真的 1024 維 embedding 用自然語言查菜單。

開始上課 →
RAG · 05

📚 RAG:讓模型先翻手冊再回答

一份虛構貓咪咖啡廳的繁中手冊:沒 RAG 它自信地編出 Wi-Fi 密碼,有 RAG 7 題全對、 範圍外的問題會說「手冊裡沒有寫」。切段→向量→檢索→生成→評測,每一步都量化。

開始上課 →
CAPSTONE · 06

🏁 壓軸:RAG 變成 AI 的工具

LiteLLM × FastMCP × Qdrant:把檢索包成 MCP 工具,模型自己決定何時翻手冊、查什麼、查幾段—— 看它一次合併兩個章節、遇到 1+1 連工具都不碰。

開始上課 →
補充系列 · FASTMCP 4 深入(上完第 3 課再來)
補充 A · AUTH

🔐 認證與授權:從一把 token 到完整 OAuth 2.1

不帶 token 就 401、guest 根本看不到 admin 的工具、JWT 本機簽發與三種壞 token—— 然後在 notebook 裡真的跑完 discovery → DCR → PKCE → token 六步,再用 SDK 三行走完。

開始上課 →
補充 B · STATE

🧠 狀態:無狀態協定上的三種記憶

傳來傳去的狀態有沒有加密?把 requestState 從線路上截下來拆開:AES-256-GCM 密文, 竄改、換伺服器、換參數、換伺服器名、過期五個攻擊全被拒;多副本要共用 store 與金鑰。

開始上課 →
補充 C · 4.0 FEATURES

⚙️ 4.0 專屬功能:背景任務、快取、路由 header、擴充

每個新功能都用側錄器看線路上真的發生什麼:tools/call 變成 tasks/get 輪詢、三次 list_tools 伺服器只收到一次、 參數升成 Mcp-Param header、參數自動完成,最後自己寫一個 extension。

開始上課 →
補充 D · ECOSYSTEM

🌐 常見 MCP 服務:接上別人的伺服器,再合成一台

uvx/npx 啟動官方參考伺服器、接上 Context7 與 DeepWiki、mcp.json 多伺服器設定; 把它們 mount 成一台 HTTP hub 給 Claude Code 用——老伺服器要 pin legacy 的坑也一起踩。

開始上課 →