引擎選型：Ollama vs vLLM（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E5%BC%95%E6%93%8E%E9%81%B8%E5%9E%8B%EF%BC%9AOllama%20vs%20vLLM%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E5%BC%95%E6%93%8E%E9%81%B8%E5%9E%8B%EF%BC%9AOllama%20vs%20vLLM%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E5%B7%A6%E9%82%8A%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E3%80%82%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%0A%20%20%20%20%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%E6%94%B9%E5%A3%9E%E4%BA%86%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E8%A3%A1%E4%B8%8D%E6%9C%83%E7%9C%9F%E7%9A%84%E8%B5%B7%E4%B8%80%E5%80%8B%20LLM%20%E6%9C%8D%E5%8B%99%E2%80%94%E2%80%94%E6%88%91%E5%80%91%E6%8A%8A%E5%85%A9%E5%80%8B%E5%BC%95%E6%93%8E**%E7%AE%A1%E8%A8%98%E6%86%B6%E9%AB%94%E7%9A%84%E8%A6%8F%E5%89%87**%E5%AF%AB%E6%88%90%E7%A8%8B%E5%BC%8F%EF%BC%8C%0A%20%20%20%20%E7%9C%9F%E7%9A%84%E7%AE%97%E7%B5%A6%E4%BD%A0%E7%9C%8B%E3%80%82%E6%89%80%E6%9C%89%E7%99%BE%E5%88%86%E6%AF%94%E3%80%81%E5%80%8D%E6%95%B8%E9%83%BD%E6%98%AF%E9%80%99%E5%B9%BE%E6%A0%BC%E7%95%B6%E5%A0%B4%E7%AE%97%E5%87%BA%E4%BE%86%E7%9A%84%EF%BC%8C%E6%8B%89%E6%A1%BF%E4%B8%80%E5%8B%95%E5%B0%B1%E9%87%8D%E7%AE%97%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E5%85%A8%20notebook%20%E5%85%B1%E7%94%A8%E7%9A%84%E5%B8%B8%E6%95%B8%E3%80%82%E4%B8%8A%E9%9D%A2%E4%B8%89%E5%80%8B%E6%98%AF%E8%A6%8F%E5%89%87%EF%BC%8C%E4%B8%8B%E9%9D%A2%E5%9B%9B%E5%80%8B%E6%98%AF%E5%BC%95%E7%94%A8%E7%9A%84%E5%AF%A6%E6%B8%AC%E5%80%BC%0A%20%20%20%20%23%20%EF%BC%88%E5%AF%A6%E6%B8%AC%EF%BC%9ARTX%204090%E3%80%81Llama%203.1%208B%20Q4_K_M%E3%80%81%E9%96%92%E7%BD%AE%E5%BE%8C%E7%AC%AC%E4%B8%80%E6%AC%A1%E8%AB%8B%E6%B1%82%EF%BC%89%0A%20%20%20%20BLOCK%20%3D%2016%20%20%20%20%20%20%20%20%20%20%23%20PagedAttention%20%E7%9A%84%E4%B8%80%E5%80%8B%20block%20%E5%B9%BE%E5%80%8B%20token%0A%20%20%20%20OLLAMA_VRAM%20%3D%206.4%20%20%20%23%20GB%0A%20%20%20%20VLLM_VRAM%20%3D%208.2%20%20%20%20%20%23%20GB%0A%20%20%20%20COLD_TTFT%20%3D%208.3%20%20%20%20%20%23%20%E7%A7%92%EF%BC%9AOllama%20%E5%86%B7%E5%95%9F%E5%8B%95%E7%9A%84%E9%A6%96%20token%20%E5%BB%B6%E9%81%B2%EF%BC%88vLLM%20%E6%98%AF%200.4%20%E7%A7%92%EF%BC%89%0A%0A%20%20%20%20C_SLOT%20%3D%20%22%23DD8452%22%20%20%20%23%20%E6%A9%98%EF%BC%9Dslot%20%E5%9B%BA%E5%AE%9A%E5%88%86%E9%85%8D%EF%BC%88Ollama%20%2F%20llama.cpp%EF%BC%89%0A%20%20%20%20C_PAGE%20%3D%20%22%234C72B0%22%20%20%20%23%20%E8%97%8D%EF%BC%9DPagedAttention%EF%BC%88vLLM%EF%BC%89%0A%20%20%20%20C_WASTE%20%3D%20%22%23D9DEE2%22%20%20%23%20%E7%81%B0%EF%BC%9D%E8%A2%AB%E9%85%8D%E8%B5%B0%E3%80%81%E5%8D%BB%E6%B2%92%E7%9C%9F%E7%9A%84%E7%94%A8%E5%88%B0%E7%9A%84%E8%A8%98%E6%86%B6%E9%AB%94%0A%20%20%20%20return%20BLOCK%2C%20COLD_TTFT%2C%20C_PAGE%2C%20C_SLOT%2C%20C_WASTE%2C%20OLLAMA_VRAM%2C%20VLLM_VRAM%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E5%8C%85%E5%BB%82%E5%88%B6%20vs%20%E6%8B%BC%E6%A1%8C%E5%88%B6%EF%BC%9A%E5%90%8C%E4%B8%80%E6%89%B9%E8%AB%8B%E6%B1%82%EF%BC%8C%E5%85%A9%E7%A8%AE%E9%85%8D%E6%B3%95%0A%0A%20%20%20%20%E5%85%A9%E5%80%8B%E5%BC%95%E6%93%8E%E6%8B%BF%E5%88%B0%E7%9A%84%E6%98%AF**%E5%90%8C%E4%B8%80%E6%89%B9%E8%AB%8B%E6%B1%82**%E2%80%94%E2%80%94%E5%B7%AE%E5%88%A5%E5%8F%AA%E5%9C%A8%E6%80%8E%E9%BA%BC%E6%8A%8A%20KV%20cache%20%E7%9A%84%E8%A8%98%E6%86%B6%E9%AB%94%E7%99%BC%E4%B8%8B%E5%8E%BB%EF%BC%9A%0A%0A%20%20%20%20-%20**Ollama%EF%BC%88llama.cpp%EF%BC%89**%EF%BC%9A%E5%95%9F%E5%8B%95%E6%99%82%E5%B0%B1%E5%88%87%E5%A5%BD%E5%9B%BA%E5%AE%9A%E5%A4%A7%E5%B0%8F%E7%9A%84%20slot%EF%BC%8C%E4%B8%80%E5%80%8B%E8%AB%8B%E6%B1%82%E4%BD%94%E4%B8%80%E6%95%B4%E6%A0%BC%E3%80%82%0A%20%20%20%20%20%20%60llama-server%20-c%204096%20-np%202%60%20%E5%B0%B1%E6%98%AF%E3%80%8C%E7%B8%BD%20context%204096%E3%80%81%E5%88%87%202%20%E5%80%8B%20slot%E3%80%8D%E3%80%82%0A%20%20%20%20%20%20%E8%AB%8B%E6%B1%82%E5%8F%AA%E7%94%A8%20300%20%E5%80%8B%20token%EF%BC%9F%E5%89%A9%E4%B8%8B%E7%9A%84%E4%B8%80%E6%A8%A3%E8%A2%AB%E7%B6%81%E8%91%97%EF%BC%8C%E8%AA%B0%E4%B9%9F%E6%8B%BF%E4%B8%8D%E8%B5%B0%E3%80%82%0A%20%20%20%20-%20**vLLM%EF%BC%88PagedAttention%EF%BC%89**%EF%BC%9A%E8%A8%98%E6%86%B6%E9%AB%94%E5%88%87%E6%88%90%2016%20%E5%80%8B%20token%20%E4%B8%80%E5%A1%8A%E7%9A%84%E5%B0%8F%20block%EF%BC%8C%E7%94%A8%E5%A4%9A%E5%B0%91%E6%8B%BF%E5%A4%9A%E5%B0%91%EF%BC%8C%0A%20%20%20%20%20%20%E6%9C%80%E5%BE%8C%E4%B8%80%E5%A1%8A%E6%B2%92%E5%A1%AB%E6%BB%BF%E6%89%8D%E6%9C%89%E9%9B%B6%E9%A0%AD%E3%80%82%0A%0A%20%20%20%20%E6%8B%89%E4%B8%8B%E9%9D%A2%E7%9A%84%E6%8B%89%E6%A1%BF%E6%8F%9B%E4%B8%80%E6%89%B9%E8%AB%8B%E6%B1%82%EF%BC%8C%E7%9C%8B%E5%85%A9%E9%82%8A%E7%9A%84%E5%88%A9%E7%94%A8%E7%8E%87%E6%80%8E%E9%BA%BC%E8%B7%91%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_req%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%2024%2C%201%2C%20value%3D8%2C%20label%3D%22%E5%90%8C%E6%99%82%E5%9C%A8%E8%B7%91%E7%9A%84%E8%AB%8B%E6%B1%82%E6%95%B8%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mean_len%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2050%2C%203800%2C%2050%2C%20value%3D400%2C%20label%3D%22%E8%AB%8B%E6%B1%82%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%EF%BC%88tokens%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20spread%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20100%2C%205%2C%20value%3D60%2C%20label%3D%22%E9%95%B7%E5%BA%A6%E9%9B%A2%E6%95%A3%E5%BA%A6%EF%BC%88%25%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20ctx_slot%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%222048%22%3A%202048%2C%20%224096%22%3A%204096%2C%20%228192%22%3A%208192%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%224096%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E6%AF%8F%E5%80%8B%20slot%20%E7%9A%84%20context%EF%BC%88llama-server%20-c%EF%BC%89%22%2C%0A%20%20%20%20)%0A%20%20%20%20seed%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%2030%2C%201%2C%20value%3D7%2C%20label%3D%22%E6%8F%9B%E4%B8%80%E6%89%B9%E8%AB%8B%E6%B1%82%EF%BC%88%E9%9A%A8%E6%A9%9F%E7%A8%AE%E5%AD%90%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bn_req%2C%20mean_len%2C%20spread%2C%20ctx_slot%2C%20seed%5D)%0A%20%20%20%20return%20ctx_slot%2C%20mean_len%2C%20n_req%2C%20seed%2C%20spread%0A%0A%0A%40app.cell%0Adef%20_(ctx_slot%2C%20mean_len%2C%20n_req%2C%20np%2C%20seed%2C%20spread)%3A%0A%20%20%20%20%23%20%E6%8A%BD%E4%B8%80%E6%89%B9%E8%AB%8B%E6%B1%82%E7%9A%84%E5%AF%A6%E9%9A%9B%E9%95%B7%E5%BA%A6%EF%BC%9A%E5%B8%B8%E6%85%8B%E5%88%86%E4%BD%88%E3%80%81%E7%A0%8D%E5%9C%A8%20%5B16%2C%20slot%20context%5D%20%E4%B9%8B%E9%96%93%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(seed.value)%0A%20%20%20%20_raw%20%3D%20_rng.normal(mean_len.value%2C%20mean_len.value%20*%20spread.value%20%2F%20100.0%2C%20n_req.value)%0A%20%20%20%20req_lens%20%3D%20np.clip(np.rint(_raw)%2C%2016%2C%20ctx_slot.value).astype(int)%0A%20%20%20%20return%20(req_lens%2C)%0A%0A%0A%40app.cell%0Adef%20_(BLOCK%2C%20ctx_slot%2C%20np%2C%20req_lens)%3A%0A%20%20%20%20%23%20%E5%85%A9%E5%88%B6%E5%90%84%E8%87%AA%E3%80%8C%E9%85%8D%E5%87%BA%E5%8E%BB%E3%80%8D%E5%A4%9A%E5%B0%91%20token%20%E7%9A%84%E7%A9%BA%E9%96%93%E2%80%94%E2%80%94%E9%80%99%E5%B0%B1%E6%98%AF%E5%85%A8%E8%AA%B2%E7%9A%84%E6%A0%B8%E5%BF%83%E5%85%AC%E5%BC%8F%0A%20%20%20%20used_tokens%20%3D%20int(req_lens.sum())%0A%20%20%20%20slot_alloc%20%3D%20int(len(req_lens)%20*%20ctx_slot.value)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E4%B8%80%E8%AB%8B%E6%B1%82%E4%B8%80%E6%95%B4%E6%A0%BC%0A%20%20%20%20paged_alloc%20%3D%20int((np.ceil(req_lens%20%2F%20BLOCK)%20*%20BLOCK).sum())%20%20%20%23%20%E9%80%B2%E4%BD%8D%E5%88%B0%20block%0A%20%20%20%20slot_util%20%3D%20used_tokens%20%2F%20slot_alloc%0A%20%20%20%20paged_util%20%3D%20used_tokens%20%2F%20paged_alloc%0A%20%20%20%20return%20paged_alloc%2C%20paged_util%2C%20slot_alloc%2C%20slot_util%2C%20used_tokens%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20BLOCK%2C%0A%20%20%20%20C_PAGE%2C%0A%20%20%20%20C_SLOT%2C%0A%20%20%20%20C_WASTE%2C%0A%20%20%20%20ctx_slot%2C%0A%20%20%20%20np%2C%0A%20%20%20%20paged_util%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20req_lens%2C%0A%20%20%20%20slot_util%2C%0A)%3A%0A%20%20%20%20%23%20%E7%81%B0%E8%89%B2%EF%BC%9D%E9%85%8D%E5%87%BA%E5%8E%BB%E7%9A%84%E7%A9%BA%E9%96%93%EF%BC%8C%E5%BD%A9%E8%89%B2%EF%BC%9D%E7%9C%9F%E6%AD%A3%E7%94%A8%E5%88%B0%E7%9A%84%E3%80%82%E7%81%B0%E8%89%B2%E9%9C%B2%E5%87%BA%E4%BE%86%E7%9A%84%E9%83%A8%E5%88%86%E5%B0%B1%E6%98%AF%E6%B5%AA%E8%B2%BB%0A%20%20%20%20_idx%20%3D%20np.arange(len(req_lens))%0A%20%20%20%20_paged%20%3D%20(np.ceil(req_lens%20%2F%20BLOCK)%20*%20BLOCK).astype(int)%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(9.2%2C%203.9)%2C%20sharey%3DTrue)%0A%0A%20%20%20%20_axes%5B0%5D.bar(_idx%2C%20ctx_slot.value%2C%20color%3DC_WASTE)%0A%20%20%20%20_axes%5B0%5D.bar(_idx%2C%20req_lens%2C%20color%3DC_SLOT)%0A%20%20%20%20_axes%5B0%5D.set_title(%0A%20%20%20%20%20%20%20%20f%22Ollama%20%2F%20llama.cpp%20-%20fixed%20slots%5Cnutilization%20%3D%20%7Bslot_util%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10.5%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%20%20%20%20_axes%5B0%5D.set_ylabel(%22KV%20tokens%20allocated%22)%0A%0A%20%20%20%20_axes%5B1%5D.bar(_idx%2C%20_paged%2C%20color%3DC_WASTE)%0A%20%20%20%20_axes%5B1%5D.bar(_idx%2C%20req_lens%2C%20color%3DC_PAGE)%0A%20%20%20%20_axes%5B1%5D.set_title(%0A%20%20%20%20%20%20%20%20f%22vLLM%20%2F%20PagedAttention%20-%20%7BBLOCK%7D-token%20blocks%5Cnutilization%20%3D%20%7Bpaged_util%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10.5%2C%0A%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20for%20_ax%20in%20_axes%3A%0A%20%20%20%20%20%20%20%20_ax.set_xlabel(%22request%20%23%22)%0A%20%20%20%20%20%20%20%20_ax.set_xticks(_idx)%0A%20%20%20%20%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20%20%20%20%20_ax.set_axisbelow(True)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20mo%2C%0A%20%20%20%20paged_alloc%2C%0A%20%20%20%20paged_util%2C%0A%20%20%20%20req_lens%2C%0A%20%20%20%20slot_alloc%2C%0A%20%20%20%20slot_util%2C%0A%20%20%20%20used_tokens%2C%0A)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E9%80%99%E6%89%B9%E8%AB%8B%E6%B1%82%E7%9C%9F%E6%AD%A3%E9%9C%80%E8%A6%81%20**%7Bused_tokens%3A%2C%7D%20tokens**%20%E7%9A%84%20KV%20cache%E3%80%82%0A%0A%20%20%20%20%7C%20%7C%20%E9%85%8D%E5%87%BA%E5%8E%BB%E7%9A%84%E7%A9%BA%E9%96%93%20%7C%20%E5%88%A9%E7%94%A8%E7%8E%87%20%7C%20%E6%B5%AA%E8%B2%BB%E6%8E%89%20%7C%0A%20%20%20%20%7C%20---%20%7C%20---%20%7C%20---%20%7C%20---%20%7C%0A%20%20%20%20%7C%20slot%20%E5%9B%BA%E5%AE%9A%E5%88%86%E9%85%8D%20%7C%20%7Bslot_alloc%3A%2C%7D%20tokens%20%7C%20**%7Bslot_util%3A.1%25%7D**%20%7C%20%7Bslot_alloc%20-%20used_tokens%3A%2C%7D%20tokens%20%7C%0A%20%20%20%20%7C%20PagedAttention%20%7C%20%7Bpaged_alloc%3A%2C%7D%20tokens%20%7C%20**%7Bpaged_util%3A.1%25%7D**%20%7C%20%7Bpaged_alloc%20-%20used_tokens%3A%2C%7D%20tokens%20%7C%0A%0A%20%20%20%20%E5%90%8C%E4%B8%80%E6%89%B9%20%7Blen(req_lens)%7D%20%E5%80%8B%E8%AB%8B%E6%B1%82%EF%BC%8Cslot%20%E5%88%B6%E8%A6%81%20**%7Bslot_alloc%20%2F%20paged_alloc%3A.1f%7D%20%E5%80%8D**%E7%9A%84%E8%A8%98%E6%86%B6%E9%AB%94%E6%89%8D%E8%A3%9D%E5%BE%97%E4%B8%8B%E3%80%82%0A%0A%20%20%20%20%E7%8F%BE%E5%9C%A8%E6%8A%8A%E3%80%8C%E8%AB%8B%E6%B1%82%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%E3%80%8D%E6%8B%89%E5%88%B0%E6%9C%80%E5%8F%B3%E9%82%8A%EF%BC%88%E6%8E%A5%E8%BF%91%20slot%20context%EF%BC%89%E2%80%94%E2%80%94%E5%85%A9%E9%82%8A%E7%9A%84%E5%B7%AE%E8%B7%9D%E6%9C%83%E5%A1%8C%E4%B8%8B%E4%BE%86%E3%80%82%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%E9%87%8D%E9%BB%9E%EF%BC%9A**slot%20%E5%88%B6%E4%B8%8D%E6%98%AF%E6%AF%94%E8%BC%83%E7%AC%A8%EF%BC%8C%E6%98%AF%E5%AE%83%E5%81%87%E8%A8%AD%E6%AF%8F%E5%80%8B%E8%AB%8B%E6%B1%82%E9%83%BD%E6%9C%83%E7%94%A8%E6%BB%BF**%E3%80%82%E8%AB%8B%E6%B1%82%E8%B6%8A%E7%9F%AD%E3%80%81%E9%95%B7%E5%BA%A6%E8%B6%8A%E5%8F%83%E5%B7%AE%EF%BC%8C%0A%20%20%20%20%E5%AE%83%E8%B3%A0%E5%BE%97%E8%B6%8A%E5%A4%9A%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E9%80%99%E4%BB%B6%E4%BA%8B%E7%9C%9F%E6%AD%A3%E7%9A%84%E4%BB%A3%E5%83%B9%EF%BC%9A%E8%83%BD%E5%90%8C%E6%99%82%E6%9C%8D%E5%8B%99%E5%B9%BE%E5%80%8B%E4%BA%BA%0A%0A%20%20%20%20%E5%88%A9%E7%94%A8%E7%8E%87%E5%8F%AA%E6%98%AF%E5%B8%B3%E9%9D%A2%E6%95%B8%E5%AD%97%E3%80%82%E6%8A%8A%E5%AE%83%E6%8F%9B%E6%88%90%E3%80%8C%E5%90%8C%E4%B8%80%E5%A1%8A%20VRAM%20%E8%83%BD%E5%90%8C%E6%99%82%E8%A3%9D%E4%B8%8B%E5%B9%BE%E5%80%8B%E8%AB%8B%E6%B1%82%E3%80%8D%EF%BC%8C%0A%20%20%20%20%E6%89%8D%E7%9C%8B%E5%BE%97%E5%87%BA%E7%82%BA%E4%BB%80%E9%BA%BC%20vLLM%20%E6%95%A2%E8%AA%AA%E8%87%AA%E5%B7%B1%E9%AB%98%E4%B8%A6%E7%99%BC%E3%80%82%E4%B8%8B%E9%9D%A2%E5%9B%BA%E5%AE%9A%E4%B8%80%E5%80%8B%20KV%20cache%20%E9%A0%90%E7%AE%97%EF%BC%8C%0A%20%20%20%20%E6%8E%83%E9%81%8E%E5%90%84%E7%A8%AE%E8%AB%8B%E6%B1%82%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%EF%BC%8C%E7%AE%97%E5%85%A9%E5%88%B6%E5%90%84%E8%83%BD%E5%90%8C%E6%99%82%E5%A1%9E%E5%B9%BE%E5%80%8B%E8%AB%8B%E6%B1%82%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20budget%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%208%2C%20128%2C%208%2C%20value%3D48%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E7%95%99%E7%B5%A6%20KV%20cache%20%E7%9A%84%E9%A0%90%E7%AE%97%EF%BC%88%E5%8D%83%20tokens%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20budget%0A%20%20%20%20return%20(budget%2C)%0A%0A%0A%40app.cell%0Adef%20_(BLOCK%2C%20budget%2C%20ctx_slot%2C%20np%2C%20seed%2C%20spread)%3A%0A%20%20%20%20%23%20slot%20%E5%88%B6%EF%BC%9A%E8%83%BD%E9%96%8B%E5%B9%BE%E5%80%8B%20slot%20%E5%8F%AA%E8%B7%9F%20context%20%E8%A8%AD%E5%AE%9A%E6%9C%89%E9%97%9C%EF%BC%8C%E8%B7%9F%E8%AB%8B%E6%B1%82%E5%A4%9A%E7%9F%AD%E5%AE%8C%E5%85%A8%E7%84%A1%E9%97%9C%0A%20%20%20%20%23%20paged%20%E5%88%B6%EF%BC%9A%E4%B8%80%E5%80%8B%E4%B8%80%E5%80%8B%E5%A1%9E%EF%BC%8C%E5%A1%9E%E5%88%B0%E9%A0%90%E7%AE%97%E7%94%A8%E5%AE%8C%E7%82%BA%E6%AD%A2%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(seed.value%20%2B%201000)%0A%20%20%20%20_cap%20%3D%20budget.value%20*%201000%0A%20%20%20%20means%20%3D%20np.arange(100%2C%203701%2C%20100)%0A%20%20%20%20slot_fit%20%3D%20np.full(len(means)%2C%20_cap%20%2F%2F%20ctx_slot.value%2C%20dtype%3Dfloat)%0A%20%20%20%20paged_fit%20%3D%20np.zeros(len(means))%0A%20%20%20%20for%20_i%2C%20_m%20in%20enumerate(means)%3A%0A%20%20%20%20%20%20%20%20_lens%20%3D%20np.clip(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.rint(_rng.normal(_m%2C%20_m%20*%20spread.value%20%2F%20100.0%2C%20800))%2C%2016%2C%20ctx_slot.value%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_cum%20%3D%20np.cumsum(np.ceil(_lens%20%2F%20BLOCK)%20*%20BLOCK)%0A%20%20%20%20%20%20%20%20paged_fit%5B_i%5D%20%3D%20int((_cum%20%3C%3D%20_cap).sum())%0A%20%20%20%20return%20means%2C%20paged_fit%2C%20slot_fit%0A%0A%0A%40app.cell%0Adef%20_(C_PAGE%2C%20C_SLOT%2C%20budget%2C%20ctx_slot%2C%20means%2C%20paged_fit%2C%20plt%2C%20slot_fit)%3A%0A%20%20%20%20_fig2%2C%20_ax2%20%3D%20plt.subplots(figsize%3D(9.2%2C%203.9))%0A%20%20%20%20_ax2.plot(means%2C%20slot_fit%2C%20color%3DC_SLOT%2C%20lw%3D3%2C%20label%3D%22fixed%20slots%20(Ollama)%22)%0A%20%20%20%20_ax2.plot(means%2C%20paged_fit%2C%20color%3DC_PAGE%2C%20lw%3D3%2C%20label%3D%22PagedAttention%20(vLLM)%22)%0A%20%20%20%20_ax2.fill_between(means%2C%20slot_fit%2C%20paged_fit%2C%20where%3D(paged_fit%20%3E%3D%20slot_fit)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DC_PAGE%2C%20alpha%3D0.10)%0A%20%20%20%20_ax2.set_yscale(%22log%22)%0A%20%20%20%20_ax2.set_xlabel(%22mean%20request%20length%20(tokens)%22)%0A%20%20%20%20_ax2.set_ylabel(%22concurrent%20requests%20served%20(log)%22)%0A%20%20%20%20_ax2.set_title(%0A%20%20%20%20%20%20%20%20f%22KV%20budget%20%7Bbudget.value%7Dk%20tokens%2C%20slot%20context%20%7Bctx_slot.value%7D%22%2C%0A%20%20%20%20%20%20%20%20fontsize%3D10.5%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax2.legend(fontsize%3D9.5)%0A%20%20%20%20_ax2.grid(alpha%3D0.3)%0A%20%20%20%20_ax2.set_axisbelow(True)%0A%20%20%20%20_fig2.tight_layout()%0A%20%20%20%20_fig2%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(budget%2C%20ctx_slot%2C%20means%2C%20mo%2C%20paged_fit%2C%20slot_fit)%3A%0A%20%20%20%20_i_short%20%3D%203%20%20%20%23%20%E5%B9%B3%E5%9D%87%20400%20tokens%0A%20%20%20%20_i_long%20%3D%20len(means)%20-%201%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E6%A9%98%E7%B7%9A%E6%98%AF**%E4%B8%80%E6%A2%9D%E6%B0%B4%E5%B9%B3%E7%B7%9A**%E2%80%94%E2%80%94%E9%80%99%E5%B0%B1%E6%98%AF%E5%8C%85%E5%BB%82%E5%88%B6%EF%BC%9Aslot%20%E9%96%8B%E5%B9%BE%E5%80%8B%E7%94%B1%20%60-c%60%20%E8%B7%9F%20%60-np%60%20%E6%B1%BA%E5%AE%9A%EF%BC%8C%0A%20%20%20%20%E8%AB%8B%E6%B1%82%E7%9F%AD%E4%B8%8D%E7%9F%AD%E5%AE%83%E4%B8%80%E9%BB%9E%E9%83%BD%E4%B8%8D%E5%9C%A8%E4%B9%8E%E3%80%82%7Bbudget.value%7Dk%20%E7%9A%84%E9%A0%90%E7%AE%97%E9%85%8D%20%7Bctx_slot.value%7D%20%E7%9A%84%20context%EF%BC%8C%0A%20%20%20%20%E6%B0%B8%E9%81%A0%E5%8F%AA%E6%9C%89%20**%7Bint(slot_fit%5B0%5D)%7D%20%E5%80%8B%E4%BD%8D%E5%AD%90**%E3%80%82%0A%0A%20%20%20%20%E8%97%8D%E7%B7%9A%E6%9C%83%E9%9A%A8%E8%AB%8B%E6%B1%82%E8%AE%8A%E7%9F%AD%E4%B8%80%E8%B7%AF%E5%BE%80%E4%B8%8A%E8%A1%9D%EF%BC%9A%E5%B9%B3%E5%9D%87%20%7Bint(means%5B_i_short%5D)%7D%20tokens%20%E6%99%82%E8%83%BD%E5%90%8C%E6%99%82%E6%9C%8D%E5%8B%99%0A%20%20%20%20**%7Bint(paged_fit%5B_i_short%5D)%7D%20%E5%80%8B**%E8%AB%8B%E6%B1%82%EF%BC%88%7Bpaged_fit%5B_i_short%5D%20%2F%20max(slot_fit%5B0%5D%2C%201)%3A.0f%7D%20%E5%80%8D%EF%BC%89%EF%BC%9B%0A%20%20%20%20%E7%AD%89%E5%88%B0%E8%AB%8B%E6%B1%82%E9%95%B7%E5%88%B0%20%7Bint(means%5B_i_long%5D)%7D%20tokens%EF%BC%8C%E8%97%8D%E7%B7%9A%E5%B0%B1%E6%8E%89%E4%B8%8B%E4%BE%86%E8%B2%BC%E8%BF%91%E6%A9%98%E7%B7%9A%E4%BA%86%E3%80%82%0A%0A%20%20%20%20%E9%A0%86%E8%91%97%E7%9C%8B%E4%B8%8B%E5%8E%BB%E5%B0%B1%E6%87%82%E4%BA%86%EF%BC%9A**continuous%20batching%20%E8%A6%81%E8%83%BD%E9%9A%A8%E6%99%82%E6%8F%92%E5%85%A5%E3%80%81%E7%A7%BB%E5%87%BA%E8%AB%8B%E6%B1%82%EF%BC%8C%E5%89%8D%E6%8F%90%E6%98%AF%E8%A8%98%E6%86%B6%E9%AB%94%E8%83%BD%E5%8B%95%E6%85%8B%E5%88%86%E9%85%8D**%E3%80%82%0A%20%20%20%20PagedAttention%20%E6%8F%90%E4%BE%9B%E7%9A%84%E6%AD%A3%E6%98%AF%E9%80%99%E5%80%8B%E8%83%BD%E5%8A%9B%E2%80%94%E2%80%94%E9%AB%98%E4%B8%A6%E7%99%BC%E4%B8%8D%E6%98%AF%E5%8F%A6%E4%B8%80%E9%A0%85%E5%8A%9F%E8%83%BD%EF%BC%8C%E6%98%AF%E5%90%8C%E4%B8%80%E4%BB%B6%E4%BA%8B%E7%9A%84%E7%B5%90%E6%9E%9C%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E5%B8%B8%E9%A7%90%E8%88%87%E5%8D%B8%E8%BC%89%EF%BC%9AVRAM%20%E7%9A%84%E5%85%A9%E7%A8%AE%E8%84%BE%E6%B0%A3%0A%0A%20%20%20%20%E7%AC%AC%E4%BA%8C%E5%80%8B%E5%B7%AE%E7%95%B0%E8%B7%9F%E8%A8%98%E6%86%B6%E9%AB%94%E5%A4%9A%E5%AF%A1%E7%84%A1%E9%97%9C%EF%BC%8C%E8%B7%9F**%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E4%BD%94%E8%91%97**%E6%9C%89%E9%97%9C%EF%BC%9A%0A%0A%20%20%20%20-%20**Ollama**%EF%BC%9A%E7%AC%AC%E4%B8%80%E6%AC%A1%E6%8E%A8%E7%90%86%E6%89%8D%E6%8A%8A%E6%A8%A1%E5%9E%8B%E6%90%AC%E9%80%B2%20GPU%EF%BC%8C%E9%96%92%E7%BD%AE%E9%A0%90%E8%A8%AD%205%20%E5%88%86%E9%90%98%E5%B0%B1%E5%8D%B8%E8%BC%89%E3%80%81%E6%8A%8A%20VRAM%20%E9%82%84%E4%BD%A0%E3%80%82%0A%20%20%20%20%20%20%EF%BC%88%60OLLAMA_KEEP_ALIVE%3D-1%60%20%E5%8F%AF%E4%BB%A5%E5%8F%AB%E5%AE%83%E6%B0%B8%E4%B9%85%E5%B8%B8%E9%A7%90%E3%80%82%EF%BC%89%0A%20%20%20%20-%20**vLLM**%EF%BC%9A%E5%95%9F%E5%8B%95%E5%B0%B1%E6%8A%8A%E6%AC%8A%E9%87%8D%EF%BC%8BKV%20cache%20%E7%A9%BA%E9%96%93%E5%85%A8%E9%83%A8%E9%A0%90%E9%85%8D%E5%A5%BD%EF%BC%8C%E4%B8%80%E7%9B%B4%E4%BD%94%E8%91%97%E2%80%94%E2%80%94%E6%8F%9B%E4%BE%86%E7%A9%A9%E5%AE%9A%E7%9A%84%E9%AB%98%E5%90%9E%E5%90%90%E3%80%82%0A%0A%20%20%20%20%E4%BB%A3%E5%83%B9%E5%AF%AB%E5%9C%A8%E5%AF%A6%E6%B8%AC%E8%A3%A1%EF%BC%88RTX%204090%E3%80%81Llama%203.1%208B%20Q4_K_M%E3%80%81%E9%96%92%E7%BD%AE%E5%BE%8C%E7%AC%AC%E4%B8%80%E6%AC%A1%E8%AB%8B%E6%B1%82%EF%BC%89%EF%BC%9A%0A%20%20%20%20Ollama%20%E5%86%B7%E5%95%9F%E5%8B%95%E9%A6%96%20token%20%E8%A6%81%20**8.3%20%E7%A7%92**%EF%BC%8CvLLM%20%E6%98%AF%20**0.4%20%E7%A7%92**%EF%BC%9B%E4%BD%86%E6%9A%96%E6%A9%9F%E4%B9%8B%E5%BE%8C%E5%85%A9%E8%80%85%E7%A9%A9%E6%85%8B%E9%80%9F%E5%BA%A6%0A%20%20%20%20%E5%B9%BE%E4%B9%8E%E4%B8%80%E6%A8%A3%EF%BC%88138%20vs%20142%20tokens%2Fs%EF%BC%89%E3%80%82**%E5%B7%AE%E5%88%A5%E5%8F%AA%E5%9C%A8%E5%86%B7%E5%95%9F%E5%8B%95%E3%80%82**%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%A8%A1%E6%93%AC%E4%B8%80%E6%AE%B5%E6%99%82%E9%96%93%E5%85%A7%E9%9B%B6%E6%98%9F%E9%80%B2%E4%BE%86%E7%9A%84%E8%AB%8B%E6%B1%82%EF%BC%88%E5%88%B0%E9%81%94%E6%99%82%E9%96%93%E7%94%A8%E6%8C%87%E6%95%B8%E5%88%86%E4%BD%88%E6%8A%BD%EF%BC%8C%E6%98%AF%E6%95%99%E5%AD%B8%E7%94%A8%E7%9A%84%E6%A8%A1%E5%9E%8B%E4%B8%8D%E6%98%AF%E5%AF%A6%E6%B8%AC%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E7%9C%8B%E4%BD%A0%E7%9A%84%E4%BD%BF%E7%94%A8%E7%AF%80%E5%A5%8F%E6%9C%83%E4%B8%8D%E6%9C%83%E4%B8%80%E7%9B%B4%E8%B8%A9%E5%88%B0%E5%86%B7%E5%95%9F%E5%8B%95%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20gap_min%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.5%2C%2030.0%2C%200.5%2C%20value%3D8.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E5%85%A9%E6%AC%A1%E8%AB%8B%E6%B1%82%E7%9A%84%E5%B9%B3%E5%9D%87%E9%96%93%E9%9A%94%EF%BC%88%E5%88%86%E9%90%98%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20keep_alive%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%2030%2C%201%2C%20value%3D5%2C%0A%20%20%20%20%20%20%20%20label%3D%22Ollama%20%E9%96%92%E7%BD%AE%E5%8D%B8%E8%BC%89%E9%96%80%E6%AA%BB%EF%BC%88%E5%88%86%E9%90%98%EF%BC%8C%E9%A0%90%E8%A8%AD%205%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20window_h%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%208%2C%201%2C%20value%3D4%2C%20label%3D%22%E6%A8%A1%E6%93%AC%E6%99%82%E9%95%B7%EF%BC%88%E5%B0%8F%E6%99%82%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bgap_min%2C%20keep_alive%2C%20window_h%5D)%0A%20%20%20%20return%20gap_min%2C%20keep_alive%2C%20window_h%0A%0A%0A%40app.cell%0Adef%20_(gap_min%2C%20keep_alive%2C%20np%2C%20window_h)%3A%0A%20%20%20%20_win%20%3D%20window_h.value%20*%2060.0%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(11)%0A%20%20%20%20_ts%20%3D%20np.cumsum(_rng.exponential(gap_min.value%2C%20int(_win%20%2F%20gap_min.value%20*%204)%20%2B%2040))%0A%20%20%20%20arrivals%20%3D%20_ts%5B_ts%20%3C%20_win%5D%0A%20%20%20%20%23%20%E8%B7%9D%E4%B8%8A%E4%B8%80%E6%AC%A1%E8%AB%8B%E6%B1%82%E8%B6%85%E9%81%8E%E9%96%80%E6%AA%BB%20%E2%86%92%20%E6%A8%A1%E5%9E%8B%E5%B7%B2%E7%B6%93%E8%A2%AB%E5%8D%B8%E8%BC%89%20%E2%86%92%20%E9%80%99%E4%B8%80%E7%99%BC%E6%98%AF%E5%86%B7%E5%95%9F%E5%8B%95%EF%BC%88%E7%AC%AC%E4%B8%80%E7%99%BC%E4%B8%80%E5%AE%9A%E6%98%AF%E5%86%B7%E7%9A%84%EF%BC%89%0A%20%20%20%20is_cold%20%3D%20np.diff(arrivals%2C%20prepend%3D-1e9)%20%3E%20keep_alive.value%0A%20%20%20%20%23%20Ollama%20%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E4%BD%94%E8%91%97%20VRAM%EF%BC%9A%E4%BB%BB%E4%B8%80%E8%AB%8B%E6%B1%82%E4%B9%8B%E5%BE%8C%E7%9A%84%20keep_alive%20%E5%88%86%E9%90%98%E5%85%A7%0A%20%20%20%20grid_t%20%3D%20np.arange(0%2C%20_win%2C%200.25)%0A%20%20%20%20_last%20%3D%20np.searchsorted(arrivals%2C%20grid_t%2C%20side%3D%22right%22)%20-%201%0A%20%20%20%20ollama_on%20%3D%20(_last%20%3E%3D%200)%20%26%20(%0A%20%20%20%20%20%20%20%20(grid_t%20-%20arrivals%5Bnp.clip(_last%2C%200%2C%20None)%5D)%20%3C%3D%20keep_alive.value%0A%20%20%20%20)%0A%20%20%20%20return%20arrivals%2C%20grid_t%2C%20is_cold%2C%20ollama_on%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20C_PAGE%2C%0A%20%20%20%20C_SLOT%2C%0A%20%20%20%20OLLAMA_VRAM%2C%0A%20%20%20%20VLLM_VRAM%2C%0A%20%20%20%20arrivals%2C%0A%20%20%20%20grid_t%2C%0A%20%20%20%20is_cold%2C%0A%20%20%20%20ollama_on%2C%0A%20%20%20%20plt%2C%0A)%3A%0A%20%20%20%20_fig3%2C%20_ax3%20%3D%20plt.subplots(figsize%3D(9.2%2C%203.9))%0A%20%20%20%20_ax3.fill_between(%0A%20%20%20%20%20%20%20%20grid_t%2C%200%2C%20ollama_on%20*%20OLLAMA_VRAM%2C%20step%3D%22post%22%2C%0A%20%20%20%20%20%20%20%20color%3DC_SLOT%2C%20alpha%3D0.35%2C%20label%3Df%22Ollama%20held%20(%7BOLLAMA_VRAM%7D%20GB%20when%20loaded)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax3.axhline(%0A%20%20%20%20%20%20%20%20VLLM_VRAM%2C%20color%3DC_PAGE%2C%20lw%3D3%2C%0A%20%20%20%20%20%20%20%20label%3Df%22vLLM%20held%20(%7BVLLM_VRAM%7D%20GB%2C%20always)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax3.scatter(%0A%20%20%20%20%20%20%20%20arrivals%5B~is_cold%5D%2C%20%5B0.55%5D%20*%20int((~is_cold).sum())%2C%0A%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%20s%3D26%2C%20color%3DC_PAGE%2C%20zorder%3D5%2C%20label%3D%22warm%20request%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax3.scatter(%0A%20%20%20%20%20%20%20%20arrivals%5Bis_cold%5D%2C%20%5B0.55%5D%20*%20int(is_cold.sum())%2C%0A%20%20%20%20%20%20%20%20marker%3D%22X%22%2C%20s%3D70%2C%20color%3D%22%23C44E52%22%2C%20zorder%3D6%2C%20label%3D%22cold%20start%20(%2B8.3%20s)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax3.set_xlabel(%22minutes%22)%0A%20%20%20%20_ax3.set_ylabel(%22VRAM%20held%20(GB)%22)%0A%20%20%20%20_ax3.set_ylim(0%2C%20VLLM_VRAM%20*%201.25)%0A%20%20%20%20_ax3.set_title(%22Who%20is%20holding%20the%20GPU%2C%20and%20when%22%2C%20fontsize%3D10.5%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax3.legend(fontsize%3D8.5%2C%20ncol%3D2%2C%20loc%3D%22upper%20right%22)%0A%20%20%20%20_ax3.grid(alpha%3D0.3)%0A%20%20%20%20_ax3.set_axisbelow(True)%0A%20%20%20%20_fig3.tight_layout()%0A%20%20%20%20_fig3%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20COLD_TTFT%2C%0A%20%20%20%20OLLAMA_VRAM%2C%0A%20%20%20%20VLLM_VRAM%2C%0A%20%20%20%20arrivals%2C%0A%20%20%20%20is_cold%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20ollama_on%2C%0A%20%20%20%20window_h%2C%0A)%3A%0A%20%20%20%20_n%20%3D%20len(arrivals)%0A%20%20%20%20_c%20%3D%20int(is_cold.sum())%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E9%80%99%20%7Bwindow_h.value%7D%20%E5%B0%8F%E6%99%82%E8%A3%A1%E9%80%B2%E4%BE%86%20**%7B_n%7D%20%E5%80%8B%E8%AB%8B%E6%B1%82**%EF%BC%8C%E5%85%B6%E4%B8%AD%20**%7B_c%7D%20%E5%80%8B%E8%B8%A9%E5%88%B0%E5%86%B7%E5%95%9F%E5%8B%95%0A%20%20%20%20%EF%BC%88%7B_c%20%2F%20max(_n%2C%201)%3A.0%25%7D%EF%BC%89**%EF%BC%8C%E5%85%89%E6%98%AF%E7%AD%89%E6%A8%A1%E5%9E%8B%E4%B8%8A%E8%BB%8A%E5%B0%B1%E5%A4%9A%E8%8A%B1%E4%BA%86%20**%7B_c%20*%20COLD_TTFT%3A.0f%7D%20%E7%A7%92**%E3%80%82%0A%20%20%20%20%E5%90%8C%E4%B8%80%E6%AE%B5%E6%99%82%E9%96%93%20Ollama%20%E5%B9%B3%E5%9D%87%E5%8F%AA%E4%BD%94%E8%91%97%20**%7Bollama_on.mean()%20*%20OLLAMA_VRAM%3A.1f%7D%20GB**%0A%20%20%20%20%EF%BC%88%7Bollama_on.mean()%3A.0%25%7D%20%E7%9A%84%E6%99%82%E9%96%93%E6%9C%89%E8%BC%89%E5%85%A5%EF%BC%89%EF%BC%8CvLLM%20%E5%BE%9E%E9%A0%AD%E5%88%B0%E5%B0%BE%E4%BD%94%E6%BB%BF%20**%7BVLLM_VRAM%7D%20GB**%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8C%E5%85%A9%E7%A8%AE%E8%84%BE%E6%B0%A3%E3%80%8D%E7%9A%84%E5%AE%8C%E6%95%B4%E4%BA%A4%E6%98%93%E6%A2%9D%E4%BB%B6%EF%BC%8C%E6%B2%92%E6%9C%89%E8%AA%B0%E5%B0%8D%E8%AA%B0%E9%8C%AF%EF%BC%9A%0A%0A%20%20%20%20-%20%E6%8A%8A%E3%80%8C%E5%B9%B3%E5%9D%87%E9%96%93%E9%9A%94%E3%80%8D%E6%8B%89%E5%88%B0%201%20%E5%88%86%E9%90%98%EF%BC%88%E5%83%8F%E7%9C%9F%E7%9A%84%E6%9C%89%E4%BA%BA%E5%9C%A8%E7%94%A8%E7%9A%84%E7%94%A2%E5%93%81%EF%BC%89%E2%86%92%20%E5%86%B7%E5%95%9F%E5%8B%95%E5%B9%BE%E4%B9%8E%E6%AD%B8%E9%9B%B6%EF%BC%8C%0A%20%20%20%20%20%20Ollama%20%E4%B9%9F%E4%B8%80%E7%9B%B4%E4%BD%94%E8%91%97%20VRAM%EF%BC%8C%E5%85%A9%E9%82%8A%E7%9A%84%E5%B7%AE%E5%88%A5%E7%9E%AC%E9%96%93%E8%AE%8A%E5%B0%8F%E3%80%82%0A%20%20%20%20-%20%E6%8B%89%E5%88%B0%2020%20%E5%88%86%E9%90%98%EF%BC%88%E4%BD%A0%E8%87%AA%E5%B7%B1%E5%81%B6%E7%88%BE%E5%95%8F%E4%B8%80%E5%8F%A5%EF%BC%89%E2%86%92%20%E5%B9%BE%E4%B9%8E**%E6%AF%8F%E4%B8%80%E7%99%BC%E9%83%BD%E6%98%AF%E5%86%B7%E5%95%9F%E5%8B%95**%EF%BC%8C%0A%20%20%20%20%20%20%E4%BD%86%E4%BD%A0%E7%9A%84%20GPU%20%E6%9C%89%E5%85%AB%E6%88%90%E6%99%82%E9%96%93%E6%98%AF%E7%A9%BA%E7%9A%84%EF%BC%8C%E5%8F%AF%E4%BB%A5%E6%8B%BF%E5%8E%BB%E8%B7%91%E5%88%A5%E7%9A%84%E6%9D%B1%E8%A5%BF%E3%80%82%0A%0A%20%20%20%20%E7%AC%AC%E4%B8%80%E7%A8%AE%E6%83%85%E5%A2%83%E8%A9%B2%E7%94%A8%20vLLM%EF%BC%8C%E7%AC%AC%E4%BA%8C%E7%A8%AE%E8%A9%B2%E7%94%A8%20Ollama%E2%80%94%E2%80%94%E4%B8%8D%E6%98%AF%E5%9B%A0%E7%82%BA%E8%AA%B0%E6%AF%94%E8%BC%83%E5%BF%AB%EF%BC%8C%E6%98%AF%E5%9B%A0%E7%82%BA**%E4%BD%A0%E9%A1%98%E6%84%8F%E7%94%A8%E9%96%92%E7%BD%AE%E7%9A%84%20VRAM%20%E6%8F%9B%E4%BB%80%E9%BA%BC**%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E6%8B%86%E8%A7%A3%E3%80%8C34.2%C3%97%E3%80%8D%EF%BC%9A%E7%B8%BD%E9%87%8F%E4%B8%8D%E6%98%AF%E6%AF%8F%E5%80%8B%E4%BA%BA%E7%9A%84%E9%AB%94%E6%84%9F%0A%0A%20%20%20%20%E5%BC%95%E6%93%8E%E7%9A%84%E8%A1%8C%E9%8A%B7%E5%9C%96%E4%B8%8A%E5%B8%B8%E5%B8%B8%E6%9C%83%E6%9C%89%E4%B8%80%E6%A0%B9%E5%BE%88%E9%AB%98%E7%9A%84%E6%9F%B1%E5%AD%90%E9%85%8D%E4%B8%80%E5%80%8B%E5%BE%88%E5%A4%A7%E7%9A%84%E5%80%8D%E6%95%B8%E3%80%82%E9%80%99%E4%B8%80%E7%AF%80%E6%8A%8A%E4%B8%80%E5%80%8B%E7%9C%9F%E5%AF%A6%E7%9A%84%E4%BE%8B%E5%AD%90%E6%8B%86%E9%96%8B%EF%BC%8C%0A%20%20%20%20%E5%BC%95%E7%94%A8%E7%9A%84%E6%98%AF%E4%B8%80%E4%BB%BD%E5%85%AC%E9%96%8B%E7%9A%84%E5%90%9E%E5%90%90%E5%B0%8D%E7%85%A7%EF%BC%88Ollama%20%E8%B7%91%20Q4_K_M%204-bit%E3%80%81vLLM%20%E8%B7%91%20BF16%2016-bit%EF%BC%8C%0A%20%20%20%20%E7%AC%AC%E4%B8%89%E6%A0%B9%E6%9F%B1%E5%AD%90%E6%98%AF%20**32%20%E5%80%8B%E4%BA%BA%E5%90%8C%E6%99%82%E6%89%93**%E6%99%82%E6%95%B4%E5%8F%B0%E6%A9%9F%E5%99%A8%E7%9A%84%E7%B8%BD%E5%90%9E%E5%90%90%201606.78%20tokens%2Fs%EF%BC%8C%0A%20%20%20%20%E6%A8%99%E9%A1%8C%E6%95%B8%E5%AD%97%2034.2%C3%97%E3%80%81%E7%AC%AC%201%20%E5%B0%8D%E7%AC%AC%202%20%E6%A0%B9%E6%98%AF%204.6%C3%97%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E6%8A%8A%E3%80%8C%E7%B8%BD%E5%90%9E%E5%90%90%E3%80%8D%E9%99%A4%E4%BB%A5%E4%BA%BA%E6%95%B8%EF%BC%8C%E6%8F%9B%E7%AE%97%E6%88%90**%E4%B8%80%E5%80%8B%E4%BD%BF%E7%94%A8%E8%80%85%E5%AF%A6%E9%9A%9B%E6%84%9F%E5%8F%97%E5%88%B0%E7%9A%84%E9%80%9F%E5%BA%A6**%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E5%BC%95%E7%94%A8%E7%9A%84%E6%95%B8%E5%AD%97%EF%BC%88%E7%AC%AC%201%20%E6%A0%B9%E6%9F%B1%E5%AD%90%E7%94%B1%E3%80%8C%E7%B8%BD%E9%87%8F%201606.78%20%C3%B7%20%E6%A8%99%E9%A1%8C%E5%80%8D%E6%95%B8%2034.2%E3%80%8D%E5%8F%8D%E6%8E%A8%EF%BC%89%0A%20%20%20%20BATCH_TOTAL%20%3D%201606.78%20%20%20%23%20tokens%2Fs%EF%BC%9A32%20%E4%BD%B5%E7%99%BC%E6%99%82%E6%95%B4%E5%8F%B0%E6%A9%9F%E5%99%A8%E5%8A%A0%E8%B5%B7%E4%BE%86%E7%9A%84%E7%B8%BD%E5%90%9E%E5%90%90%0A%20%20%20%20BATCH_N%20%3D%2032%0A%20%20%20%20HEADLINE_X%20%3D%2034.2%20%20%20%20%20%20%20%23%20%E8%A1%8C%E9%8A%B7%E6%A8%99%E9%A1%8C%E4%B8%8A%E7%9A%84%E5%80%8D%E6%95%B8%0A%20%20%20%20SINGLE_X%20%3D%204.6%20%20%20%20%20%20%20%20%20%20%23%20%E7%AC%AC%201%20%E6%A0%B9%20vs%20%E7%AC%AC%202%20%E6%A0%B9%EF%BC%88%E9%83%BD%E6%98%AF%E5%96%AE%E8%AB%8B%E6%B1%82%EF%BC%89%0A%0A%20%20%20%20ollama_single%20%3D%20BATCH_TOTAL%20%2F%20HEADLINE_X%0A%20%20%20%20vllm_single%20%3D%20ollama_single%20*%20SINGLE_X%0A%20%20%20%20per_user_batch%20%3D%20BATCH_TOTAL%20%2F%20BATCH_N%0A%20%20%20%20per_user_gain%20%3D%20per_user_batch%20%2F%20ollama_single%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20BATCH_N%2C%0A%20%20%20%20%20%20%20%20BATCH_TOTAL%2C%0A%20%20%20%20%20%20%20%20HEADLINE_X%2C%0A%20%20%20%20%20%20%20%20ollama_single%2C%0A%20%20%20%20%20%20%20%20per_user_batch%2C%0A%20%20%20%20%20%20%20%20per_user_gain%2C%0A%20%20%20%20%20%20%20%20vllm_single%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20BATCH_N%2C%0A%20%20%20%20BATCH_TOTAL%2C%0A%20%20%20%20C_PAGE%2C%0A%20%20%20%20C_SLOT%2C%0A%20%20%20%20HEADLINE_X%2C%0A%20%20%20%20ollama_single%2C%0A%20%20%20%20per_user_batch%2C%0A%20%20%20%20per_user_gain%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20vllm_single%2C%0A)%3A%0A%20%20%20%20_labels%20%3D%20%5B%22Ollama%5CnQ4_K_M%5Cn1%20request%22%2C%20%22vLLM%5CnBF16%5Cn1%20request%22%2C%20f%22vLLM%5CnBF16%5Cn%7BBATCH_N%7D%20requests%22%5D%0A%20%20%20%20_colors%20%3D%20%5BC_SLOT%2C%20C_PAGE%2C%20C_PAGE%5D%0A%20%20%20%20_fig4%2C%20_ax4%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(9.2%2C%204.1))%0A%0A%20%20%20%20_tot%20%3D%20%5Bollama_single%2C%20vllm_single%2C%20BATCH_TOTAL%5D%0A%20%20%20%20_ax4%5B0%5D.bar(_labels%2C%20_tot%2C%20color%3D_colors)%0A%20%20%20%20_ax4%5B0%5D.set_title(f%22machine%20total%3A%20the%20%7BHEADLINE_X%7Dx%20headline%22%2C%20fontsize%3D10.5%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax4%5B0%5D.set_ylabel(%22tokens%20%2F%20s%22)%0A%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(_tot)%3A%0A%20%20%20%20%20%20%20%20_ax4%5B0%5D.text(_i%2C%20_v%20*%201.02%2C%20f%22%7B_v%3A.0f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20_pu%20%3D%20%5Bollama_single%2C%20vllm_single%2C%20per_user_batch%5D%0A%20%20%20%20_ax4%5B1%5D.bar(_labels%2C%20_pu%2C%20color%3D_colors)%0A%20%20%20%20_ax4%5B1%5D.set_title(f%22per%20user%3A%20only%20%7Bper_user_gain%3A.2f%7Dx%22%2C%20fontsize%3D10.5%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax4%5B1%5D.set_ylabel(%22tokens%20%2F%20s%20per%20user%22)%0A%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(_pu)%3A%0A%20%20%20%20%20%20%20%20_ax4%5B1%5D.text(_i%2C%20_v%20*%201.02%2C%20f%22%7B_v%3A.0f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22)%0A%0A%20%20%20%20for%20_ax%20in%20_ax4%3A%0A%20%20%20%20%20%20%20%20_ax.tick_params(axis%3D%22x%22%2C%20labelsize%3D8)%0A%20%20%20%20%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20%20%20%20%20_ax.set_axisbelow(True)%0A%20%20%20%20_fig4.tight_layout()%0A%20%20%20%20_fig4%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20BATCH_N%2C%0A%20%20%20%20HEADLINE_X%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20ollama_single%2C%0A%20%20%20%20per_user_batch%2C%0A%20%20%20%20per_user_gain%2C%0A%20%20%20%20vllm_single%2C%0A)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E5%8F%B3%E9%82%8A%E9%82%A3%E5%BC%B5%E5%9C%96%E5%B0%B1%E6%98%AF%E5%85%A8%E8%AA%B2%E6%9C%80%E8%A9%B2%E8%A8%98%E4%BD%8F%E7%9A%84%E4%B8%80%E5%8F%A5%E8%A9%B1%EF%BC%9A**%7BHEADLINE_X%7D%C3%97%20%E6%98%AF%E6%A9%9F%E5%99%A8%E7%9A%84%EF%BC%8C%E4%B8%8D%E6%98%AF%E4%BD%A0%E7%9A%84%E3%80%82**%0A%0A%20%20%20%20-%20%E7%AC%AC%E4%B8%89%E6%A0%B9%E6%9F%B1%E5%AD%90%E9%99%A4%E4%BB%A5%20%7BBATCH_N%7D%20%E5%80%8B%E4%BA%BA%20%E2%86%92%20%E6%AF%8F%E4%BA%BA%20**%7Bper_user_batch%3A.0f%7D%20tokens%2Fs**%EF%BC%8C%0A%20%20%20%20%20%20%E5%B0%8D%E4%B8%8A%20Ollama%20%E7%9A%84%20%7Bollama_single%3A.0f%7D%20tokens%2Fs%EF%BC%8C%E5%8F%AA%E6%9C%89%20**%7Bper_user_gain%3A.2f%7D%C3%97**%E3%80%82%0A%20%20%20%20-%20%E8%80%8C%E4%B8%94%E7%AC%AC%201%20%E5%B0%8D%E7%AC%AC%202%20%E6%A0%B9%E7%9A%84%20%7Bvllm_single%20%2F%20ollama_single%3A.1f%7D%C3%97%20%E4%B9%9F%E4%B8%8D%E8%83%BD%E5%85%A8%E7%AE%97%E5%9C%A8%E5%BC%95%E6%93%8E%E9%A0%AD%E4%B8%8A%EF%BC%9A%0A%20%20%20%20%20%20%E5%85%A9%E8%80%85**%E7%B2%BE%E5%BA%A6%E4%B8%8D%E5%90%8C**%EF%BC%88Q4_K_M%204-bit%20vs%20BF16%2016-bit%EF%BC%89%E3%80%82%E7%90%86%E8%AB%96%E4%B8%8A%204-bit%20%E6%9B%B4%E7%9C%81%E8%A8%98%E6%86%B6%E9%AB%94%E3%80%81%E6%9B%B4%E8%A9%B2%E5%BF%AB%EF%BC%8C%0A%20%20%20%20%20%20%E5%AF%A6%E9%9A%9B%E5%8D%BB%E6%85%A2%E2%80%94%E2%80%94%E9%82%A3%E6%98%AF%E9%87%8F%E5%8C%96%E5%AF%A6%E4%BD%9C%E8%88%87%20kernel%20%E7%9A%84%E5%B7%AE%E5%88%A5%EF%BC%8C%E4%B8%8D%E6%98%AF%E5%96%AE%E7%B4%94%E3%80%8C%E5%BC%95%E6%93%8E%E6%AF%94%E8%BC%83%E5%BF%AB%E3%80%8D%E3%80%82%0A%0A%20%20%20%20%E6%89%80%E4%BB%A5%E7%9C%8B%E5%88%B0%E5%A4%A7%E5%80%8D%E6%95%B8%EF%BC%8C%E5%85%88%E5%95%8F%E4%B8%89%E5%8F%A5%EF%BC%9A**%E5%B9%BE%E5%80%8B%E4%BA%BA%E5%90%8C%E6%99%82%E6%89%93%EF%BC%9F%E5%85%A9%E9%82%8A%E7%B2%BE%E5%BA%A6%E4%B8%80%E4%B8%8D%E4%B8%80%E6%A8%A3%EF%BC%9F%E5%80%8D%E6%95%B8%E6%98%AF%E7%B8%BD%E9%87%8F%E9%82%84%E6%98%AF%E5%96%AE%E4%BA%BA%EF%BC%9F**%0A%20%20%20%20%E9%80%99%E4%B8%89%E5%8F%A5%E5%95%8F%E5%AE%8C%EF%BC%8C%E5%A4%9A%E6%95%B8%E8%A1%8C%E9%8A%B7%E5%9C%96%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%AE%83%E8%A9%B2%E6%9C%89%E7%9A%84%E5%A4%A7%E5%B0%8F%E3%80%82%0A%0A%20%20%20%20%E4%B9%9F%E5%88%A5%E5%9B%A0%E6%AD%A4%E8%A6%BA%E5%BE%97%20vLLM%20%E8%A2%AB%E6%88%B3%E7%A0%B4%E4%BA%86%E2%80%94%E2%80%94**%E5%90%9E%E5%90%90%E6%9C%AC%E4%BE%86%E5%B0%B1%E6%98%AF%E5%AE%83%E7%9A%84%E8%B3%A3%E9%BB%9E**%E3%80%82%0A%20%20%20%2032%20%E5%80%8B%E4%BA%BA%E5%90%8C%E6%99%82%E6%89%93%E9%82%84%E8%83%BD%E7%B6%AD%E6%8C%81%E6%AF%8F%E4%BA%BA%20%7Bper_user_batch%3A.0f%7D%20tokens%2Fs%EF%BC%8C%E9%80%99%E6%98%AF%20slot%20%E5%88%B6%E5%81%9A%E4%B8%8D%E5%88%B0%E7%9A%84%E4%BA%8B%EF%BC%9B%0A%20%20%20%20%E5%8F%AA%E6%98%AF%E5%AE%83%E6%8F%9B%E4%BE%86%E7%9A%84%E6%98%AF**%E6%9C%8D%E5%8B%99%E6%9B%B4%E5%A4%9A%E4%BA%BA**%EF%BC%8C%E4%B8%8D%E6%98%AF%E3%80%8C%E8%AE%93%E4%BD%A0%E4%B8%80%E5%80%8B%E4%BA%BA%E5%BF%AB%2034%20%E5%80%8D%E3%80%8D%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%98%AF%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%EF%BC%8C%E6%94%B9%E5%AE%8C%E6%8C%89%20%E2%96%B6%20%E9%87%8D%E8%B7%91%E3%80%82%E5%BB%BA%E8%AD%B0%E6%8C%91%E6%88%B0%EF%BC%88%E7%94%B1%E6%98%93%E5%88%B0%E9%9B%A3%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%201.%20**LEVEL%201**%EF%BC%9A%E6%8A%8A%E4%B8%8A%E9%9D%A2%201%EF%B8%8F%E2%83%A3%20%E7%9A%84%E3%80%8C%E8%AB%8B%E6%B1%82%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%E3%80%8D%E6%8B%89%E5%88%B0%203800%E3%80%81%E3%80%8C%E9%95%B7%E5%BA%A6%E9%9B%A2%E6%95%A3%E5%BA%A6%E3%80%8D%E6%8B%89%E5%88%B0%200%EF%BC%8C%0A%20%20%20%20%20%20%20%E7%9C%8B%E5%85%A9%E5%88%B6%E7%9A%84%E5%88%A9%E7%94%A8%E7%8E%87%E8%AE%8A%E6%88%90%E5%B9%BE%20%25%E3%80%82%E6%83%B3%E4%B8%80%E5%8F%A5%E8%A9%B1%E8%A7%A3%E9%87%8B%E7%82%BA%E4%BB%80%E9%BA%BC%E5%B7%AE%E8%B7%9D%E4%B8%8D%E8%A6%8B%E4%BA%86%E3%80%82%0A%20%20%20%202.%20**LEVEL%202**%EF%BC%9A%E6%8E%83%E6%8F%8F%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%20200%20%E2%86%92%204000%EF%BC%8C%E7%95%AB%E5%87%BA%E3%80%8Cslot%20%E5%88%B6%E8%A6%81%E5%A4%9A%E8%8A%B1%E5%B9%BE%E5%80%8D%E8%A8%98%E6%86%B6%E9%AB%94%E3%80%8D%E7%9A%84%E6%9B%B2%E7%B7%9A%EF%BC%8C%0A%20%20%20%20%20%20%20%E6%89%BE%E5%87%BA%E9%80%99%E5%80%8B%E5%80%8D%E6%95%B8%E6%8E%89%E5%88%B0%202%C3%97%20%E4%BB%A5%E4%B8%8B%E7%9A%84%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%E3%80%82%0A%20%20%20%203.%20**LEVEL%203**%EF%BC%9A%E5%8A%A0%E9%80%B2%20**prefix%20caching**%E2%80%94%E2%80%94%E5%81%87%E8%A8%AD%E6%AF%8F%E5%80%8B%E8%AB%8B%E6%B1%82%E5%89%8D%E9%9D%A2%E9%83%BD%E6%8E%9B%E8%91%97%E5%90%8C%E4%B8%80%E6%AE%B5%20800%20token%20%E7%9A%84%0A%20%20%20%20%20%20%20system%20prompt%EF%BC%8CPagedAttention%20%E5%8F%AF%E4%BB%A5%E8%AE%93%E6%89%80%E6%9C%89%E8%AB%8B%E6%B1%82**%E5%85%B1%E7%94%A8**%E9%82%A3%E5%B9%BE%E5%A1%8A%20block%EF%BC%8Cslot%20%E5%88%B6%E4%B8%8D%E8%A1%8C%E3%80%82%0A%20%20%20%20%20%20%20%E9%87%8D%E7%AE%97%E5%85%A9%E5%88%B6%E7%9A%84%E9%85%8D%E7%BD%AE%E9%87%8F%EF%BC%8C%E7%9C%8B%E5%B7%AE%E8%B7%9D%E8%AE%8A%E5%A4%9A%E5%A4%A7%E3%80%82%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E8%A8%98%E5%BE%97%EF%BC%9A**%E9%BB%9E%E5%8F%B3%E4%B8%8A%E8%A7%92%E4%B8%8B%E8%BC%89%E6%8C%89%E9%88%95%EF%BC%88%E6%88%96%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E9%A0%81%E7%9A%84%E3%80%8C%E4%B8%8B%E8%BC%89%20.py%E3%80%8D%EF%BC%89%E6%8A%8A%E4%BD%A0%E7%9A%84%E7%89%88%E6%9C%AC%E5%B8%B6%E8%B5%B0**%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E5%B0%B1%E8%83%BD%E7%B9%BC%E7%BA%8C%E7%8E%A9%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E6%89%8B%E9%82%8A%E7%9A%84%E7%A9%8D%E6%9C%A8%EF%BC%9Anp%20%E5%B7%B2%E7%B6%93%20import%20%E5%A5%BD%E4%BA%86%E3%80%82%E6%8A%8A%E4%B8%8A%E9%9D%A2%E7%9A%84%E5%85%AC%E5%BC%8F%E6%8A%84%E4%B8%8B%E4%BE%86%E6%94%B9%E5%B0%B1%E5%B0%8D%E4%BA%86%E3%80%82%0A%20%20%20%20my_ctx%20%3D%204096%20%20%20%20%20%20%20%20%23%20slot%20context%0A%20%20%20%20my_block%20%3D%2016%20%20%20%20%20%20%20%20%23%20PagedAttention%20block%0A%20%20%20%20my_lens%20%3D%20np.array(%5B120%2C%20340%2C%2090%2C%201500%2C%20260%5D)%20%20%20%23%20%E6%8F%9B%E6%88%90%E4%BD%A0%E6%83%B3%E8%A9%A6%E7%9A%84%E8%AB%8B%E6%B1%82%E9%95%B7%E5%BA%A6%0A%0A%20%20%20%20my_slot%20%3D%20len(my_lens)%20*%20my_ctx%0A%20%20%20%20my_paged%20%3D%20int((np.ceil(my_lens%20%2F%20my_block)%20*%20my_block).sum())%0A%20%20%20%20print(f%22%E5%AF%A6%E9%9A%9B%E9%9C%80%E8%A6%81%20%7Bmy_lens.sum()%7D%20tokens%22)%0A%20%20%20%20print(f%22slot%20%20%E5%88%B6%E9%85%8D%E7%BD%AE%20%7Bmy_slot%3A6d%7D%20%E2%86%92%20%E5%88%A9%E7%94%A8%E7%8E%87%20%7Bmy_lens.sum()%20%2F%20my_slot%3A.1%25%7D%22)%0A%20%20%20%20print(f%22paged%20%E5%88%B6%E9%85%8D%E7%BD%AE%20%7Bmy_paged%3A6d%7D%20%E2%86%92%20%E5%88%A9%E7%94%A8%E7%8E%87%20%7Bmy_lens.sum()%20%2F%20my_paged%3A.1%25%7D%22)%0A%20%20%20%20print(f%22slot%20%E5%88%B6%E8%A6%81%E5%A4%9A%E8%8A%B1%20%7Bmy_slot%20%2F%20my_paged%3A.1f%7D%20%E5%80%8D%E8%A8%98%E6%86%B6%E9%AB%94%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%8A%8A%201%EF%B8%8F%E2%83%A3%20%E7%9A%84%E6%8B%89%E6%A1%BF%E8%A8%AD%E6%88%90%E3%80%8C%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%203800%E3%80%81%E9%9B%A2%E6%95%A3%E5%BA%A6%200%E3%80%81context%204096%E3%80%8D%EF%BC%8C%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%0A%20%20%20%20**slot%20%E5%88%A9%E7%94%A8%E7%8E%87%E8%B7%B3%E5%88%B0%2092%25%20%E5%B7%A6%E5%8F%B3%E3%80%81paged%20%E7%B4%84%2099%25**%E2%80%94%E2%80%94%E5%85%A9%E9%82%8A%E5%B9%BE%E4%B9%8E%E4%B8%80%E6%A8%A3%E4%BA%86%E3%80%82%0A%0A%20%20%20%20%E4%B8%80%E5%8F%A5%E8%A9%B1%E8%A7%A3%E9%87%8B%EF%BC%9A**slot%20%E5%88%B6%E7%9A%84%E6%B5%AA%E8%B2%BB%EF%BC%9D%E9%85%8D%E9%A1%8D%E6%B8%9B%E5%8E%BB%E5%AF%A6%E9%9A%9B%E7%94%A8%E9%87%8F**%E3%80%82%E7%95%B6%E6%AF%8F%E5%80%8B%E8%AB%8B%E6%B1%82%E9%83%BD%E5%BF%AB%E7%94%A8%E6%BB%BF%E4%B8%80%E6%95%B4%E6%A0%BC%EF%BC%8C%0A%20%20%20%20%E9%82%A3%E5%80%8B%E6%B8%9B%E6%B3%95%E5%B0%B1%E8%B6%A8%E8%BF%91%E6%96%BC%E9%9B%B6%E3%80%82%E6%89%80%E4%BB%A5%20slot%20%E5%88%B6%E4%B8%8D%E6%98%AF%E3%80%8C%E7%B8%BD%E6%98%AF%E5%BE%88%E7%88%9B%E3%80%8D%EF%BC%8C%E6%98%AF%E5%AE%83**%E6%8A%BC%E6%B3%A8%E5%9C%A8%E3%80%8C%E8%AB%8B%E6%B1%82%E9%83%BD%E6%9C%83%E7%94%A8%E6%BB%BF%E3%80%8D%E4%B8%8A**%E2%80%94%E2%80%94%0A%20%20%20%20%E6%8A%BC%E5%B0%8D%E4%BA%86%E5%B0%B1%E6%B2%92%E4%BA%8B%EF%BC%8C%E6%8A%BC%E9%8C%AF%EF%BC%88%E7%9F%AD%E8%AB%8B%E6%B1%82%E3%80%81%E9%95%B7%E5%BA%A6%E5%8F%83%E5%B7%AE%EF%BC%89%E6%89%8D%E8%B3%A0%E3%80%82%E9%80%99%E4%B9%9F%E8%A7%A3%E9%87%8B%E4%BA%86%E7%82%BA%E4%BB%80%E9%BA%BC%E5%80%8B%E4%BA%BA%E4%BD%BF%E7%94%A8%E7%9A%84%E9%AB%94%E6%84%9F%E5%B7%AE%E4%B8%8D%E5%A4%9A%E3%80%81%0A%20%20%20%20%E4%B8%80%E4%B8%8A%E5%88%B0%E5%A4%9A%E4%BA%BA%E6%9C%8D%E5%8B%99%E5%B0%B1%E5%B7%AE%E5%BE%88%E5%A4%9A%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E8%B2%BC%E9%80%B2%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%EF%BC%9A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20import%20matplotlib.pyplot%20as%20_plt%0A%0A%20%20%20%20rng2%20%3D%20np.random.default_rng(0)%0A%20%20%20%20ms%2C%20ratios%20%3D%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20for%20m%20in%20range(200%2C%204001%2C%20200)%3A%0A%20%20%20%20%20%20%20%20lens%20%3D%20np.clip(np.rint(rng2.normal(m%2C%20m%20*%200.6%2C%20500))%2C%2016%2C%204096)%0A%20%20%20%20%20%20%20%20ratio%20%3D%20(len(lens)%20*%204096)%20%2F%20(np.ceil(lens%20%2F%2016)%20*%2016).sum()%0A%20%20%20%20%20%20%20%20ms.append(m)%3B%20ratios.append(ratio)%0A%0A%20%20%20%20fig%2C%20ax%20%3D%20_plt.subplots(figsize%3D(7%2C%203.6))%0A%20%20%20%20ax.plot(ms%2C%20ratios%2C%20lw%3D3%2C%20color%3D%22%234C72B0%22)%0A%20%20%20%20ax.axhline(2%2C%20ls%3D%22--%22%2C%20color%3D%22%23C44E52%22)%0A%20%20%20%20ax.set_xlabel(%22mean%20request%20length%20(tokens)%22)%0A%20%20%20%20ax.set_ylabel(%22slot%20%2F%20paged%20memory%20ratio%22)%0A%20%20%20%20ax.grid(alpha%3D0.3)%0A%20%20%20%20fig%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E4%BD%A0%E6%87%89%E8%A9%B2%E7%9C%8B%E5%88%B0%E4%B8%80%E6%A2%9D%E5%BE%9E%E5%B7%A6%E4%B8%8A%E5%BE%80%E5%8F%B3%E4%B8%8B%E6%BB%91%E7%9A%84%E6%9B%B2%E7%B7%9A%EF%BC%9A%E5%B9%B3%E5%9D%87%20200%20tokens%20%E6%99%82%20slot%20%E5%88%B6%E8%A6%81%E5%A4%9A%E8%8A%B1%E7%B4%84%20**20%20%E5%80%8D**%0A%20%20%20%20%E8%A8%98%E6%86%B6%E9%AB%94%EF%BC%8C600%20%E6%99%82%E7%B4%84%20**7%20%E5%80%8D**%EF%BC%8C**%E5%B9%B3%E5%9D%87%E9%95%B7%E5%BA%A6%E5%A4%A7%E7%B4%84%202000%20%E5%87%BA%E9%A0%AD%E6%99%82%E6%8E%89%E5%88%B0%202%C3%97%20%E4%BB%A5%E4%B8%8B**%EF%BC%8C%0A%20%20%20%20%E5%88%B0%204000%EF%BC%88%E6%8E%A5%E8%BF%91%20context%20%E4%B8%8A%E9%99%90%EF%BC%89%E5%B0%B1%E5%8F%AA%E5%89%A9%201.3%20%E5%80%8D%E5%B7%A6%E5%8F%B3%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E6%A2%9D%E7%B7%9A%E5%B0%B1%E6%98%AF%E9%81%B8%E5%9E%8B%E7%9A%84%E5%88%86%E6%B0%B4%E5%B6%BA%EF%BC%9A**%E7%9F%AD%E8%80%8C%E5%A4%9A%E7%9A%84%E8%AB%8B%E6%B1%82%EF%BC%88%E8%81%8A%E5%A4%A9%E3%80%81agent%20%E7%9A%84%E5%B0%8F%E6%AD%A5%E9%A9%9F%EF%BC%89%E5%B7%AE%E6%9C%80%E5%A4%9A%EF%BC%9B%0A%20%20%20%20%E9%95%B7%E8%80%8C%E6%BB%BF%E7%9A%84%E8%AB%8B%E6%B1%82%EF%BC%88%E6%95%B4%E4%BB%BD%E6%96%87%E4%BB%B6%E5%A1%9E%E9%80%B2%E5%8E%BB%EF%BC%89%E5%B7%AE%E6%9C%80%E5%B0%91**%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%96%B9%E5%90%91%EF%BC%9A%E6%8A%8A%E3%80%8C%E5%85%B1%E7%94%A8%E5%89%8D%E7%B6%B4%E3%80%8D%E5%BE%9E%E6%AF%8F%E5%80%8B%E8%AB%8B%E6%B1%82%E7%9A%84%E5%B8%B3%E4%B8%8A%E6%8B%BF%E6%8E%89%EF%BC%8C%E5%8F%AA%E7%AE%97%E4%B8%80%E6%AC%A1%E3%80%82%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20PREFIX%20%3D%20800%0A%20%20%20%20body%20%3D%20np.array(%5B120%2C%20340%2C%2090%2C%201500%2C%20260%5D)%20%20%20%20%20%20%23%20%E6%AF%8F%E5%80%8B%E8%AB%8B%E6%B1%82%E8%87%AA%E5%B7%B1%E7%9A%84%E9%83%A8%E5%88%86%0A%20%20%20%20n%20%3D%20len(body)%0A%0A%20%20%20%20slot_alloc3%20%20%3D%20n%20*%204096%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20slot%20%E5%88%B6%EF%BC%9A%E5%89%8D%E7%B6%B4%E5%9C%A8%E6%AF%8F%E4%B8%80%E6%A0%BC%E5%90%84%E5%AD%98%E4%B8%80%E4%BB%BD%0A%20%20%20%20prefix_blocks%20%3D%20int(np.ceil(PREFIX%20%2F%2016)%20*%2016)%20%20%20%23%20paged%20%E5%88%B6%EF%BC%9A%E6%95%B4%E6%89%B9%E5%8F%AA%E5%AD%98%E4%B8%80%E4%BB%BD%0A%20%20%20%20paged_alloc3%20%3D%20prefix_blocks%20%2B%20int((np.ceil(body%20%2F%2016)%20*%2016).sum())%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E6%80%8E%E9%BA%BC%E9%A9%97%E8%AD%89%E8%87%AA%E5%B7%B1%E5%81%9A%E5%B0%8D%E4%BA%86%EF%BC%9A%0A%0A%20%20%20%201.%20%60paged_alloc3%60%20%E6%87%89%E8%A9%B2%E5%8F%AA%E6%AF%94%E3%80%8C%E6%B2%92%E6%9C%89%E5%89%8D%E7%B6%B4%E3%80%8D%E7%9A%84%E7%89%88%E6%9C%AC%E5%A4%9A%20%60prefix_blocks%60%EF%BC%88800%20%E2%86%92%20800%EF%BC%8C%E5%89%9B%E5%A5%BD%E6%95%B4%E9%99%A4%2016%EF%BC%89%EF%BC%8C%0A%20%20%20%20%20%20%20**%E4%B8%8D%E6%9C%83%E9%9A%A8%E8%AB%8B%E6%B1%82%E6%95%B8%E8%AE%8A%E5%A4%9A**%E2%80%94%E2%80%94%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8C%E8%B7%A8%E8%AB%8B%E6%B1%82%E9%87%8D%E7%94%A8%E7%9B%B8%E5%90%8C%E5%89%8D%E7%B6%B4%20block%E3%80%8D%E3%80%82%0A%20%20%20%202.%20%E6%8A%8A%20%60n%60%20%E5%BE%9E%205%20%E5%8A%A0%E5%88%B0%2020%EF%BC%8Cslot%20%E5%88%B6%E7%9A%84%E9%85%8D%E7%BD%AE%E9%87%8F%E6%9C%83%E7%B7%9A%E6%80%A7%E9%95%B7%E5%A4%A7%EF%BC%8Cpaged%20%E5%88%B6%E5%8F%AA%E5%A4%9A%E4%BA%86%20body%20%E7%9A%84%E9%83%A8%E5%88%86%E3%80%82%0A%20%20%20%20%20%20%20%E8%AB%8B%E6%B1%82%E8%B6%8A%E5%A4%9A%EF%BC%8C%E5%85%A9%E8%80%85%E7%9A%84%E6%AF%94%E5%80%BC%E8%B6%8A%E8%AA%87%E5%BC%B5%E3%80%82%0A%20%20%20%203.%20%E5%8F%8D%E9%81%8E%E4%BE%86%E6%83%B3%E4%B8%80%E5%80%8B%20slot%20%E5%88%B6%E4%B9%9F%E8%B4%8F%E5%BE%97%E4%BA%86%E7%9A%84%E6%83%85%E6%B3%81%EF%BC%9A%E5%8F%AA%E6%9C%89**%E4%B8%80%E5%80%8B**%E8%AB%8B%E6%B1%82%E3%80%81%E8%80%8C%E4%B8%94%E5%AE%83%E7%94%A8%E6%BB%BF%E6%95%B4%E6%A0%BC%E2%80%94%E2%80%94%0A%20%20%20%20%20%20%20%E9%80%99%E6%99%82%E5%85%B1%E7%94%A8%E5%89%8D%E7%B6%B4%E7%84%A1%E4%BA%8B%E5%8F%AF%E5%81%9A%EF%BC%8C%E5%85%A9%E5%88%B6%E7%9A%84%E9%85%8D%E7%BD%AE%E9%87%8F%E5%B9%BE%E4%B9%8E%E7%9B%B8%E5%90%8C%E3%80%82%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E4%BD%A0%E5%B0%B1%E6%87%82%E4%BA%86%20vLLM%20%E9%82%A3%E5%8F%A5%E3%80%8C%E9%95%B7%20system%20prompt%20%E9%87%8D%E8%A4%87%E4%BD%BF%E7%94%A8%20%E2%86%92%20%E8%87%AA%E5%8B%95%20Prefix%20Caching%20%E5%A4%A7%E9%99%8D%20TTFT%E3%80%8D%0A%20%20%20%20%E8%83%8C%E5%BE%8C%E5%9C%A8%E8%AC%9B%E4%BB%80%E9%BA%BC%EF%BC%9A**%E8%83%BD%E5%85%B1%E4%BA%AB%EF%BC%8C%E6%98%AF%E5%9B%A0%E7%82%BA%E8%A8%98%E6%86%B6%E9%AB%94%E6%98%AF%E4%B8%80%E5%A1%8A%E4%B8%80%E5%A1%8A%E7%99%BC%E7%9A%84**%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A