KV Cache 分層：LMCache 與 SSD 卸載（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22KV%20Cache%20%E5%88%86%E5%B1%A4%EF%BC%9ALMCache%20%E8%88%87%20SSD%20%E5%8D%B8%E8%BC%89%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20KV%20Cache%20%E5%88%86%E5%B1%A4%EF%BC%9ALMCache%20%E8%88%87%20SSD%20%E5%8D%B8%E8%BC%89%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%94%B9%E5%A3%9E%E4%BA%86%E4%B9%9F%E6%B2%92%E9%97%9C%E4%BF%82%EF%BC%9A%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E4%B8%80%E8%AA%B2%E7%9A%84%E7%AE%97%E7%9B%A4%E5%8F%AA%E6%9C%89%E5%85%A9%E7%AD%86%E5%B8%B3%EF%BC%9A**KV%20%E6%9C%89%E5%A4%9A%E5%A4%A7**%EF%BC%88%E6%B1%BA%E5%AE%9A%E6%94%BE%E5%BE%97%E4%B8%8B%E5%93%AA%E4%B8%80%E5%B1%A4%EF%BC%89%EF%BC%8C%0A%20%20%20%20**%E8%BC%89%E5%9B%9E%E4%BE%86%E6%AF%94%E9%87%8D%E7%AE%97%E5%BF%AB%E5%A4%9A%E5%B0%91**%EF%BC%88%E6%B1%BA%E5%AE%9A%E5%80%BC%E4%B8%8D%E5%80%BC%E5%BE%97%EF%BC%89%E3%80%82%E5%85%A9%E7%AD%86%E9%83%BD%E5%9C%A8%E4%B8%8B%E9%9D%A2%E7%9C%9F%E7%9A%84%E7%AE%97%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%B5%A6%E5%85%A8%20notebook%20%E7%94%A8%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20matplotlib.patches%20import%20Patch%0A%0A%20%20%20%20return%20Patch%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20%E4%B8%89%E5%B1%A4%E5%84%B2%E5%AD%98%E7%9A%84%E9%A0%BB%E5%AF%AC%E9%87%8F%E7%B4%9A%EF%BC%88GB%2Fs%EF%BC%89%E3%80%82%E6%83%B3%E6%8F%9B%E6%88%90%E8%87%AA%E5%B7%B1%E6%A9%9F%E5%99%A8%E5%AF%A6%E6%B8%AC%E7%9A%84%E5%80%BC%E5%B0%B1%E6%94%B9%E9%80%99%E8%A3%A1%20%E2%94%80%E2%94%80%0A%20%20%20%20BW_GPU%20%3D%201500.0%20%20%20%23%20HBM%EF%BC%9AGPU%20%E8%87%AA%E5%B7%B1%E7%9A%84%20KV%20pool%EF%BC%8C%E6%9C%AC%E4%BE%86%E5%B0%B1%E5%9C%A8%E4%B8%8A%E9%9D%A2%EF%BC%8C%E4%B8%8D%E7%94%A8%E6%90%AC%0A%20%20%20%20BW_CPU%20%3D%2050.0%20%20%20%20%20%23%20DDR%EF%BC%9ALMCACHE_LOCAL_CPU%20%E6%94%B6%E7%9A%84%E5%9C%B0%E6%96%B9%0A%20%20%20%20BW_SSD%20%3D%206.0%20%20%20%20%20%20%23%20PCIe%20NVMe%EF%BC%9ALMCACHE_LOCAL_DISK%EF%BC%8C%E6%9C%AC%E8%AA%B2%E4%B8%BB%E8%A7%92%0A%20%20%20%20HEAD_DIM%20%3D%20128%20%20%20%20%23%20%E6%AF%8F%E5%80%8B%20attention%20head%20%E7%9A%84%E7%B6%AD%E5%BA%A6%EF%BC%8CLlama%20%2F%20Qwen%20%E9%80%99%E4%B8%80%E7%B3%BB%E5%B9%BE%E4%B9%8E%E9%83%BD%E6%98%AF%20128%0A%20%20%20%20return%20BW_CPU%2C%20BW_SSD%2C%20HEAD_DIM%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E5%85%88%E7%AE%97%E6%B8%85%E6%A5%9A%EF%BC%9A%E4%BD%A0%E7%9A%84%20KV%20%E6%9C%89%E5%A4%9A%E5%A4%A7%0A%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E5%80%8B%20token%20%E7%9A%84%20KV%20%E5%A4%A7%E5%B0%8F%E5%AE%8C%E5%85%A8%E7%94%B1%E6%9E%B6%E6%A7%8B%E6%B1%BA%E5%AE%9A%EF%BC%8C%E8%B7%9F%E4%BD%A0%E5%95%8F%E4%BB%80%E9%BA%BC%E7%84%A1%E9%97%9C%EF%BC%9A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%E6%AF%8F%20token%20%E4%BD%8D%E5%85%83%E7%B5%84%20%3D%202%EF%BC%88K%20%E5%92%8C%20V%EF%BC%89%20%C3%97%20%E5%B1%A4%E6%95%B8%20%C3%97%20KV%20head%20%E6%95%B8%20%C3%97%20head%20%E7%B6%AD%E5%BA%A6%20%C3%97%20%E6%AF%8F%E5%80%8B%E6%95%B8%E7%9A%84%E4%BD%8D%E5%85%83%E7%B5%84%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E6%8B%89%E4%B8%8B%E9%9D%A2%E4%B8%89%E6%A0%B9%E6%A1%BF%E5%AD%90%E6%8F%9B%E6%88%90%E4%BD%A0%E8%87%AA%E5%B7%B1%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A6%8F%E6%A0%BC%E3%80%82%E9%A0%90%E8%A8%AD%E5%80%BC%E6%98%AF%20**8B%20%E7%B4%9A%20GQA%20%E6%A8%A1%E5%9E%8B**%0A%20%20%20%20%EF%BC%8832%20%E5%B1%A4%20%2F%208%20%E5%80%8B%20KV%20head%20%2F%20fp16%EF%BC%89%EF%BC%8C%E7%AE%97%E5%87%BA%E4%BE%86%E5%89%9B%E5%A5%BD%E6%98%AF%E5%B8%B8%E8%A2%AB%E5%BC%95%E7%94%A8%E7%9A%84%E9%82%A3%E5%80%8B%E6%95%B8%E5%AD%97%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_layers%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D80%2C%20step%3D1%2C%20value%3D32%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E5%B1%A4%E6%95%B8%22%2C%20show_value%3DTrue)%0A%20%20%20%20n_kv_heads%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D64%2C%20step%3D1%2C%20value%3D8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22KV%20head%20%E6%95%B8%EF%BC%88GQA%20%E6%9C%83%E9%81%A0%E5%B0%8F%E6%96%BC%20Q%20head%20%E6%95%B8%EF%BC%89%22%2C%20show_value%3DTrue)%0A%20%20%20%20kv_dtype%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22fp16%20%2F%20bf16%EF%BC%882%20bytes%EF%BC%89%22%3A%202%2C%20%22fp8%EF%BC%881%20byte%EF%BC%8CKV%20%E9%87%8F%E5%8C%96%EF%BC%89%22%3A%201%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22fp16%20%2F%20bf16%EF%BC%882%20bytes%EF%BC%89%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22KV%20%E5%AD%98%E6%88%90%E4%BB%80%E9%BA%BC%E5%9E%8B%E5%88%A5%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bn_layers%2C%20n_kv_heads%2C%20kv_dtype%5D)%0A%20%20%20%20return%20kv_dtype%2C%20n_kv_heads%2C%20n_layers%0A%0A%0A%40app.cell%0Adef%20_(HEAD_DIM%2C%20kv_dtype%2C%20n_kv_heads%2C%20n_layers)%3A%0A%20%20%20%20kv_bytes_per_token%20%3D%202%20*%20n_layers.value%20*%20n_kv_heads.value%20*%20HEAD_DIM%20*%20kv_dtype.value%0A%20%20%20%20kv_kb_per_token%20%3D%20kv_bytes_per_token%20%2F%201024%0A%20%20%20%20kv_gb_per_token%20%3D%20kv_bytes_per_token%20%2F%201024**3%0A%20%20%20%20return%20kv_bytes_per_token%2C%20kv_gb_per_token%2C%20kv_kb_per_token%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(kv_kb_per_token%2C%20mo%2C%20n_kv_heads%2C%20n_layers)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20**%E6%AF%8F%20token%20%E7%9A%84%20KV%20%EF%BC%9D%20%7Bkv_kb_per_token%3A.0f%7D%20KB**%0A%20%20%20%20%EF%BC%882%20%C3%97%20%7Bn_layers.value%7D%20%E5%B1%A4%20%C3%97%20%7Bn_kv_heads.value%7D%20%E5%80%8B%20KV%20head%20%C3%97%20128%20%E7%B6%AD%20%C3%97%20%E5%9E%8B%E5%88%A5%E4%BD%8D%E5%85%83%E7%B5%84%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E5%80%8B%E6%95%B8%E5%AD%97%E4%B9%98%E4%B8%8A%E3%80%8C%E4%B8%8A%E4%B8%8B%E6%96%87%E9%95%B7%E5%BA%A6%20%C3%97%20%E5%90%8C%E6%99%82%E6%9C%8D%E5%8B%99%E7%9A%84%E4%BA%BA%E6%95%B8%E3%80%8D%E5%B0%B1%E6%98%AF%E4%BD%A0%E8%A6%81%E6%89%BE%E5%9C%B0%E6%96%B9%E6%94%BE%E7%9A%84%E6%9D%B1%E8%A5%BF%E3%80%82%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E7%94%A8%E5%85%A9%E6%A0%B9%E6%A1%BF%E5%AD%90%E8%A8%AD%E5%AE%9A%E4%BD%A0%E6%A9%9F%E5%99%A8%E7%9A%84%E5%85%A9%E9%81%93%E9%96%80%E6%AA%BB%EF%BC%8C%E7%9C%8B%E5%85%AD%E5%80%8B%E5%85%B8%E5%9E%8B%E5%A0%B4%E6%99%AF%E5%90%84%E8%87%AA%E8%90%BD%E5%9C%A8%E5%93%AA%E4%B8%80%E5%B1%A4%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20vram_free%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D80%2C%20step%3D1%2C%20value%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E6%89%A3%E6%8E%89%E6%A8%A1%E5%9E%8B%E6%AC%8A%E9%87%8D%E5%BE%8C%EF%BC%8C%E5%BF%AB%E5%8F%96%E9%82%84%E8%83%BD%E7%94%A8%E7%9A%84%20VRAM%20(GB)%22%2C%20show_value%3DTrue)%0A%20%20%20%20cpu_ram%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D512%2C%20step%3D8%2C%20value%3D64%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E9%80%99%E5%8F%B0%E6%A9%9F%E5%99%A8%E7%9A%84%20CPU%20RAM%20(GB)%22%2C%20show_value%3DTrue)%0A%20%20%20%20mo.vstack(%5Bvram_free%2C%20cpu_ram%5D)%0A%20%20%20%20return%20cpu_ram%2C%20vram_free%0A%0A%0A%40app.cell%0Adef%20_(Patch%2C%20cpu_ram%2C%20kv_bytes_per_token%2C%20np%2C%20plt%2C%20vram_free)%3A%0A%20%20%20%20_labels%20%3D%20%5B%222k%5Cnx1%22%2C%20%228k%5Cnx1%22%2C%20%2232k%5Cnx1%22%2C%20%228k%5Cnx10%22%2C%20%22128k%5Cnx1%22%2C%20%221M%5Cnx1%22%5D%0A%20%20%20%20_tokens%20%3D%20np.array(%5B2048%2C%208192%2C%2032768%2C%2081920%2C%20131072%2C%201_000_000%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20_gb%20%3D%20_tokens%20*%20kv_bytes_per_token%20%2F%201024**3%0A%20%20%20%20_v%2C%20_c%20%3D%20float(vram_free.value)%2C%20float(cpu_ram.value)%0A%20%20%20%20_tier%20%3D%20np.where(_gb%20%3C%20_v%2C%200%2C%20np.where(_gb%20%3C%20_c%2C%201%2C%202))%0A%20%20%20%20_palette%20%3D%20%5B%22%234C72B0%22%2C%20%22%23DD8452%22%2C%20%22%2355A868%22%5D%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.2%2C%204.4))%0A%20%20%20%20_ax.bar(_labels%2C%20_gb%2C%20color%3D%5B_palette%5Bt%5D%20for%20t%20in%20_tier%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.1%2C%20zorder%3D3)%0A%20%20%20%20for%20_i%2C%20_g%20in%20enumerate(_gb)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%2C%20_g%20*%201.18%2C%20f%22%7B_g%3A.2f%7D%22%20if%20_g%20%3C%201%20else%20f%22%7B_g%3A.0f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20fontweight%3D%22bold%22%2C%20zorder%3D4)%0A%20%20%20%20_ax.axhline(_v%2C%20color%3D%22%234C72B0%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6%2C%20zorder%3D2)%0A%20%20%20%20_ax.axhline(_c%2C%20color%3D%22%23DD8452%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6%2C%20zorder%3D2)%0A%20%20%20%20_ax.text(5.45%2C%20_v%2C%20f%22%20free%20VRAM%20%7B_v%3A.0f%7DGB%22%2C%20va%3D%22bottom%22%2C%20ha%3D%22right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%20color%3D%22%234C72B0%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.text(5.45%2C%20_c%2C%20f%22%20CPU%20RAM%20%7B_c%3A.0f%7DGB%22%2C%20va%3D%22bottom%22%2C%20ha%3D%22right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%20color%3D%22%23DD8452%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.set_yscale(%22log%22)%0A%20%20%20%20_ax.set_ylim(_gb.min()%20*%200.35%2C%20max(_gb.max()%2C%20_c)%20*%206)%0A%20%20%20%20_ax.set_ylabel(%22KV%20cache%20needed%20(GB%2C%20log)%22)%0A%20%20%20%20_ax.set_title(%22context%20x%20concurrency%20-%3E%20which%20tier%20has%20to%20hold%20it%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%20%20%20%20_ax.legend(handles%3D%5BPatch(facecolor%3D_palette%5B0%5D%2C%20edgecolor%3D%22%231C2B33%22%2C%20label%3D%22fits%20in%20VRAM%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Patch(facecolor%3D_palette%5B1%5D%2C%20edgecolor%3D%22%231C2B33%22%2C%20label%3D%22needs%20CPU%20RAM%20tier%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Patch(facecolor%3D_palette%5B2%5D%2C%20edgecolor%3D%22%231C2B33%22%2C%20label%3D%22needs%20SSD%20tier%22)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E9%A0%90%E8%A8%AD%E5%80%BC%E4%B8%8B%E6%9C%89%E4%BB%B6%E4%BA%8B%E5%80%BC%E5%BE%97%E5%81%9C%E4%B8%8B%E4%BE%86%E7%9C%8B%EF%BC%9A**128k%20%E4%B8%8A%E4%B8%8B%E6%96%87%E5%8F%AA%E8%A6%81%2016%20GB%EF%BC%8C10%20%E5%80%8B%E4%BA%BA%E5%90%84%208k%20%E4%B9%9F%E6%89%8D%2010%20GB**%E2%80%94%E2%80%94%0A%20%20%20%20VRAM%20%E6%94%BE%E4%B8%8D%E4%B8%8B%E6%B2%92%E9%8C%AF%EF%BC%8C%E4%BD%86%E4%B8%80%E5%8F%B0%2064%20GB%20RAM%20%E7%9A%84%E5%80%8B%E4%BA%BA%E6%A9%9F%EF%BC%8C**CPU%20%E9%82%A3%E4%B8%80%E5%B1%A4%E6%A0%B9%E6%9C%AC%E7%94%A8%E4%B8%8D%E5%AE%8C**%E3%80%82%0A%20%20%20%20%E7%9C%9F%E6%AD%A3%E6%8A%8A%20CPU%20RAM%20%E4%B9%9F%E6%93%A0%E7%88%86%E7%9A%84%E6%98%AF%E6%9C%80%E5%8F%B3%E9%82%8A%E9%82%A3%E6%A0%B9%EF%BC%9A%E7%99%BE%E8%90%AC%E7%B4%9A%E4%B8%8A%E4%B8%8B%E6%96%87%EF%BC%8C%E6%88%96%E4%BA%BA%E6%95%B8%E5%86%8D%E4%B9%98%E4%B8%8A%E5%8E%BB%E3%80%82%0A%0A%20%20%20%20%E5%85%88%E8%A8%98%E4%BD%8F%E9%80%99%E5%80%8B%E7%B5%90%E8%AB%96%EF%BC%8C%E7%AC%AC%204%EF%B8%8F%E2%83%A3%20%E7%AF%80%E6%9C%83%E6%8A%8A%E5%AE%83%E5%81%9A%E6%88%90%E4%B8%80%E5%80%8B%E5%88%A4%E6%96%B7%E5%99%A8%E3%80%82%0A%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E6%8B%BF%20IO%20%E6%8F%9B%E8%A8%88%E7%AE%97%EF%BC%9A%E8%BC%89%E5%9B%9E%20vs%20%E9%87%8D%E7%AE%97%0A%0A%20%20%20%20%E5%90%8C%E4%B8%80%E6%AE%B5%E5%89%8D%E7%B6%B4%E7%AC%AC%E4%BA%8C%E6%AC%A1%E5%87%BA%E7%8F%BE%E6%99%82%EF%BC%8C%E4%BD%A0%E6%9C%89%E5%85%A9%E5%80%8B%E9%81%B8%E6%93%87%EF%BC%9A%0A%0A%20%20%20%20-%20**%E9%87%8D%E7%AE%97**%EF%BC%9A%E5%85%A8%E9%87%8F%20prefill%EF%BC%8C%E6%99%82%E9%96%93%20%EF%BC%9D%20%60%E5%89%8D%E7%B6%B4%E9%95%B7%E5%BA%A6%20%C3%B7%20prefill%20%E5%90%9E%E5%90%90%60%0A%20%20%20%20-%20**%E8%BC%89%E5%9B%9E**%EF%BC%9A%E5%BE%9E%20CPU%20RAM%20%E6%88%96%20SSD%20%E6%8A%8A%E7%AE%97%E5%A5%BD%E7%9A%84%20KV%20%E6%90%AC%E5%9B%9E%20GPU%EF%BC%8C%E6%99%82%E9%96%93%20%EF%BC%9D%20%60KV%20%E5%A4%A7%E5%B0%8F%20%C3%B7%20%E8%A9%B2%E5%B1%A4%E9%A0%BB%E5%AF%AC%60%0A%0A%20%20%20%20%E5%85%A9%E6%A2%9D%E7%B7%9A%E9%83%BD%E8%B7%9F%E5%89%8D%E7%B6%B4%E9%95%B7%E5%BA%A6%E6%88%90%E6%AD%A3%E6%AF%94%EF%BC%8C%E6%89%80%E4%BB%A5%E8%AA%B0%E5%BF%AB%E8%AA%B0%E6%85%A2%E5%BE%9E%E7%AC%AC%E4%B8%80%E5%80%8B%20token%20%E5%B0%B1%E6%B1%BA%E5%AE%9A%E4%BA%86%E3%80%82%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%8A%8A%E4%BD%A0%E5%BC%95%E6%93%8E%E7%9A%84%20prefill%20%E5%90%9E%E5%90%90%E5%A1%AB%E9%80%B2%E5%8E%BB%EF%BC%88vLLM%20%E5%95%9F%E5%8B%95%E5%BE%8C%E5%A3%93%E4%B8%80%E6%AC%A1%E9%95%B7%20prompt%20%E5%B0%B1%E9%87%8F%E5%BE%97%E5%88%B0%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20prefill_tps%20%3D%20mo.ui.slider(start%3D200%2C%20stop%3D20000%2C%20step%3D200%2C%20value%3D2000%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E4%BD%A0%E7%9A%84%20prefill%20%E5%90%9E%E5%90%90%EF%BC%88tokens%2F%E7%A7%92%EF%BC%89%22%2C%20show_value%3DTrue)%0A%20%20%20%20prefill_tps%0A%20%20%20%20return%20(prefill_tps%2C)%0A%0A%0A%40app.cell%0Adef%20_(BW_CPU%2C%20BW_SSD%2C%20kv_gb_per_token%2C%20np%2C%20plt%2C%20prefill_tps)%3A%0A%20%20%20%20_x%20%3D%20np.linspace(0%2C%2064000%2C%20400)%0A%20%20%20%20_t_prefill%20%3D%20_x%20%2F%20prefill_tps.value%0A%20%20%20%20_t_ssd%20%3D%20_x%20*%20kv_gb_per_token%20%2F%20BW_SSD%0A%20%20%20%20_t_cpu%20%3D%20_x%20*%20kv_gb_per_token%20%2F%20BW_CPU%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.2%2C%204.4))%0A%20%20%20%20_ax.fill_between(_x%2C%20_t_ssd%2C%20_t_prefill%2C%20where%3D_t_prefill%20%3E%3D%20_t_ssd%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%2355A868%22%2C%20alpha%3D0.15%2C%20zorder%3D1)%0A%20%20%20%20_ax.plot(_x%2C%20_t_prefill%2C%20color%3D%22%23C44E52%22%2C%20linewidth%3D2.6%2C%20label%3D%22recompute%20(prefill)%22%2C%20zorder%3D3)%0A%20%20%20%20_ax.plot(_x%2C%20_t_ssd%2C%20color%3D%22%2355A868%22%2C%20linewidth%3D2.4%2C%20label%3D%22load%20back%20from%20SSD%22%2C%20zorder%3D3)%0A%20%20%20%20_ax.plot(_x%2C%20_t_cpu%2C%20color%3D%22%23DD8452%22%2C%20linewidth%3D2.4%2C%20label%3D%22load%20back%20from%20CPU%20RAM%22%2C%20zorder%3D3)%0A%20%20%20%20_at10k%20%3D%2010000%20%2F%20prefill_tps.value%20-%2010000%20*%20kv_gb_per_token%20%2F%20BW_SSD%0A%20%20%20%20_ax.axvline(10000%2C%20color%3D%22%239AA7AE%22%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.4%2C%20zorder%3D2)%0A%20%20%20%20_ax.annotate(f%22at%2010k%20tokens%3A%20SSD%20reuse%20saves%20%7B_at10k%3A.2f%7Ds%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xy%3D(10000%2C%2010000%20%2F%20prefill_tps.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(13000%2C%2010000%20%2F%20prefill_tps.value%20*%201.05)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D10%2C%20fontweight%3D%22bold%22%2C%20color%3D%22%231C2B33%22)%0A%20%20%20%20_ax.set_xlabel(%22shared%20prefix%20length%20(tokens)%22)%0A%20%20%20%20_ax.set_ylabel(%22time%20to%20have%20the%20KV%20ready%20(s)%22)%0A%20%20%20%20_ax.set_title(%22both%20scale%20linearly%20-%20the%20gap%20is%20what%20you%20bank%22)%0A%20%20%20%20_ax.legend(fontsize%3D9)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(BW_SSD%2C%20kv_gb_per_token%2C%20mo%2C%20prefill_tps)%3A%0A%20%20%20%20_saved%20%3D%2010000%20%2F%20prefill_tps.value%20-%2010000%20*%20kv_gb_per_token%20%2F%20BW_SSD%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E7%B6%A0%E8%89%B2%E9%82%A3%E5%A1%8A%E9%9D%A2%E7%A9%8D%E5%B0%B1%E6%98%AF%E7%9C%81%E4%B8%8B%E7%9A%84%E6%99%82%E9%96%93%E3%80%82%E6%B3%A8%E6%84%8F%E5%AE%83%E7%9A%84%E5%BD%A2%E7%8B%80%EF%BC%9A**%E5%85%A9%E6%A2%9D%E7%B7%9A%E9%83%BD%E6%98%AF%E7%9B%B4%E7%B7%9A**%EF%BC%8C%0A%20%20%20%20%E6%89%80%E4%BB%A5%E5%89%8D%E7%B6%B4%E6%8B%89%E9%95%B7%E4%B8%8D%E6%9C%83%E8%AE%93%E3%80%8C%E5%BF%AB%E5%B9%BE%E5%80%8D%E3%80%8D%E8%AE%8A%E5%A5%BD%EF%BC%8C%E5%8F%AA%E6%9C%83%E8%AE%93%E3%80%8C%E7%9C%81%E5%B9%BE%E7%A7%92%E3%80%8D%E8%AE%8A%E5%A4%A7%E2%80%94%E2%80%94%0A%20%20%20%20%E7%9B%AE%E5%89%8D%E7%9A%84%E8%A8%AD%E5%AE%9A%E4%B8%8B%EF%BC%8C%E4%B8%80%E6%AE%B5%2010k%20%E7%9A%84%E5%89%8D%E7%B6%B4%E6%AF%8F%E5%91%BD%E4%B8%AD%E4%B8%80%E6%AC%A1%E7%9C%81%20**%7B_saved%3A.2f%7D%20%E7%A7%92**%EF%BC%8C%0A%20%20%20%20%E6%8F%9B%E6%88%90%2040k%20%E7%9A%84%E9%95%B7%E6%96%87%E4%BB%B6%E5%B0%B1%E6%98%AF%E5%9B%9B%E5%80%8D%E7%9A%84%E7%B5%95%E5%B0%8D%E6%99%82%E9%96%93%E3%80%82%0A%0A%20%20%20%20%E7%9C%9F%E6%AD%A3%E6%B1%BA%E5%AE%9A%E3%80%8C%E5%BF%AB%E5%B9%BE%E5%80%8D%E3%80%8D%E7%9A%84%E6%98%AF%E6%96%9C%E7%8E%87%E6%AF%94%EF%BC%8C%E4%B9%9F%E5%B0%B1%E6%98%AF%E4%B8%8B%E4%B8%80%E7%AF%80%E3%80%82%0A%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E8%B3%BA%EF%BC%9A%E5%8A%A0%E9%80%9F%E6%AF%94%E8%88%87%E6%90%8D%E7%9B%8A%E5%B9%B3%E8%A1%A1%0A%0A%20%20%20%20%E6%8A%8A%E5%85%A9%E6%A2%9D%E7%B7%9A%E7%9B%B8%E9%99%A4%EF%BC%8C%E9%95%B7%E5%BA%A6%E5%B0%B1%E6%B6%88%E6%8E%89%E4%BA%86%EF%BC%9A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%E5%8A%A0%E9%80%9F%E6%AF%94%20%3D%20%E9%87%8D%E7%AE%97%E6%99%82%E9%96%93%20%2F%20%E8%BC%89%E5%9B%9E%E6%99%82%E9%96%93%20%3D%20%E8%A9%B2%E5%B1%A4%E9%A0%BB%E5%AF%AC%20%2F%20(prefill%20%E5%90%9E%E5%90%90%20%C3%97%20%E6%AF%8F%20token%20%E7%9A%84%20KV)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E6%89%80%E4%BB%A5%E5%8F%AA%E6%9C%89%E5%85%A9%E4%BB%B6%E4%BA%8B%E6%9C%83%E8%AE%93%E4%BD%A0%E8%B3%BA%EF%BC%9A**%E8%A8%88%E7%AE%97%E8%B6%8A%E9%87%8D**%EF%BC%88prefill%20%E5%90%9E%E5%90%90%E8%B6%8A%E4%BD%8E%EF%BC%89%E3%80%81**KV%20%E8%B6%8A%E5%B0%8F**%0A%20%20%20%20%EF%BC%88GQA%E3%80%81KV%20%E9%87%8F%E5%8C%96%EF%BC%89%E3%80%82%E9%80%99%E4%B9%9F%E6%98%AF%E7%82%BA%E4%BB%80%E9%BA%BC%E9%87%8F%E5%8C%96%E6%A8%A1%E5%9E%8B%E5%8F%8D%E8%80%8C%E6%9B%B4%E5%88%92%E7%AE%97%E2%80%94%E2%80%94%E5%8F%8D%E9%87%8F%E5%8C%96%E8%AE%93%20prefill%20%E8%AE%8A%E9%87%8D%EF%BC%8C%0A%20%20%20%20KV%20%E5%8F%88%E7%9B%B8%E5%B0%8D%E5%B0%8F%EF%BC%8C%E5%88%86%E5%AD%90%E5%88%86%E6%AF%8D%E5%90%8C%E6%99%82%E5%BE%80%E5%A5%BD%E7%9A%84%E6%96%B9%E5%90%91%E8%B5%B0%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(BW_CPU%2C%20BW_SSD%2C%20kv_gb_per_token%2C%20np%2C%20plt%2C%20prefill_tps)%3A%0A%20%20%20%20_tps%20%3D%20np.logspace(np.log10(100)%2C%20np.log10(200000)%2C%20300)%0A%20%20%20%20_r_ssd%20%3D%20BW_SSD%20%2F%20(_tps%20*%20kv_gb_per_token)%0A%20%20%20%20_r_cpu%20%3D%20BW_CPU%20%2F%20(_tps%20*%20kv_gb_per_token)%0A%20%20%20%20_here%20%3D%20BW_SSD%20%2F%20(prefill_tps.value%20*%20kv_gb_per_token)%0A%20%20%20%20_breakeven%20%3D%20BW_SSD%20%2F%20kv_gb_per_token%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.2%2C%204.4))%0A%20%20%20%20_ax.plot(_tps%2C%20_r_cpu%2C%20color%3D%22%23DD8452%22%2C%20linewidth%3D2.4%2C%20label%3D%22CPU%20RAM%20tier%22)%0A%20%20%20%20_ax.plot(_tps%2C%20_r_ssd%2C%20color%3D%22%2355A868%22%2C%20linewidth%3D2.6%2C%20label%3D%22SSD%20tier%22)%0A%20%20%20%20_ax.axhline(1.0%2C%20color%3D%22%23C44E52%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6)%0A%20%20%20%20_ax.text(120%2C%201.08%2C%20%221.0x%20%3D%20break%20even%20(recompute%20is%20just%20as%20fast)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%20color%3D%22%23C44E52%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.plot(%5Bprefill_tps.value%5D%2C%20%5B_here%5D%2C%20%22o%22%2C%20color%3D%22%231C2B33%22%2C%20markersize%3D9%2C%20zorder%3D5)%0A%20%20%20%20_ax.annotate(f%22you%3A%20%7B_here%3A.0f%7Dx%20ceiling%22%2C%20xy%3D(prefill_tps.value%2C%20_here)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(prefill_tps.value%20*%201.3%2C%20_here%20*%201.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D10%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.set_xscale(%22log%22)%0A%20%20%20%20_ax.set_yscale(%22log%22)%0A%20%20%20%20_ax.set_xlabel(%22prefill%20throughput%20(tokens%2Fs)%20%20-%3E%20%20cheaper%20compute%22)%0A%20%20%20%20_ax.set_ylabel(%22upper-bound%20speedup%20(x)%22)%0A%20%20%20%20_ax.set_title(f%22bandwidth-only%20ceiling%20-%20SSD%20ties%20recompute%20at%20%7B_breakeven%3A%2C.0f%7D%20tok%2Fs%22)%0A%20%20%20%20_ax.legend(fontsize%3D9)%0A%20%20%20%20_ax.grid(alpha%3D0.3%2C%20which%3D%22both%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(BW_SSD%2C%20kv_gb_per_token%2C%20mo%2C%20prefill_tps)%3A%0A%20%20%20%20_ceiling%20%3D%20BW_SSD%20%2F%20(prefill_tps.value%20*%20kv_gb_per_token)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%2F%2F%2F%20warning%20%7C%20%E9%80%99%E6%A2%9D%E6%9B%B2%E7%B7%9A%E6%98%AF**%E4%B8%8A%E9%99%90**%EF%BC%8C%E4%B8%8D%E6%98%AF%E9%A0%90%E6%B8%AC%0A%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E8%A3%A1%E5%8F%AA%E6%9C%89%E9%A0%BB%E5%AF%AC%E3%80%82%E7%9C%9F%E5%AF%A6%E4%B8%96%E7%95%8C%E9%82%84%E8%A6%81%E6%89%A3%E6%8E%89%20chunk%20%E6%9F%A5%E8%A1%A8%E3%80%81PCIe%20%E6%90%AC%E9%81%8B%E3%80%81%E5%BC%95%E6%93%8E%E6%8E%92%E7%A8%8B%E3%80%81%0A%20%20%20%20OS%20page%20cache%20%E5%91%BD%E4%B8%8D%E5%91%BD%E4%B8%AD%E2%80%94%E2%80%94%E4%B8%80%E4%BB%BD%E5%85%AC%E9%96%8B%E5%AF%A6%E6%B8%AC%EF%BC%88RTX%204090%E3%80%81vLLM%20%2B%20LMCache%200.5.0%E3%80%812026-07%EF%BC%89%0A%20%20%20%20%E9%87%8F%E5%88%B0%E7%9A%84%E6%98%AF%20**0.6B%20bf16%20%E2%86%92%201.1x%E3%80%811.7B%20FP8%20%E2%86%92%201.2x%E3%80%814B-AWQ%20%E2%86%92%202.3x**%EF%BC%8C%0A%20%20%20%20%E9%81%A0%E4%BD%8E%E6%96%BC%E7%B4%94%E9%A0%BB%E5%AF%AC%E7%AE%97%E5%87%BA%E4%BE%86%E7%9A%84%E4%B8%8A%E9%99%90%EF%BC%88%E7%9B%AE%E5%89%8D%E9%80%99%E7%B5%84%E8%A8%AD%E5%AE%9A%E4%B8%8B%E6%98%AF%20%7B_ceiling%3A.0f%7Dx%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E5%91%8A%E8%A8%B4%E4%BD%A0**%E8%AA%B0%E6%9C%89%E6%A9%9F%E6%9C%83%E8%B4%8F%E3%80%81%E6%96%B9%E5%90%91%E5%BE%80%E5%93%AA%E8%B5%B0**%EF%BC%9B%E8%A6%81%E7%9F%A5%E9%81%93**%E5%AF%A6%E9%9A%9B%E8%B4%8F%E5%A4%9A%E5%B0%91**%EF%BC%8C%E5%8F%AA%E8%83%BD%E8%87%AA%E5%B7%B1%E9%87%8F%E3%80%82%0A%20%20%20%20%2F%2F%2F%0A%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20%E4%BD%A0%E9%9C%80%E8%A6%81%20SSD%20%E5%B1%A4%E5%97%8E%0A%0A%20%20%20%20%E6%8A%8A%E5%89%8D%E9%9D%A2%E5%85%A9%E7%AD%86%E5%B8%B3%E5%90%88%E8%B5%B7%E4%BE%86%E5%B0%B1%E6%98%AF%E4%B8%80%E5%80%8B%E5%88%A4%E6%96%B7%E5%99%A8%E3%80%82%E5%AE%83%E5%95%8F%E4%B8%89%E4%BB%B6%E4%BA%8B%EF%BC%9A%0A%20%20%20%20%E5%89%8D%E7%B6%B4%E6%9C%83%E4%B8%8D%E6%9C%83%E9%87%8D%E8%A4%87%E7%94%A8%E3%80%81KV%20%E6%9C%89%E5%A4%9A%E5%A4%A7%E3%80%81%E4%BD%A0%E6%A9%9F%E5%99%A8%E7%9A%84%E5%85%A9%E9%81%93%E9%96%80%E6%AA%BB%E5%9C%A8%E5%93%AA%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20ctx_len%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%222k%22%3A%202048%2C%20%228k%22%3A%208192%2C%20%2232k%22%3A%2032768%2C%20%22128k%22%3A%20131072%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22256k%22%3A%20262144%2C%20%221M%22%3A%201_000_000%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22128k%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E5%96%AE%E4%B8%80%E8%AB%8B%E6%B1%82%E7%9A%84%E4%B8%8A%E4%B8%8B%E6%96%87%E9%95%B7%E5%BA%A6%22%2C%0A%20%20%20%20)%0A%20%20%20%20concurrency%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D64%2C%20step%3D1%2C%20value%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E5%90%8C%E6%99%82%E5%9C%A8%E7%B7%9A%E3%80%81%E5%90%84%E8%87%AA%E4%BD%94%E4%B8%80%E4%BB%BD%E9%95%B7%E4%B8%8A%E4%B8%8B%E6%96%87%E7%9A%84%E4%BA%BA%E6%95%B8%22%2C%20show_value%3DTrue)%0A%20%20%20%20has_reuse%20%3D%20mo.ui.switch(value%3DTrue%2C%20label%3D%22%E9%80%99%E6%AE%B5%E9%95%B7%E5%89%8D%E7%B6%B4%E6%9C%83%E8%A2%AB%E9%87%8D%E8%A4%87%E4%BD%BF%E7%94%A8%EF%BC%88RAG%20%E5%9B%BA%E5%AE%9A%E7%9F%A5%E8%AD%98%E3%80%81%E5%85%B1%E7%94%A8%20system%20prompt%E3%80%81%E5%A4%9A%E8%BC%AA%20agent%EF%BC%89%22)%0A%20%20%20%20mo.vstack(%5Bctx_len%2C%20concurrency%2C%20has_reuse%5D)%0A%20%20%20%20return%20concurrency%2C%20ctx_len%2C%20has_reuse%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20concurrency%2C%0A%20%20%20%20cpu_ram%2C%0A%20%20%20%20ctx_len%2C%0A%20%20%20%20has_reuse%2C%0A%20%20%20%20kv_bytes_per_token%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20vram_free%2C%0A)%3A%0A%20%20%20%20_kv%20%3D%20ctx_len.value%20*%20concurrency.value%20*%20kv_bytes_per_token%20%2F%201024**3%0A%20%20%20%20_v%2C%20_c%20%3D%20float(vram_free.value)%2C%20float(cpu_ram.value)%0A%20%20%20%20if%20not%20has_reuse.value%3A%0A%20%20%20%20%20%20%20%20_color%2C%20_head%20%3D%20%22%23C44E52%22%2C%20%22%E5%85%88%E5%88%A5%E6%80%A5%E8%91%97%E9%96%8B%E4%BB%BB%E4%BD%95%E5%8D%B8%E8%BC%89%E5%B1%A4%22%0A%20%20%20%20%20%20%20%20_body%20%3D%20(%22%E6%AF%8F%E6%AC%A1%E9%83%BD%E6%98%AF%E5%85%A8%E6%96%B0%E7%9A%84%20prompt%EF%BC%8C%E5%B0%B1%E6%B2%92%E6%9C%89%E6%9D%B1%E8%A5%BF%E5%8F%AF%E4%BB%A5%E8%A4%87%E7%94%A8%E2%80%94%E2%80%94%E5%BF%AB%E5%8F%96%E5%B1%A4%E5%B0%8D%E9%80%99%E7%A8%AE%E6%B5%81%E9%87%8F%E5%AE%8C%E5%85%A8%E7%84%A1%E6%95%88%EF%BC%8C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%E6%AF%8F%E4%B8%80%E7%99%BC%E9%83%BD%E6%98%AF%E5%86%B7%E5%95%9F%E5%8B%95%E5%85%A8%E9%87%8F%20prefill%E3%80%82%E5%85%88%E7%A2%BA%E8%AA%8D%E4%BD%A0%E7%9A%84%E6%B5%81%E9%87%8F%E7%9C%9F%E7%9A%84%E6%9C%89%E9%87%8D%E8%A4%87%E5%89%8D%E7%B6%B4%EF%BC%8C%E5%86%8D%E8%AB%87%E8%A6%81%E6%94%BE%E5%93%AA%E4%B8%80%E5%B1%A4%E3%80%82%22)%0A%20%20%20%20elif%20_kv%20%3C%20_v%3A%0A%20%20%20%20%20%20%20%20_color%2C%20_head%20%3D%20%22%234C72B0%22%2C%20%22VRAM%20%E5%B0%B1%E8%A3%9D%E5%BE%97%E4%B8%8B%EF%BC%8C%E4%BB%80%E9%BA%BC%E9%83%BD%E4%B8%8D%E7%94%A8%E9%96%8B%22%0A%20%20%20%20%20%20%20%20_body%20%3D%20(f%22%E9%80%99%E4%BA%9B%20KV%20%E5%8F%AA%E8%A6%81%20%7B_kv%3A.2f%7D%20GB%EF%BC%8C%E6%AF%94%E4%BD%A0%E7%95%99%E7%B5%A6%E5%BF%AB%E5%8F%96%E7%9A%84%20%7B_v%3A.0f%7D%20GB%20VRAM%20%E9%82%84%E5%B0%8F%E3%80%82%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22vLLM%20%E5%85%A7%E5%BB%BA%E7%9A%84%20prefix%20cache%20%E5%B7%B2%E7%B6%93%E5%9C%A8%E5%81%9A%E9%80%99%E4%BB%B6%E4%BA%8B%EF%BC%8C%E8%80%8C%E4%B8%94%E6%98%AF%E5%9C%A8%E6%9C%80%E5%BF%AB%E7%9A%84%E9%82%A3%E4%B8%80%E5%B1%A4%E3%80%82%22)%0A%20%20%20%20elif%20_kv%20%3C%20_c%3A%0A%20%20%20%20%20%20%20%20_color%2C%20_head%20%3D%20%22%23DD8452%22%2C%20%22%E9%96%8B%20CPU%20%E5%B1%A4%E5%B0%B1%E5%A5%BD%EF%BC%88LMCACHE_LOCAL_CPU%EF%BC%89%22%0A%20%20%20%20%20%20%20%20_body%20%3D%20(f%22%E9%9C%80%E8%A6%81%20%7B_kv%3A.1f%7D%20GB%EF%BC%9AVRAM%20%E6%94%BE%E4%B8%8D%E4%B8%8B%EF%BC%8C%E4%BD%86%E9%80%99%E5%8F%B0%E6%A9%9F%E5%99%A8%E7%9A%84%20%7B_c%3A.0f%7D%20GB%20CPU%20RAM%20%E7%B6%BD%E7%B6%BD%E6%9C%89%E9%A4%98%E3%80%82%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%E5%80%8B%E4%BA%BA%EF%BC%8F%E5%B0%8F%E5%9C%98%E9%9A%8A%E5%A0%B4%E6%99%AF%E5%A4%9A%E5%8D%8A%E5%81%9C%E5%9C%A8%E9%80%99%E4%B8%80%E7%AB%99%E2%80%94%E2%80%94CPU%20RAM%20%E6%AF%94%20SSD%20%E5%BF%AB%E4%B8%80%E5%80%8B%E6%95%B8%E9%87%8F%E7%B4%9A%EF%BC%8C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%E8%A3%9D%E5%BE%97%E4%B8%8B%E5%B0%B1%E6%B2%92%E6%9C%89%E7%90%86%E7%94%B1%E5%86%8D%E5%BE%80%E4%B8%8B%E4%B8%9F%E3%80%82%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_color%2C%20_head%20%3D%20%22%2355A868%22%2C%20%22%E9%80%99%E6%89%8D%E8%BC%AA%E5%88%B0%20SSD%20%E5%B1%A4%EF%BC%88LMCACHE_LOCAL_DISK%EF%BC%89%22%0A%20%20%20%20%20%20%20%20_body%20%3D%20(f%22%E9%9C%80%E8%A6%81%20%7B_kv%3A.0f%7D%20GB%EF%BC%8CCPU%20RAM%20%E7%9A%84%20%7B_c%3A.0f%7D%20GB%20%E4%B9%9F%E5%90%83%E4%B8%8D%E4%B8%8B%E4%BA%86%E3%80%82%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%E8%B5%B0%E5%88%B0%E9%80%99%E4%B8%80%E6%A0%BC%E9%80%9A%E5%B8%B8%E4%BB%A3%E8%A1%A8%E4%BD%A0%E5%9C%A8%E8%B7%91%E5%A4%9A%E4%BA%BA%E5%85%B1%E7%94%A8%E3%80%81%E9%95%B7%E4%B8%8A%E4%B8%8B%E6%96%87%E7%9A%84%E4%BC%BA%E6%9C%8D%E5%99%A8%E2%80%94%E2%80%94%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%E9%80%99%E6%AD%A3%E6%98%AF%E5%88%86%E5%B1%A4%E5%84%B2%E5%AD%98%E8%A2%AB%E8%A8%AD%E8%A8%88%E5%87%BA%E4%BE%86%E8%A6%81%E8%A7%A3%E7%9A%84%E5%A0%B4%E6%99%AF%E3%80%82%22)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22border%3A2px%20solid%20%7B_color%7D%3Bborder-radius%3A14px%3Bpadding%3A16px%2018px%3Bfont-family%3Asystem-ui%2Csans-serif%22%3E%0A%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A12px%3Bletter-spacing%3A.08em%3Bfont-weight%3A800%3Bcolor%3A%7B_color%7D%3Bmargin-bottom%3A6px%22%3E%0A%20%20%20%20%20%20%20%20KV%20%E9%9C%80%E6%B1%82%20%7B_kv%3A.2f%7D%20GB%20%EF%BC%8F%20%E5%8F%AF%E7%94%A8%20VRAM%20%7B_v%3A.0f%7D%20GB%20%EF%BC%8F%20CPU%20RAM%20%7B_c%3A.0f%7D%20GB%0A%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A18px%3Bfont-weight%3A800%3Bmargin-bottom%3A8px%22%3E%7B_head%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A14px%3Bline-height%3A1.75%22%3E%7B_body%7D%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E5%A4%9A%E8%A9%A6%E5%B9%BE%E7%B5%84%EF%BC%9A%E6%8A%8A%E4%BA%BA%E6%95%B8%E6%8B%89%E5%88%B0%2020%E3%80%81%E4%B8%8A%E4%B8%8B%E6%96%87%E9%81%B8%20128k%EF%BC%8C%E5%B0%B1%E6%9C%83%E7%9C%8B%E5%88%B0%E5%88%A4%E6%96%B7%E5%BE%9E%E6%A9%98%E8%89%B2%E7%BF%BB%E6%88%90%E7%B6%A0%E8%89%B2%E2%80%94%E2%80%94%0A%20%20%20%20**%E4%BA%BA%E6%95%B8%E6%89%8D%E6%98%AF%E6%8A%8A%20CPU%20RAM%20%E6%93%A0%E7%88%86%E7%9A%84%E4%B8%BB%E5%9B%A0**%EF%BC%8C%E4%B8%8D%E6%98%AF%E5%96%AE%E4%B8%80%E8%AB%8B%E6%B1%82%E6%9C%89%E5%A4%9A%E9%95%B7%E3%80%82%0A%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E6%98%AF%E4%BD%A0%E7%9A%84%EF%BC%8C%E6%94%B9%E5%AE%8C%E6%8C%89%20%E2%96%B6%20%E9%87%8D%E8%B7%91%E3%80%82%E5%BB%BA%E8%AD%B0%E6%8C%91%E6%88%B0%EF%BC%88%E7%94%B1%E6%98%93%E5%88%B0%E9%9B%A3%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%201.%20**LEVEL%201**%EF%BC%9A%E6%8A%8A%201%EF%B8%8F%E2%83%A3%20%E7%9A%84%20KV%20%E5%9E%8B%E5%88%A5%E6%94%B9%E6%88%90%20fp8%EF%BC%8C%E7%9C%8B%20128k%20%E7%9A%84%E9%9C%80%E6%B1%82%E6%8E%89%E5%88%B0%E5%A4%9A%E5%B0%91%E3%80%81%0A%20%20%20%20%20%20%204%EF%B8%8F%E2%83%A3%20%E7%9A%84%E5%88%A4%E6%96%B7%E6%9C%83%E4%B8%8D%E6%9C%83%E5%BE%9E%E3%80%8C%E9%96%8B%20CPU%20%E5%B1%A4%E3%80%8D%E7%BF%BB%E5%9B%9E%E3%80%8CVRAM%20%E5%B0%B1%E8%A3%9D%E5%BE%97%E4%B8%8B%E3%80%8D%E3%80%82%0A%20%20%20%202.%20**LEVEL%202**%EF%BC%9A%E7%AE%97%E5%87%BA**%E6%90%8D%E7%9B%8A%E5%B9%B3%E8%A1%A1%E7%9A%84%20prefill%20%E5%90%9E%E5%90%90**%EF%BC%88%E9%A0%BB%E5%AF%AC%20%C3%B7%20%E6%AF%8F%20token%20%E7%9A%84%20KV%EF%BC%89%E3%80%82%0A%20%20%20%20%20%20%20%E7%82%BA%E4%BB%80%E9%BA%BC%E9%80%99%E5%80%8B%E7%B4%94%E9%A0%BB%E5%AF%AC%E4%B8%8A%E9%99%90%E5%B9%BE%E4%B9%8E%E6%B0%B8%E9%81%A0%E5%A4%A7%E6%96%BC%201%EF%BC%8C%E5%AF%A6%E6%B8%AC%E5%8D%BB%E5%8F%AA%E6%9C%89%201.1%E2%80%932.3x%EF%BC%9F%E5%B7%AE%E9%A1%8D%E8%B7%91%E5%88%B0%E5%93%AA%E5%8E%BB%E4%BA%86%EF%BC%9F%0A%20%20%20%203.%20**LEVEL%203**%EF%BC%9A%E6%8F%9B%E6%88%90%E4%BD%A0%E8%87%AA%E5%B7%B1%E6%9C%8D%E5%8B%99%E7%9A%84%E7%9C%9F%E5%AF%A6%E6%95%B8%E5%AD%97%EF%BC%88%E6%A8%A1%E5%9E%8B%E5%B1%A4%E6%95%B8%E8%88%87%20KV%20head%20%E6%95%B8%E7%9C%8B%20config%E3%80%81%0A%20%20%20%20%20%20%20prefill%20%E5%90%9E%E5%90%90%E5%A3%93%E4%B8%80%E6%AC%A1%E9%95%B7%20prompt%E3%80%81SSD%20%E9%A0%BB%E5%AF%AC%E7%94%A8%20%60fio%60%20%E9%87%8F%EF%BC%89%EF%BC%8C%E9%87%8D%E8%B7%91%E4%B8%80%E6%AC%A1%E5%88%A4%E6%96%B7%E5%99%A8%EF%BC%9B%0A%20%20%20%20%20%20%20%E5%86%8D%E7%94%A8%E4%BD%A0%E9%87%8F%E5%88%B0%E7%9A%84%E5%AF%A6%E9%9A%9B%E5%8A%A0%E9%80%9F%E6%AF%94%E5%9B%9E%E6%8E%A8%E3%80%8C%E4%BD%A0%E7%9C%9F%E6%AD%A3%E5%90%83%E5%88%B0%E4%BA%86%E6%A8%99%E7%A8%B1%E9%A0%BB%E5%AF%AC%E7%9A%84%E5%B9%BE%E6%88%90%E3%80%8D%E3%80%82%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E8%A8%98%E5%BE%97%EF%BC%9A**%E9%BB%9E%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E9%A0%81%E7%9A%84%E3%80%8C%E4%B8%8B%E8%BC%89%20.py%E3%80%8D%E6%8A%8A%E4%BD%A0%E7%9A%84%E7%89%88%E6%9C%AC%E5%B8%B6%E8%B5%B0**%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E5%B0%B1%E8%83%BD%E7%B9%BC%E7%BA%8C%E7%8E%A9%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(BW_SSD%2C%20HEAD_DIM)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E6%94%B9%E6%88%90%E4%BD%A0%E8%87%AA%E5%B7%B1%E6%A8%A1%E5%9E%8B%E8%88%87%E6%A9%9F%E5%99%A8%E7%9A%84%E6%95%B8%E5%AD%97%EF%BC%8C%E7%9C%8B%E7%B5%90%E8%AB%96%E6%9C%83%E4%B8%8D%E6%9C%83%E7%BF%BB%E7%9B%A4%0A%20%20%20%20my_layers%2C%20my_kv_heads%2C%20my_dtype_bytes%20%3D%2032%2C%208%2C%202%0A%20%20%20%20my_ctx%2C%20my_users%20%3D%20131072%2C%201%0A%20%20%20%20my_vram_free%2C%20my_cpu_ram%20%3D%2010.0%2C%2064.0%0A%0A%20%20%20%20my_kv_per_tok%20%3D%202%20*%20my_layers%20*%20my_kv_heads%20*%20HEAD_DIM%20*%20my_dtype_bytes%0A%20%20%20%20my_need%20%3D%20my_ctx%20*%20my_users%20*%20my_kv_per_tok%20%2F%201024**3%0A%20%20%20%20my_tier%20%3D%20(%22VRAM%22%20if%20my_need%20%3C%20my_vram_free%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22CPU%20RAM%22%20if%20my_need%20%3C%20my_cpu_ram%20else%20%22SSD%22)%0A%20%20%20%20print(f%22%E6%AF%8F%20token%20KV%20%3D%20%7Bmy_kv_per_tok%20%2F%201024%3A.0f%7D%20KB%22)%0A%20%20%20%20print(f%22%7Bmy_ctx%7D%20tokens%20x%20%7Bmy_users%7D%20%E4%BA%BA%20%E2%86%92%20%7Bmy_need%3A.2f%7D%20GB%20%E2%86%92%20%E6%94%BE%E5%9C%A8%20%7Bmy_tier%7D%22)%0A%20%20%20%20print(f%22%E6%90%8D%E7%9B%8A%E5%B9%B3%E8%A1%A1%20prefill%20%E5%90%9E%E5%90%90%20%3D%20%7BBW_SSD%20%2F%20(my_kv_per_tok%20%2F%201024**3)%3A%2C.0f%7D%20tokens%2Fs%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%8A%8A%201%EF%B8%8F%E2%83%A3%20%E7%9A%84%E3%80%8CKV%20%E5%AD%98%E6%88%90%E4%BB%80%E9%BA%BC%E5%9E%8B%E5%88%A5%E3%80%8D%E9%81%B8%E6%88%90%20**fp8%EF%BC%881%20byte%EF%BC%8CKV%20%E9%87%8F%E5%8C%96%EF%BC%89**%EF%BC%8C%E6%88%96%E5%9C%A8%E5%AF%A6%E9%A9%97%E5%8D%80%E6%94%B9%EF%BC%9A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20my_dtype_bytes%20%3D%201%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E6%AF%8F%20token%20%E7%9A%84%20KV%20%E5%BE%9E%20128%20KB%20%E6%8E%89%E5%88%B0%20**64%20KB**%EF%BC%8C128k%20%E4%B8%8A%E4%B8%8B%E6%96%87%E7%9A%84%E9%9C%80%E6%B1%82%E5%BE%9E%2016%20GB%20%E6%8E%89%E5%88%B0%20**8%20GB**%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%94%E9%A0%90%E8%A8%AD%E7%9A%84%2010%20GB%20%E5%8F%AF%E7%94%A8%20VRAM%20%E9%82%84%E5%B0%8F%EF%BC%8C4%EF%B8%8F%E2%83%A3%20%E7%9A%84%E5%88%A4%E6%96%B7%E5%99%A8%E6%9C%83%E5%BE%9E%E6%A9%98%E8%89%B2%EF%BC%88%E9%96%8B%20CPU%20%E5%B1%A4%EF%BC%89%E7%BF%BB%E5%9B%9E%E8%97%8D%E8%89%B2%EF%BC%88VRAM%20%E5%B0%B1%E8%A3%9D%E5%BE%97%E4%B8%8B%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%E7%82%BA%E4%BB%80%E9%BA%BC%E3%80%8C%E8%A6%81%E4%B8%8D%E8%A6%81%E5%8D%B8%E8%BC%89%E3%80%8D%E4%B8%8D%E8%A9%B2%E6%98%AF%E7%AC%AC%E4%B8%80%E5%80%8B%E5%95%8F%E9%A1%8C%EF%BC%9A**%E5%85%88%E7%9C%8B%E8%83%BD%E4%B8%8D%E8%83%BD%E6%8A%8A%20KV%20%E8%AE%8A%E5%B0%8F**%0A%20%20%20%20%EF%BC%88GQA%E3%80%81KV%20%E9%87%8F%E5%8C%96%E3%80%81%E7%B8%AE%E7%9F%AD%E4%B8%8A%E4%B8%8B%E6%96%87%EF%BC%89%EF%BC%8C%E5%B8%B8%E5%B8%B8%E6%95%B4%E5%80%8B%E5%95%8F%E9%A1%8C%E5%B0%B1%E6%B6%88%E5%A4%B1%E4%BA%86%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%90%8D%E7%9B%8A%E5%B9%B3%E8%A1%A1%E9%BB%9E%E6%98%AF%E3%80%8C%E5%8A%A0%E9%80%9F%E6%AF%94%20%EF%BC%9D%201%E3%80%8D%E7%9A%84%E9%82%A3%E5%80%8B%E5%90%9E%E5%90%90%EF%BC%9A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20kv_gb_per_tok%20%3D%202%20*%2032%20*%208%20*%20128%20*%202%20%2F%201024**3%20%20%20%23%208B%20%E7%B4%9A%20GQA%E3%80%81fp16%0A%20%20%20%20breakeven%20%3D%206.0%20%2F%20kv_gb_per_tok%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20SSD%206%20GB%2Fs%0A%20%20%20%20print(f%22%7Bbreakeven%3A%2C.0f%7D%20tokens%2Fs%22)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E2%86%92%2049%2C152%20tokens%2Fs%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E8%A6%81%20prefill%20%E5%BF%AB%E5%88%B0%E6%AF%8F%E7%A7%92%E4%BA%94%E8%90%AC%E5%80%8B%20token%EF%BC%8C%E9%87%8D%E7%AE%97%E6%89%8D%E8%BF%BD%E5%BE%97%E4%B8%8A%E5%BE%9E%20SSD%20%E8%BC%89%E5%9B%9E%E2%80%94%E2%80%94%E4%B8%80%E8%88%AC%E6%9C%8D%E5%8B%99%E9%9B%A2%E9%80%99%E5%80%8B%E6%95%B8%E5%AD%97%E5%BE%88%E9%81%A0%EF%BC%8C%0A%20%20%20%20%E6%89%80%E4%BB%A5**%E7%B4%94%E9%A0%BB%E5%AF%AC%E4%B8%8A%E9%99%90%E5%B9%BE%E4%B9%8E%E6%B0%B8%E9%81%A0%E5%A4%A7%E6%96%BC%201**%E3%80%82%E4%BD%86%E5%AF%A6%E6%B8%AC%E5%8F%AA%E6%9C%89%201.1%E2%80%932.3x%EF%BC%8C%E5%B7%AE%E9%A1%8D%E5%85%A8%E5%9C%A8%E9%A0%BB%E5%AF%AC%E4%BB%A5%E5%A4%96%EF%BC%9A%0A%20%20%20%20chunk%20%E7%9A%84%E6%9F%A5%E8%A1%A8%E8%88%87%E7%B5%84%E8%A3%9D%E3%80%81KV%20%E5%BE%9E%E4%B8%BB%E6%A9%9F%E8%A8%98%E6%86%B6%E9%AB%94%E6%90%AC%E9%80%B2%20GPU%20%E7%9A%84%20PCIe%20%E5%82%B3%E8%BC%B8%E3%80%81%E5%BC%95%E6%93%8E%E7%9A%84%E6%8E%92%E7%A8%8B%E8%88%87%E6%89%B9%E6%AC%A1%E3%80%81%0A%20%20%20%20%E4%BB%A5%E5%8F%8A%20OS%20page%20cache%20%E5%91%BD%E4%B8%8D%E5%91%BD%E4%B8%AD%EF%BC%88%E7%AC%AC%E4%BA%8C%E6%AC%A1%E8%B7%91%E5%B8%B8%E5%B8%B8%E6%AF%94%E7%AC%AC%E4%B8%80%E6%AC%A1%E5%BF%AB%EF%BC%8C%E5%9B%A0%E7%82%BA%E6%A0%B9%E6%9C%AC%E6%B2%92%E7%A2%B0%E5%88%B0%E7%A2%9F%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E5%AF%A6%E5%8B%99%E4%B8%8A%E7%9A%84%E7%94%A8%E6%B3%95%E6%98%AF%E5%8F%8D%E9%81%8E%E4%BE%86%E7%9A%84%EF%BC%9A**%E7%94%A8%E5%AF%A6%E6%B8%AC%E5%8A%A0%E9%80%9F%E6%AF%94%E5%9B%9E%E6%8E%A8%E4%BD%A0%E7%9C%9F%E6%AD%A3%E5%90%83%E5%88%B0%E4%BA%86%E5%A4%9A%E5%B0%91%E9%A0%BB%E5%AF%AC**%EF%BC%8C%0A%20%20%20%20%E5%86%8D%E6%B1%BA%E5%AE%9A%E8%A6%81%E4%B8%8D%E8%A6%81%E6%8F%9B%E6%9B%B4%E5%BF%AB%E7%9A%84%E7%A2%9F%E3%80%81%E9%82%84%E6%98%AF%E5%85%88%E5%8E%BB%E4%BF%AE%E5%88%A5%E7%9A%84%E7%93%B6%E9%A0%B8%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E4%B8%89%E5%80%8B%E6%95%B8%E5%AD%97%E8%A6%81%E8%87%AA%E5%B7%B1%E9%87%8F%EF%BC%8C%E4%B8%8D%E8%A6%81%E7%8C%9C%EF%BC%9A%0A%0A%20%20%20%20-%20**%E5%B1%A4%E6%95%B8%E8%88%87%20KV%20head%20%E6%95%B8**%EF%BC%9A%E6%A8%A1%E5%9E%8B%E7%9A%84%20%60config.json%60%20%E7%9C%8B%20%60num_hidden_layers%60%E3%80%81%0A%20%20%20%20%20%20%60num_key_value_heads%60%E3%80%81%60head_dim%60%EF%BC%88%E6%B2%92%E6%9C%89%20%60head_dim%60%20%E5%B0%B1%E7%94%A8%20%60hidden_size%20%2F%20num_attention_heads%60%EF%BC%89%E3%80%82%0A%20%20%20%20-%20**prefill%20%E5%90%9E%E5%90%90**%EF%BC%9A%E9%80%81%E4%B8%80%E7%99%BC%E5%A4%A0%E9%95%B7%E7%9A%84%20prompt%EF%BC%88%E4%BE%8B%E5%A6%82%208k%EF%BC%89%E3%80%81%60max_tokens%3D1%60%EF%BC%8C%0A%20%20%20%20%20%20%E9%87%8F%20TTFT%EF%BC%8C%E7%94%A8%20%60prompt%20%E9%95%B7%E5%BA%A6%20%2F%20TTFT%60%20%E7%95%B6%E4%BC%B0%E8%A8%88%E5%80%BC%E3%80%82%0A%20%20%20%20-%20**SSD%20%E9%A0%BB%E5%AF%AC**%EF%BC%9A%60fio%60%20%E8%B7%91%E5%BE%AA%E5%BA%8F%E8%AE%80%EF%BC%8C%E6%88%96%E6%9C%80%E9%99%BD%E6%98%A5%E7%9A%84%20%60dd%60%20%E8%AE%80%E4%B8%80%E5%80%8B%E5%A4%A7%E6%AA%94%E2%80%94%E2%80%94%0A%20%20%20%20%20%20%E9%87%8D%E9%BB%9E%E6%98%AF**%E5%88%A5%E7%94%A8%E8%A6%8F%E6%A0%BC%E6%9B%B8%E4%B8%8A%E7%9A%84%E6%95%B8%E5%AD%97**%EF%BC%8C%E5%AF%A6%E9%9A%9B%E8%90%BD%E5%9C%B0%E7%9A%84%E5%B8%B8%E5%B8%B8%E5%8F%AA%E6%9C%89%E4%B8%80%E5%8D%8A%E3%80%82%0A%0A%20%20%20%20%E6%80%8E%E9%BA%BC%E7%9F%A5%E9%81%93%E8%87%AA%E5%B7%B1%E5%81%9A%E5%B0%8D%E4%BA%86%EF%BC%9A%E6%8A%8A%E9%87%8F%E5%88%B0%E7%9A%84%E5%8A%A0%E9%80%9F%E6%AF%94%E9%99%A4%E4%BB%A5%E6%A8%A1%E5%9E%8B%E7%AE%97%E5%87%BA%E7%9A%84%E4%B8%8A%E9%99%90%EF%BC%8C%0A%20%20%20%20%E5%BE%97%E5%88%B0%E4%B8%80%E5%80%8B%200%E2%80%931%20%E7%9A%84%E3%80%8C%E6%9C%89%E6%95%88%E9%A0%BB%E5%AF%AC%E6%8A%98%E6%89%A3%E3%80%8D%E3%80%82%E5%A6%82%E6%9E%9C%E5%AE%83%E4%BD%8E%E5%88%B0%200.05%EF%BC%8C%E4%BB%A3%E8%A1%A8%2095%25%20%E7%9A%84%E6%99%82%E9%96%93%E8%8A%B1%E5%9C%A8%E6%90%AC%E9%81%8B%E4%BB%A5%E5%A4%96%E7%9A%84%E5%9C%B0%E6%96%B9%EF%BC%8C%0A%20%20%20%20%E9%80%99%E6%99%82%E5%80%99%E6%8F%9B%E6%9B%B4%E5%BF%AB%E7%9A%84%20SSD%20%E5%AE%8C%E5%85%A8%E6%B2%92%E6%9C%89%E7%94%A8%E2%80%94%E2%80%94%E7%93%B6%E9%A0%B8%E4%B8%8D%E5%9C%A8%E9%82%A3%E8%A3%A1%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A