推理加速：KV Cache、量化與 vLLM（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%EF%BC%9AKV%20Cache%E3%80%81%E9%87%8F%E5%8C%96%E8%88%87%20vLLM%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%EF%BC%9AKV%20Cache%E3%80%81%E9%87%8F%E5%8C%96%E8%88%87%20vLLM%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%94%B9%E5%A3%9E%E4%BA%86%E4%B9%9F%E6%B2%92%E9%97%9C%E4%BF%82%EF%BC%9A%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E4%B8%80%E8%AA%B2%E7%9A%84%E5%90%8D%E8%A9%9E%E8%81%BD%E8%B5%B7%E4%BE%86%E6%9C%80%E3%80%8C%E5%B7%A5%E7%A8%8B%E3%80%8D%EF%BC%8C%E4%BD%86%E6%AF%8F%E5%80%8B%E9%83%BD%E8%83%BD%E7%AE%97%E7%B5%A6%E4%BD%A0%E7%9C%8B%EF%BC%9A**KV%20Cache**%20%E6%9C%89%E5%A4%9A%E5%A4%A7%E3%80%81%0A%20%20%20%20**%E9%87%8F%E5%8C%96**%E4%B8%9F%E6%8E%89%E5%A4%9A%E5%B0%91%E7%B2%BE%E5%BA%A6%E3%80%81**%E6%8A%95%E6%A9%9F%E8%A7%A3%E7%A2%BC**%E5%BF%AB%E5%9C%A8%E5%93%AA%E3%80%81**%E9%80%A3%E7%BA%8C%E6%89%B9%E6%AC%A1**%E7%9C%81%E4%B8%8B%E4%BB%80%E9%BA%BC%E3%80%81%0A%20%20%20%20**MoE**%20%E7%82%BA%E4%BB%80%E9%BA%BC%E5%A4%A7%E8%80%8C%E4%B8%8D%E8%B2%B4%E3%80%82%E5%85%A8%E9%83%A8%E9%83%BD%E6%98%AF%E7%9C%9F%E7%9A%84%E7%AE%97%EF%BC%8C%E4%B8%8D%E6%98%AF%E7%A4%BA%E6%84%8F%E5%9C%96%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%B5%A6%E5%85%A8%20notebook%20%E7%94%A8%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20KV%20Cache%EF%BC%9A%E5%85%88%E7%AE%97%E5%AE%83%E6%9C%89%E5%A4%9A%E5%A4%A7%0A%0A%20%20%20%20%E8%87%AA%E8%BF%B4%E6%AD%B8%E7%94%9F%E6%88%90%E6%AF%8F%E8%B5%B0%E4%B8%80%E6%AD%A5%E9%83%BD%E8%A6%81%E3%80%8C%E5%9B%9E%E9%A0%AD%E7%9C%8B%E3%80%8D%E5%89%8D%E9%9D%A2%E6%89%80%E6%9C%89%20token%20%E7%9A%84%20Key%2FValue%E2%80%94%E2%80%94%0A%20%20%20%20%E4%B8%8D%E5%AD%98%E8%B5%B7%E4%BE%86%E5%B0%B1%E5%BE%97%E6%AF%8F%E6%AD%A5%E9%87%8D%E7%AE%97%E4%B8%80%E9%81%8D%E3%80%82%E5%AD%98%E8%B5%B7%E4%BE%86%E7%9A%84%E9%80%99%E5%A1%8A%E8%A8%98%E6%86%B6%E9%AB%94%E5%8F%AB%20**KV%20cache**%EF%BC%8C%0A%20%20%20%20%E5%A4%A7%E5%B0%8F%E5%AE%8C%E5%85%A8%E7%94%B1%E6%A8%A1%E5%9E%8B%E6%9E%B6%E6%A7%8B%E6%B1%BA%E5%AE%9A%EF%BC%8C%E5%85%AC%E5%BC%8F%E4%B8%80%E8%A1%8C%EF%BC%9A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%E6%AF%8F%20token%20%E4%BD%8D%E5%85%83%E7%B5%84%20%3D%202%EF%BC%88K%20%E5%92%8C%20V%EF%BC%89%20%C3%97%20%E5%B1%A4%E6%95%B8%20%C3%97%20KV%20head%20%E6%95%B8%20%C3%97%20head%20%E7%B6%AD%E5%BA%A6%20%C3%97%20%E6%AF%8F%E5%80%8B%E6%95%B8%E7%9A%84%E4%BD%8D%E5%85%83%E7%B5%84%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%208B%20%E7%B4%9A%20GQA%20%E6%A8%A1%E5%9E%8B%EF%BC%8832%20%E5%B1%A4%20%C3%97%208%20KV%20head%20%C3%97%20128%20%E7%B6%AD%20%C3%97%20fp16%EF%BC%89%E7%AE%97%E5%87%BA%E4%BE%86%E6%98%AF%20**128%20KB%2Ftoken**%E3%80%82%0A%20%20%20%20%E6%8B%89%E4%B8%8B%E9%9D%A2%E7%9A%84%E6%A1%BF%E5%AD%90%EF%BC%8C%E7%9C%8B%E3%80%8C%E4%B8%8A%E4%B8%8B%E6%96%87%E9%95%B7%E5%BA%A6%20%C3%97%20%E5%90%8C%E6%99%82%E5%9C%A8%E7%B7%9A%E4%BA%BA%E6%95%B8%E3%80%8D%E6%8A%8A%E5%AE%83%E5%90%B9%E6%88%90%E5%A4%9A%E5%A4%A7%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20kv_users%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D32%2C%20step%3D1%2C%20value%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E5%90%8C%E6%99%82%E5%9C%A8%E7%B7%9A%E4%BA%BA%E6%95%B8%EF%BC%88%E5%90%84%E4%BD%94%E4%B8%80%E4%BB%BD%E4%B8%8A%E4%B8%8B%E6%96%87%EF%BC%89%22%2C%20show_value%3DTrue)%0A%20%20%20%20kv_dtype%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22fp16%20%2F%20bf16%EF%BC%882%20bytes%EF%BC%89%22%3A%202%2C%20%22fp8%EF%BC%881%20byte%EF%BC%8CKV%20%E9%87%8F%E5%8C%96%EF%BC%89%22%3A%201%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22fp16%20%2F%20bf16%EF%BC%882%20bytes%EF%BC%89%22%2C%20label%3D%22KV%20%E5%AD%98%E6%88%90%E4%BB%80%E9%BA%BC%E5%9E%8B%E5%88%A5%22)%0A%20%20%20%20mo.vstack(%5Bkv_users%2C%20kv_dtype%5D)%0A%20%20%20%20return%20kv_dtype%2C%20kv_users%0A%0A%0A%40app.cell%0Adef%20_(kv_dtype%2C%20kv_users%2C%20np%2C%20plt)%3A%0A%20%20%20%20_kv_per_tok%20%3D%202%20*%2032%20*%208%20*%20128%20*%20kv_dtype.value%20%20%23%20bytes%2Ftoken%EF%BC%888B%20%E7%B4%9A%20GQA%EF%BC%89%0A%20%20%20%20_ctx%20%3D%20np.array(%5B2048%2C%208192%2C%2032768%2C%20131072%5D)%0A%20%20%20%20_gb%20%3D%20_ctx%20*%20kv_users.value%20*%20_kv_per_tok%20%2F%201024**3%0A%20%20%20%20_labels%20%3D%20%5B%222k%22%2C%20%228k%22%2C%20%2232k%22%2C%20%22128k%22%5D%0A%20%20%20%20_colors%20%3D%20%5B%22%234C72B0%22%20if%20g%20%3C%3D%208%20else%20%22%23DD8452%22%20if%20g%20%3C%3D%2024%20else%20%22%23C44E52%22%20for%20g%20in%20_gb%5D%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.0%2C%203.9))%0A%20%20%20%20_bars%20%3D%20_ax.bar(_labels%2C%20_gb%2C%20color%3D_colors%2C%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.1%2C%20zorder%3D3)%0A%20%20%20%20for%20_i%2C%20_g%20in%20enumerate(_gb)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%2C%20_g%20*%201.15%2C%20f%22%7B_g%3A.2f%7D%20GB%22%20if%20_g%20%3C%2010%20else%20f%22%7B_g%3A.0f%7D%20GB%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.axhline(24%2C%20color%3D%22%23C44E52%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.5%2C%20zorder%3D2)%0A%20%20%20%20_ax.text(3.4%2C%2024%20*%201.1%2C%20%22RTX%204090%20(24%20GB)%22%2C%20ha%3D%22right%22%2C%20fontsize%3D9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.set_yscale(%22log%22)%0A%20%20%20%20_ax.set_ylim(_gb.min()%20*%200.4%2C%20max(_gb.max()%2C%2030)%20*%204)%0A%20%20%20%20_ax.set_ylabel(%22KV%20cache%20(GB%2C%20log)%22)%0A%20%20%20%20_ax.set_title(f%22KV%20cache%20%3D%20context%20x%20%7Bkv_users.value%7D%20user(s)%20x%20%7B_kv_per_tok%2F%2F1024%7D%20KB%2Ftoken%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E9%A0%90%E8%A8%AD%E5%80%BC%E4%B8%8B%20128k%20%E4%B8%8A%E4%B8%8B%E6%96%87%E5%B0%B1%E6%98%AF%20**16%20GB**%E2%80%94%E2%80%94%E9%82%84%E6%B2%92%E7%AE%97%E6%A8%A1%E5%9E%8B%E6%AC%8A%E9%87%8D%EF%BC%888B%20fp16%20%E8%A6%81%2015%20GB%EF%BC%89%E3%80%82%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8C%E7%AA%97%E8%B6%8A%E5%A4%A7%E8%B6%8A%E8%B2%B4%E3%80%8D%E7%9A%84%E7%89%A9%E7%90%86%E5%8E%9F%E5%9B%A0%E3%80%82%0A%0A%20%20%20%20%E6%9B%B4%E9%BA%BB%E7%85%A9%E7%9A%84%E6%98%AF%EF%BC%9A%E6%AF%8F%E5%80%8B%E8%AB%8B%E6%B1%82%E7%9A%84%E9%95%B7%E5%BA%A6%E4%B8%8D%E4%B8%80%E6%A8%A3%E3%80%81%E9%82%84%E6%9C%83%E9%82%8A%E8%81%8A%E9%82%8A%E9%95%B7%EF%BC%8CKV%20%E8%A9%B2%E6%80%8E%E9%BA%BC%E6%93%BA%EF%BC%9F%0A%20%20%20%20%E6%97%A9%E6%9C%9F%E5%BC%95%E6%93%8E%E6%9B%BF%E6%AF%8F%E5%80%8B%E8%AB%8B%E6%B1%82**%E9%A0%90%E7%95%99%E6%9C%80%E9%95%B7%E9%95%B7%E5%BA%A6**%E7%9A%84%E9%80%A3%E7%BA%8C%E7%A9%BA%E9%96%93%EF%BC%8C%E5%A4%A7%E9%83%A8%E5%88%86%E4%BD%8D%E7%BD%AE%E7%A9%BA%E8%91%97%E2%80%94%E2%80%94%E6%B5%AA%E8%B2%BB%E7%8E%87%E5%8F%AF%E9%81%94%E4%B9%9D%E6%88%90%E3%80%82%0A%20%20%20%20**PagedAttention**%EF%BC%88vLLM%20%E7%9A%84%E6%A0%B8%E5%BF%83%EF%BC%89%E5%80%9F%E4%BD%9C%E6%A5%AD%E7%B3%BB%E7%B5%B1%E3%80%8C%E5%88%86%E9%A0%81%E3%80%8D%E7%9A%84%E6%A6%82%E5%BF%B5%EF%BC%8C%E6%8A%8A%20KV%20%E5%88%87%E6%88%90%E5%B0%8F%E5%A1%8A%E3%80%81%0A%20%20%20%20%E8%A6%81%E7%94%A8%E6%89%8D%E9%85%8D%E4%B8%80%E5%A1%8A%EF%BC%8C%E6%B5%AA%E8%B2%BB%E7%8E%87%E5%A4%A7%E9%99%8D%E3%80%82%E9%80%99%E4%B9%9F%E6%98%AF%E7%82%BA%E4%BB%80%E9%BA%BC%E3%80%8C%E7%94%A8%20vLLM%E3%80%8D%E5%B8%B8%E5%B8%B8%E5%B0%B1%E6%98%AF%E5%90%9E%E5%90%90%E7%BF%BB%E5%80%8D%E7%9A%84%E7%AC%AC%E4%B8%80%E6%AD%A5%E3%80%82%0A%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E9%87%8F%E5%8C%96%EF%BC%9A%E6%8A%8A%20fp16%20%E5%A3%93%E6%88%90%20int4%EF%BC%8C%E4%B8%9F%E6%8E%89%E5%A4%9A%E5%B0%91%EF%BC%9F%0A%0A%20%20%20%20**%E9%87%8F%E5%8C%96%EF%BC%88quantization%EF%BC%89**%E6%8A%8A%E6%AF%8F%E5%80%8B%E6%AC%8A%E9%87%8D%E5%BE%9E%2016%20bit%20%E6%B5%AE%E9%BB%9E%E6%95%B8%E5%A3%93%E6%88%90%208%20bit%20%E6%88%96%204%20bit%20%E6%95%B4%E6%95%B8%EF%BC%8C%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E6%AA%94%E7%9B%B4%E6%8E%A5%E7%A0%8D%E5%8D%8A%E3%80%81%E7%A0%8D%E5%9B%9B%E5%88%86%E4%B9%8B%E4%B8%89%EF%BC%888B%EF%BC%9Afp16%2015%20GB%20%E2%86%92%20int8%207.5%20GB%20%E2%86%92%20int4%203.7%20GB%EF%BC%89%E3%80%82%0A%20%20%20%20%E4%BB%A3%E5%83%B9%E6%98%AF**%E6%8D%A8%E5%85%A5%E8%AA%A4%E5%B7%AE**%E3%80%82%E4%B8%8B%E9%9D%A2%E7%94%A8%204096%20%E5%80%8B%E7%9C%9F%E6%AC%8A%E9%87%8D%EF%BC%88%E5%B0%BA%E5%BA%A6%200.02%20%E7%9A%84%E5%B8%B8%E6%85%8B%E5%88%86%E5%B8%83%EF%BC%89%E7%9C%9F%E7%9A%84%E9%87%8F%E5%8C%96%E4%B8%80%E6%AC%A1%EF%BC%8C%0A%20%20%20%20%E9%87%8F%E4%B8%89%E7%A8%AE%E5%81%9A%E6%B3%95%E7%9A%84%E5%B9%B3%E5%9D%87%E8%AA%A4%E5%B7%AE%E2%80%94%E2%80%94%E9%87%8D%E9%BB%9E%E5%9C%A8%E3%80%8C%E9%9B%A2%E7%BE%A4%E5%80%BC%E3%80%8D%E9%96%8B%E9%97%9C%EF%BC%9ALLM%20%E6%AC%8A%E9%87%8D%E8%A3%A1%E7%9C%9F%E7%9A%84%E6%9C%89%E5%B0%91%E6%95%B8%E7%89%B9%E5%88%A5%E5%A4%A7%E7%9A%84%E5%80%BC%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20q_outlier%20%3D%20mo.ui.switch(value%3DFalse%2C%20label%3D%22%E5%8A%A0%E5%85%A5%E4%B8%80%E5%80%8B%E9%9B%A2%E7%BE%A4%E5%80%BC%EF%BC%88%E6%8A%8A%E5%85%B6%E4%B8%AD%E4%B8%80%E5%80%8B%E6%AC%8A%E9%87%8D%E6%94%B9%E6%88%90%200.5%EF%BC%89%22)%0A%20%20%20%20q_outlier%0A%20%20%20%20return%20(q_outlier%2C)%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20q_outlier)%3A%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(0)%0A%20%20%20%20_w%20%3D%20_rng.normal(0%2C%200.02%2C%204096).astype(np.float32)%0A%20%20%20%20if%20q_outlier.value%3A%0A%20%20%20%20%20%20%20%20_w%5B100%5D%20%3D%200.5%0A%0A%20%20%20%20def%20_absmax(x%2C%20bits%2C%20group%3DNone)%3A%0A%20%20%20%20%20%20%20%20qmax%20%3D%202%20**%20(bits%20-%201)%20-%201%0A%20%20%20%20%20%20%20%20if%20group%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20xs%20%3D%20x.reshape(-1%2C%20group)%0A%20%20%20%20%20%20%20%20%20%20%20%20s%20%3D%20np.abs(xs).max(axis%3D1%2C%20keepdims%3DTrue)%20%2F%20qmax%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(np.round(xs%20%2F%20s)%20*%20s).ravel()%0A%20%20%20%20%20%20%20%20s%20%3D%20np.abs(x).max()%20%2F%20qmax%0A%20%20%20%20%20%20%20%20return%20np.round(x%20%2F%20s)%20*%20s%0A%0A%20%20%20%20_errs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22int8%20whole-tensor%22%2C%20np.abs(_absmax(_w%2C%208)%20-%20_w).mean()%2C%20%22%234C72B0%22)%2C%0A%20%20%20%20%20%20%20%20(%22int4%20whole-tensor%22%2C%20np.abs(_absmax(_w%2C%204)%20-%20_w).mean()%2C%20%22%23C44E52%22)%2C%0A%20%20%20%20%20%20%20%20(%22int4%20group-128%22%2C%20np.abs(_absmax(_w%2C%204%2C%20group%3D128)%20-%20_w).mean()%2C%20%22%2355A868%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.0%2C%203.7))%0A%20%20%20%20_names%20%3D%20%5Be%5B0%5D%20for%20e%20in%20_errs%5D%0A%20%20%20%20_vals%20%3D%20%5Be%5B1%5D%20for%20e%20in%20_errs%5D%0A%20%20%20%20_ax.bar(_names%2C%20_vals%2C%20color%3D%5Be%5B2%5D%20for%20e%20in%20_errs%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.1%2C%20zorder%3D3)%0A%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(_vals)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%2C%20_v%20*%201.08%2C%20f%22%7B_v%3A.6f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.set_ylabel(%22mean%20abs%20error%20(weight%20scale%200.02)%22)%0A%20%20%20%20_ax.set_title(%22one%20outlier%20wrecks%20whole-tensor%20int4%20-%3E%20group-wise%20fixes%20it%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20q_outlier.value%20else%20%22no%20outlier%3A%20int4%20error%20is%20small%20and%20benign%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20q_outlier)%3A%0A%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%22%E6%89%93%E9%96%8B%E9%9B%A2%E7%BE%A4%E5%80%BC%E4%B9%8B%E5%BE%8C%EF%BC%9Aint4%20%E5%85%A8%E5%BC%B5%E9%87%8F%E7%9A%84%E8%AA%A4%E5%B7%AE%E8%B7%B3%E4%BA%86%E7%B4%84%20**5%20%E5%80%8D**%EF%BC%880.0028%20%E2%86%92%200.0149%EF%BC%89%E2%80%94%E2%80%94%22%0A%20%20%20%20%20%20%20%20%22%E4%B8%80%E5%80%8B%200.5%20%E7%9A%84%E6%AC%8A%E9%87%8D%E6%8A%8A%E6%95%B4%E6%A2%9D%E9%87%8F%E5%8C%96%E5%88%BB%E5%BA%A6%E6%92%90%E5%A4%A7%EF%BC%8C%E5%85%B6%E4%BB%96%204095%20%E5%80%8B%E5%B0%8F%E6%AC%8A%E9%87%8D%E5%85%A8%E8%A2%AB%E7%8A%A7%E7%89%B2%E3%80%82%22%0A%20%20%20%20%20%20%20%20%22%E8%80%8C%20**128%20%E5%80%8B%E4%B8%80%E7%B5%84**%E5%88%86%E9%96%8B%E9%87%8F%E5%8C%96%EF%BC%88%E7%B6%A0%E8%89%B2%EF%BC%89%E5%B9%BE%E4%B9%8E%E4%B8%8D%E5%8F%97%E5%BD%B1%E9%9F%BF%EF%BC%9A%E7%81%BD%E9%9B%A3%E8%A2%AB%E9%9A%94%E9%9B%A2%E5%9C%A8%E9%82%A3%E4%B8%80%E7%B5%84%E8%A3%A1%E3%80%82%22%0A%20%20%20%20%20%20%20%20if%20q_outlier.value%20else%0A%20%20%20%20%20%20%20%20%22%E7%9B%AE%E5%89%8D%E6%B2%92%E6%9C%89%E9%9B%A2%E7%BE%A4%E5%80%BC%EF%BC%8Cint4%20%E7%9A%84%E8%AA%A4%E5%B7%AE%E7%9C%8B%E8%B5%B7%E4%BE%86%E7%84%A1%E5%AE%B3%E3%80%82**%E6%8A%8A%E4%B8%8A%E9%9D%A2%E7%9A%84%E9%96%8B%E9%97%9C%E6%89%93%E9%96%8B**%EF%BC%8C%22%0A%20%20%20%20%20%20%20%20%22%E7%9C%8B%E4%B8%80%E5%80%8B%E9%9B%A2%E7%BE%A4%E5%80%BC%E6%80%8E%E9%BA%BC%E6%AF%80%E6%8E%89%E6%95%B4%E5%BC%B5%E9%87%8F%E7%9A%84%E9%87%8F%E5%8C%96%E3%80%82%22%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7B_msg%7D%0A%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%20**GPTQ%EF%BC%8FAWQ%EF%BC%8FGGUF**%20%E9%80%99%E4%BA%9B%E4%B8%BB%E6%B5%81%E9%87%8F%E5%8C%96%E6%A0%BC%E5%BC%8F%E9%83%BD%E5%81%9A%E3%80%8C%E5%88%86%E7%B5%84%E9%87%8F%E5%8C%96%E3%80%8D%E7%9A%84%E5%8E%9F%E5%9B%A0%0A%20%20%20%20%EF%BC%88%E5%B8%B8%E8%A6%8B%2032%EF%BD%9E128%20%E5%80%8B%E6%AC%8A%E9%87%8D%E4%B8%80%E7%B5%84%EF%BC%8C%E5%90%84%E5%AD%98%E5%90%84%E7%9A%84%E7%B8%AE%E6%94%BE%E4%BF%82%E6%95%B8%EF%BC%89%E3%80%82%0A%20%20%20%20%E4%BD%A0%E5%9C%A8%20Ollama%20%E6%A8%A1%E5%9E%8B%E5%90%8D%E7%9C%8B%E5%88%B0%E7%9A%84%20%60q4_K_M%60%20%E5%B0%B1%E6%98%AF%20GGUF%20%E7%9A%84%204-bit%20%E5%88%86%E7%B5%84%E9%87%8F%E5%8C%96%E8%AE%8A%E9%AB%94%E3%80%82%0A%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E6%8A%95%E6%A9%9F%E8%A7%A3%E7%A2%BC%EF%BC%9A%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%85%88%E7%8C%9C%E3%80%81%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%89%B9%E6%AC%A1%E9%A9%97%E8%AD%89%0A%0A%20%20%20%20%E8%87%AA%E8%BF%B4%E6%AD%B8%E6%98%AF%E4%B8%B2%E8%A1%8C%E7%9A%84%E2%80%94%E2%80%94%E4%BD%86**%E9%A9%97%E8%AD%89%E5%8F%AF%E4%BB%A5%E5%B9%B3%E8%A1%8C**%E3%80%82%E6%8A%95%E6%A9%9F%E8%A7%A3%E7%A2%BC%EF%BC%88speculative%20decoding%EF%BC%89%E8%AE%93%E4%B8%80%E5%80%8B%0A%20%20%20%20%E5%B0%8F%E6%A8%A1%E5%9E%8B%E5%85%88%E9%80%A3%E7%8C%9C%20k%20%E5%80%8B%20token%EF%BC%8C%E5%A4%A7%E6%A8%A1%E5%9E%8B**%E4%B8%80%E6%AC%A1%E5%89%8D%E5%90%91**%E6%8A%8A%20k%20%E5%80%8B%E5%85%A8%E9%83%A8%E9%A9%97%E5%AE%8C%EF%BC%9A%E7%8C%9C%E5%B0%8D%E7%9A%84%E7%85%A7%E5%96%AE%E5%85%A8%E6%94%B6%EF%BC%8C%0A%20%20%20%20%E7%8C%9C%E9%8C%AF%E7%9A%84%E5%BE%9E%E9%8C%AF%E7%9A%84%E9%82%A3%E6%A0%BC%E9%87%8D%E4%BE%86%E3%80%82%E5%B9%B3%E5%9D%87%E6%AF%8F%E8%BC%AA%E8%83%BD%E6%94%B6%E4%B8%8B%E5%B9%BE%E5%80%8B%EF%BC%8C%E5%8F%96%E6%B1%BA%E6%96%BC%E5%B0%8F%E6%A8%A1%E5%9E%8B%E7%9A%84**%E6%8E%A5%E5%8F%97%E7%8E%87%20%CE%B1**%EF%BC%9A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20sd_alpha%20%3D%20mo.ui.slider(start%3D0.5%2C%20stop%3D0.95%2C%20step%3D0.05%2C%20value%3D0.8%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E6%8E%A5%E5%8F%97%E7%8E%87%20%CE%B1%EF%BC%88%E5%B0%8F%E6%A8%A1%E5%9E%8B%E6%AF%8F%E5%80%8B%20token%20%E8%A2%AB%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AA%8D%E5%8F%AF%E7%9A%84%E6%A9%9F%E7%8E%87%EF%BC%89%22%2C%20show_value%3DTrue)%0A%20%20%20%20sd_alpha%0A%20%20%20%20return%20(sd_alpha%2C)%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20sd_alpha)%3A%0A%20%20%20%20_K%20%3D%204%0A%20%20%20%20_a_grid%20%3D%20np.linspace(0.5%2C%200.95%2C%20100)%0A%20%20%20%20_closed%20%3D%20(1%20-%20_a_grid%20**%20(_K%20%2B%201))%20%2F%20(1%20-%20_a_grid)%0A%20%20%20%20%23%20%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85%E5%9C%A8%E7%9B%AE%E5%89%8D%20%CE%B1%20%E4%BA%92%E9%A9%97%EF%BC%88%E6%95%99%E5%AD%B8%E6%A8%A1%E5%9E%8B%EF%BC%9A%E6%AF%8F%20token%20%E7%8D%A8%E7%AB%8B%E4%BB%A5%20%CE%B1%20%E6%8E%A5%E5%8F%97%EF%BC%89%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(1)%0A%20%20%20%20_acc%20%3D%20_rng.random((20000%2C%20_K))%20%3C%20sd_alpha.value%0A%20%20%20%20_n_acc%20%3D%20np.where(_acc.all(axis%3D1)%2C%20_K%2C%20np.argmin(_acc%2C%20axis%3D1))%0A%20%20%20%20_mc%20%3D%20float((_n_acc%20%2B%201).mean())%0A%20%20%20%20_here%20%3D%20(1%20-%20sd_alpha.value%20**%20(_K%20%2B%201))%20%2F%20(1%20-%20sd_alpha.value)%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.0%2C%203.9))%0A%20%20%20%20_ax.plot(_a_grid%2C%20_closed%2C%20color%3D%22%2355A868%22%2C%20linewidth%3D2.6%2C%20zorder%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22expected%20tokens%20per%20big-model%20pass%20(k%3D4)%22)%0A%20%20%20%20_ax.axhline(1.0%2C%20color%3D%22%23C44E52%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.5%2C%20zorder%3D2)%0A%20%20%20%20_ax.text(0.505%2C%201.06%2C%20%221.0%20%3D%20plain%20autoregressive%22%2C%20fontsize%3D9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.plot(%5Bsd_alpha.value%5D%2C%20%5B_mc%5D%2C%20%22o%22%2C%20color%3D%22%231C2B33%22%2C%20markersize%3D9%2C%20zorder%3D5)%0A%20%20%20%20_ax.annotate(f%22Monte-Carlo%20check%3A%20%7B_mc%3A.2f%7D%22%2C%20xy%3D(sd_alpha.value%2C%20_mc)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(sd_alpha.value%20-%200.16%2C%20_mc%20%2B%200.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D10%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.set_xlabel(%22acceptance%20rate%20(alpha)%22)%0A%20%20%20%20_ax.set_ylabel(%22tokens%20produced%20per%20verification%22)%0A%20%20%20%20_ax.set_title(f%22alpha%3D%7Bsd_alpha.value%3A.2f%7D%20-%3E%20%7B_here%3A.2f%7D%20tokens%20per%20pass%22)%0A%20%20%20%20_ax.legend(fontsize%3D9%2C%20loc%3D%22upper%20left%22)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20sd_alpha)%3A%0A%20%20%20%20_here%20%3D%20(1%20-%20sd_alpha.value%20**%205)%20%2F%20(1%20-%20sd_alpha.value)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%CE%B1%20%3D%20%7Bsd_alpha.value%3A.2f%7D%20%E6%99%82%E6%AF%8F%E6%AC%A1%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%89%8D%E5%90%91%E5%B9%B3%E5%9D%87%E7%94%A2%E5%87%BA%20**%7B_here%3A.2f%7D%20%E5%80%8B%20token**%0A%20%20%20%20%EF%BC%88%E6%9B%B2%E7%B7%9A%E6%98%AF%E5%B0%81%E9%96%89%E5%BC%8F%E6%9C%9F%E6%9C%9B%E3%80%81%E9%BB%91%E9%BB%9E%E6%98%AF%E5%85%A9%E8%90%AC%E6%AC%A1%E8%92%99%E5%9C%B0%E5%8D%A1%E7%BE%85%E2%80%94%E2%80%94%E5%85%A9%E8%80%85%E5%B0%8D%E5%BE%97%E4%B8%8A%EF%BC%8C%E9%80%99%E6%98%AF%E6%95%99%E5%AD%B8%E6%A8%A1%E5%9E%8B%EF%BC%9A%0A%20%20%20%20%E7%9C%9F%E5%AF%A6%E7%B3%BB%E7%B5%B1%E7%9A%84%E6%8E%A5%E5%8F%97%E7%8E%87%E6%9C%83%E9%9A%A8%E5%85%A7%E5%AE%B9%E6%B3%A2%E5%8B%95%EF%BC%89%E3%80%82%E5%B0%8F%E6%A8%A1%E5%9E%8B%E8%B7%9F%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%B6%8A%E3%80%8C%E5%83%8F%E3%80%8D%E3%80%81%E6%96%87%E5%AD%97%E8%B6%8A%E5%8F%AF%E9%A0%90%E6%B8%AC%0A%20%20%20%20%EF%BC%88%E7%A8%8B%E5%BC%8F%E7%A2%BC%E3%80%81%E6%A0%BC%E5%BC%8F%E5%8C%96%E8%BC%B8%E5%87%BA%EF%BC%89%EF%BC%8C%CE%B1%20%E8%B6%8A%E9%AB%98%E3%80%81%E8%B3%BA%E8%B6%8A%E5%A4%9A%EF%BC%9B%E5%A4%A9%E9%A6%AC%E8%A1%8C%E7%A9%BA%E7%9A%84%E5%89%B5%E6%84%8F%E5%AF%AB%E4%BD%9C%20%CE%B1%20%E4%BD%8E%EF%BC%8C%E5%B0%B1%E4%B8%8D%E5%88%92%E7%AE%97%E3%80%82%0A%0A%20%20%20%20**%E9%97%9C%E9%8D%B5%E6%80%A7%E8%B3%AA%EF%BC%9A%E8%BC%B8%E5%87%BA%E5%88%86%E5%B8%83%E4%B8%8D%E8%AE%8A%E3%80%82**%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%8F%AA%E6%94%B6%E3%80%8C%E8%87%AA%E5%B7%B1%E4%B9%9F%E6%9C%83%E9%80%99%E6%A8%A3%E9%81%B8%E3%80%8D%E7%9A%84%20token%EF%BC%8C%0A%20%20%20%20%E6%89%80%E4%BB%A5%E9%80%99%E6%98%AF%E5%85%8D%E8%B2%BB%E7%9A%84%E5%8A%A0%E9%80%9F%E2%80%94%E2%80%94%E4%B8%8D%E5%83%8F%E9%87%8F%E5%8C%96%E6%9C%89%E7%B2%BE%E5%BA%A6%E4%BB%A3%E5%83%B9%E3%80%82%0A%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20Continuous%20Batching%EF%BC%9A%E5%88%A5%E8%AE%93%20GPU%20%E7%AD%89%E4%BA%BA%0A%0A%20%20%20%20GPU%20%E4%B8%80%E6%AC%A1%E7%AE%97%E4%B8%80%E6%89%B9%EF%BC%88batch%EF%BC%89%E6%9C%80%E5%88%92%E7%AE%97%E3%80%82%E4%BD%86**%E9%9D%9C%E6%85%8B%E6%89%B9%E6%AC%A1**%E8%A6%81%E7%AD%89%E6%95%B4%E6%89%B9%E5%85%A8%E9%83%A8%E7%94%9F%E6%88%90%E5%AE%8C%E6%89%8D%E6%8F%9B%E4%B8%8B%E4%B8%80%E6%89%B9%E2%80%94%E2%80%94%0A%20%20%20%20%E5%85%88%E5%AF%AB%E5%AE%8C%E7%9A%84%E8%AB%8B%E6%B1%82%E4%BD%94%E8%91%97%E4%BD%8D%E5%AD%90%E7%A9%BA%E8%BD%89%EF%BC%8C%E5%88%A9%E7%94%A8%E7%8E%87%E8%A2%AB%E6%9C%80%E9%95%B7%E7%9A%84%E9%82%A3%E5%80%8B%E8%AB%8B%E6%B1%82%E6%8B%96%E5%9E%AE%E3%80%82%0A%20%20%20%20**%E9%80%A3%E7%BA%8C%E6%89%B9%E6%AC%A1%EF%BC%88continuous%20batching%EF%BC%89**%E6%AF%8F%E7%94%9F%E6%88%90%E4%B8%80%E6%AD%A5%E9%83%BD%E6%AA%A2%E6%9F%A5%EF%BC%9A%E8%AA%B0%E5%AE%8C%E6%88%90%E4%BA%86%E5%B0%B1%E9%80%81%E8%B5%B0%E3%80%81%0A%20%20%20%20%E7%A9%BA%E4%BD%8D%E9%A6%AC%E4%B8%8A%E8%A3%9C%E6%96%B0%E8%AB%8B%E6%B1%82%E3%80%82%E4%B8%8B%E9%9D%A2%E6%98%AF%E4%B8%80%E5%80%8B%E6%8E%92%E7%A8%8B%E6%A8%A1%E6%93%AC%EF%BC%88%E6%95%99%E5%AD%B8%E6%A8%A1%E5%9E%8B%EF%BC%9A8%20%E5%80%8B%E6%A7%BD%E4%BD%8D%E3%80%81%0A%20%20%20%20%E8%AB%8B%E6%B1%82%E9%95%B7%E5%BA%A6%2020%E2%80%93200%20%E9%9A%A8%E6%A9%9F%E3%80%81%E4%BD%87%E5%88%97%E6%BB%BF%E8%BC%89%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20cb_seed%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3D9%2C%20step%3D1%2C%20value%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E6%8F%9B%E4%B8%80%E6%89%B9%E9%9A%A8%E6%A9%9F%E8%AB%8B%E6%B1%82%EF%BC%88seed%EF%BC%89%22%2C%20show_value%3DTrue)%0A%20%20%20%20cb_seed%0A%20%20%20%20return%20(cb_seed%2C)%0A%0A%0A%40app.cell%0Adef%20_(cb_seed%2C%20np%2C%20plt)%3A%0A%20%20%20%20_SLOTS%2C%20_STEPS%20%3D%208%2C%20400%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(cb_seed.value)%0A%20%20%20%20_lengths%20%3D%20_rng.integers(20%2C%20200%2C%201000)%0A%0A%20%20%20%20def%20_run(continuous)%3A%0A%20%20%20%20%20%20%20%20q%20%3D%20list(_lengths)%0A%20%20%20%20%20%20%20%20slot%20%3D%20%5B0%5D%20*%20_SLOTS%0A%20%20%20%20%20%20%20%20busy%20%3D%20total%20%3D%200%0A%20%20%20%20%20%20%20%20for%20_t%20in%20range(_STEPS)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20continuous%20or%20all(s%20%3D%3D%200%20for%20s%20in%20slot)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(_SLOTS)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20slot%5Bi%5D%20%3D%3D%200%20and%20q%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20slot%5Bi%5D%20%3D%20int(q.pop(0))%0A%20%20%20%20%20%20%20%20%20%20%20%20busy%20%2B%3D%20sum(1%20for%20s%20in%20slot%20if%20s%20%3E%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20total%20%2B%3D%20_SLOTS%0A%20%20%20%20%20%20%20%20%20%20%20%20slot%20%3D%20%5Bmax(0%2C%20s%20-%201)%20for%20s%20in%20slot%5D%0A%20%20%20%20%20%20%20%20return%20busy%20%2F%20total%0A%0A%20%20%20%20_us%2C%20_uc%20%3D%20_run(False)%2C%20_run(True)%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.0%2C%203.4))%0A%20%20%20%20_ax.barh(%5B%22static%20batching%22%2C%20%22continuous%20batching%22%5D%2C%20%5B_us%20*%20100%2C%20_uc%20*%20100%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5B%22%23C44E52%22%2C%20%22%2355A868%22%5D%2C%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.1%2C%20zorder%3D3)%0A%20%20%20%20for%20_i%2C%20_u%20in%20enumerate(%5B_us%2C%20_uc%5D)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_u%20*%20100%20-%202%2C%20_i%2C%20f%22%7B_u%3A.0%25%7D%22%2C%20ha%3D%22right%22%2C%20va%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D12%2C%20fontweight%3D%22bold%22%2C%20color%3D%22white%22)%0A%20%20%20%20_ax.set_xlim(0%2C%20105)%0A%20%20%20%20_ax.set_xlabel(%22GPU%20slot%20utilization%20(%25)%22)%0A%20%20%20%20_ax.set_title(%22same%20requests%2C%20same%20GPU%20-%20only%20the%20scheduler%20differs%22)%0A%20%20%20%20_ax.grid(axis%3D%22x%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E5%A4%9A%E6%8F%9B%E5%B9%BE%E5%80%8B%20seed%EF%BC%9A%E9%9D%9C%E6%85%8B%E6%89%B9%E6%AC%A1%E7%A9%A9%E5%AE%9A%E5%8D%A1%E5%9C%A8%E5%85%AD%E6%88%90%E4%B8%8A%E4%B8%8B%EF%BC%8C%E9%80%A3%E7%BA%8C%E6%89%B9%E6%AC%A1%E5%9C%A8%E4%BD%87%E5%88%97%E6%BB%BF%E8%BC%89%E6%99%82%E9%80%BC%E8%BF%91%20100%25%E3%80%82%0A%20%20%20%20%E9%80%99%E8%B7%9F%20**Flash%20Attention**%20%E6%98%AF%E5%85%A9%E5%B1%A4%E4%B8%8D%E5%90%8C%E7%9A%84%E5%84%AA%E5%8C%96%EF%BC%9AFlash%20Attention%20%E5%9C%A8%20**kernel%20%E5%B1%A4**%0A%20%20%20%20%E9%87%8D%E6%8E%92%E6%B3%A8%E6%84%8F%E5%8A%9B%E8%A8%88%E7%AE%97%E7%9A%84%E8%A8%98%E6%86%B6%E9%AB%94%E5%AD%98%E5%8F%96%EF%BC%88%E4%B8%8D%E6%90%AC%E9%80%B2%E6%90%AC%E5%87%BA%E6%85%A2%E5%90%9E%E5%90%9E%E7%9A%84%E9%A1%AF%E5%AD%98%E4%B8%AD%E7%B9%BC%E7%AB%99%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E9%80%A3%E7%BA%8C%E6%89%B9%E6%AC%A1%E5%9C%A8**%E6%8E%92%E7%A8%8B%E5%B1%A4**%E5%A1%AB%E6%BB%BF%E7%A9%BA%E4%BD%8D%E2%80%94%E2%80%94%E5%85%A9%E5%80%8B%E4%B8%80%E8%B5%B7%E7%94%A8%EF%BC%8C%E6%89%8D%E6%9C%89%20vLLM%20%E9%82%A3%E7%A8%AE%E5%90%9E%E5%90%90%E9%87%8F%E3%80%82%0A%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20MoE%EF%BC%9A%E5%8F%83%E6%95%B8%E5%BE%88%E5%A4%9A%EF%BC%8C%E6%AF%8F%E6%AC%A1%E5%8F%AA%E7%94%A8%E4%B8%80%E9%BB%9E%0A%0A%20%20%20%20**MoE%EF%BC%88Mixture%20of%20Experts%EF%BC%89**%E6%8A%8A%E6%AF%8F%E5%B1%A4%E7%9A%84%20FFN%20%E6%8F%9B%E6%88%90%E4%B8%80%E6%8E%92%E3%80%8C%E5%B0%88%E5%AE%B6%E3%80%8D%EF%BC%8C%0A%20%20%20%20%E6%AF%8F%E5%80%8B%20token%20%E7%94%B1%E8%B7%AF%E7%94%B1%E5%99%A8%E6%8C%91%202%20%E5%80%8B%E5%B0%88%E5%AE%B6%E8%99%95%E7%90%86%E2%80%94%E2%80%94**%E7%B8%BD%E5%8F%83%E6%95%B8%E5%BE%88%E5%A4%A7%E3%80%81%E6%AF%8F%E5%80%8B%20token%20%E5%AF%A6%E9%9A%9B%E9%81%8E%E7%9A%84%E5%8F%83%E6%95%B8%E5%BE%88%E5%B0%8F**%E3%80%82%0A%20%20%20%20%E7%94%A8%20Mixtral%208x7B%20%E7%9A%84%E7%9C%9F%E5%AF%A6%E6%9E%B6%E6%A7%8B%E7%AE%97%E4%B8%80%E6%AC%A1%E5%B8%B3%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Mixtral%208x7B%20%E5%8F%83%E6%95%B8%E5%B8%B3%EF%BC%88%E7%9C%9F%E5%AF%A6%E6%9E%B6%E6%A7%8B%E8%A6%8F%E6%A0%BC%EF%BC%9A32%20%E5%B1%A4%E3%80%81hidden%204096%E3%80%818%20%E5%80%8B%E5%B0%88%E5%AE%B6%E3%80%81top-2%EF%BC%89%0A%20%20%20%20V%2C%20H%2C%20L%2C%20INTER%2C%20NKV%20%3D%2032000%2C%204096%2C%2032%2C%2014336%2C%208%0A%20%20%20%20attn%20%3D%20H%20*%20H%20%2B%202%20*%20H%20*%20(NKV%20*%20128)%20%2B%20H%20*%20H%0A%20%20%20%20expert%20%3D%203%20*%20H%20*%20INTER%20%20%20%20%20%20%20%20%20%20%23%20gate%2Fup%2Fdown%20%E4%B8%89%E5%A1%8A%0A%20%20%20%20router%20%3D%20H%20*%208%0A%20%20%20%20per_layer_total%20%3D%20attn%20%2B%208%20*%20expert%20%2B%20router%20%2B%202%20*%20H%0A%20%20%20%20per_layer_active%20%3D%20attn%20%2B%202%20*%20expert%20%2B%20router%20%2B%202%20*%20H%0A%20%20%20%20total%20%3D%20V%20*%20H%20%2B%20L%20*%20per_layer_total%20%2B%20H%20%2B%20V%20*%20H%0A%20%20%20%20active%20%3D%20V%20*%20H%20%2B%20L%20*%20per_layer_active%20%2B%20H%20%2B%20V%20*%20H%0A%20%20%20%20print(f%22%E7%B8%BD%E5%8F%83%E6%95%B8%20%20%20%20%20%20%20%20%3A%20%7Btotal%2F1e9%3A.1f%7DB%EF%BC%88%E8%A6%81%E6%94%BE%E9%80%B2%E8%A8%98%E6%86%B6%E9%AB%94%E7%9A%84%E9%87%8F%EF%BC%89%22)%0A%20%20%20%20print(f%22%E6%AF%8F%20token%20%E5%95%9F%E7%94%A8%20%3A%20%7Bactive%2F1e9%3A.1f%7DB%EF%BC%88%E6%AF%8F%E4%B8%80%E6%AD%A5%E5%AF%A6%E9%9A%9B%E8%A8%88%E7%AE%97%E7%9A%84%E9%87%8F%EF%BC%89%22)%0A%20%20%20%20print(f%22%E5%95%9F%E7%94%A8%E6%AF%94%E4%BE%8B%20%20%20%20%20%20%3A%20%7Bactive%2Ftotal%3A.0%25%7D%20%E2%80%94%E2%80%94%20%E5%A4%A7%E8%80%8C%E4%B8%8D%E8%B2%B4%E7%9A%84%E7%A5%95%E5%AF%86%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%2046.7B%20%E7%9A%84%E6%A8%A1%E5%9E%8B%E3%80%81%E6%AF%8F%E5%80%8B%20token%20%E5%8F%AA%E7%AE%97%2012.9B%E2%80%94%E2%80%94**%E8%A8%98%E6%86%B6%E9%AB%94%E7%85%A7%2046.7B%20%E4%BB%98%E3%80%81%E8%A8%88%E7%AE%97%E7%85%A7%2012.9B%20%E4%BB%98**%E3%80%82%0A%20%20%20%20DeepSeek-V3%20%E6%8A%8A%E9%80%99%E6%8B%9B%E6%8E%A8%E5%88%B0%20671B%20%E7%B8%BD%E5%8F%83%E6%95%B8%EF%BC%8F%E6%AF%8F%20token%20%E5%8F%AA%E5%95%9F%E7%94%A8%2037B%EF%BC%88%E5%85%AC%E9%96%8B%E8%A6%8F%E6%A0%BC%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E5%86%8D%E9%85%8D%E4%B8%8A%E8%87%AA%E5%AE%B6%E7%9A%84%20**MLA**%EF%BC%88%E6%8A%8A%20KV%20%E5%85%88%E5%A3%93%E9%80%B2%E4%BD%8E%E7%A7%A9%E7%A9%BA%E9%96%93%E5%86%8D%E5%B1%95%E9%96%8B%EF%BC%8CKV%20cache%20%E5%A4%A7%E5%B9%85%E7%B8%AE%E5%B0%8F%EF%BC%89%E2%80%94%E2%80%94%0A%20%20%20%20%E4%B8%80%E6%AC%A1%E8%A7%A3%E6%8E%89%E3%80%8C%E7%AE%97%E5%8A%9B%E3%80%8D%E8%88%87%E3%80%8CKV%20%E8%A8%98%E6%86%B6%E9%AB%94%E3%80%8D%E5%85%A9%E5%80%8B%E7%93%B6%E9%A0%B8%E3%80%82%0A%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E6%98%AF%E4%BD%A0%E7%9A%84%EF%BC%8C%E6%94%B9%E5%AE%8C%E6%8C%89%20%E2%96%B6%20%E9%87%8D%E8%B7%91%E3%80%82%E6%8C%91%E6%88%B0%E5%9C%A8%E5%B7%A6%E9%A0%81%E3%80%8C%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%E3%80%8D%EF%BC%8C%E5%81%9A%E5%AE%8C%E5%86%8D%E9%96%8B%E8%A7%A3%E7%AD%94%E5%B0%8D%E7%85%A7%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20LEVEL%201%20%E8%B5%B7%E9%BB%9E%EF%BC%9A%E4%BD%A0%E7%9A%84%E9%A1%AF%E5%8D%A1%E8%A3%9D%E5%BE%97%E4%B8%8B%E5%93%AA%E5%80%8B%E7%B5%84%E5%90%88%EF%BC%9F%EF%BC%88%E7%9C%9F%E7%AE%97%E8%A1%93%EF%BC%9A%E5%8F%83%E6%95%B8%20%C3%97%20bytes%EF%BC%89%0A%20%20%20%20params_b%20%3D%208.03e9%20%20%20%20%20%20%20%20%20%20%23%208B%20%E7%B4%9A%EF%BC%9B70B%20%E7%B4%9A%E6%94%B9%2070.6e9%0A%20%20%20%20bytes_per%20%3D%200.5%20%20%20%20%20%20%20%20%20%20%20%20%23%20fp16%3D2%2C%20int8%3D1%2C%20int4%3D0.5%0A%20%20%20%20my_vram_gb%20%3D%2012.0%0A%0A%20%20%20%20weights_gb%20%3D%20params_b%20*%20bytes_per%20%2F%201024**3%0A%20%20%20%20kv_per_tok_kb%20%3D%202%20*%2032%20*%208%20*%20128%20*%202%20%2F%201024%20%20%20%23%208B%20%E7%B4%9A%20GQA%20fp16%0A%20%20%20%20ctx_budget%20%3D%20(my_vram_gb%20-%20weights_gb)%20*%200.8%20*%201024**2%20%2F%20kv_per_tok_kb%0A%20%20%20%20print(f%22%E6%AC%8A%E9%87%8D%20%7Bweights_gb%3A.1f%7D%20GB%20%2F%20VRAM%20%7Bmy_vram_gb%3A.0f%7D%20GB%22)%0A%20%20%20%20print(f%22%E5%89%A9%E9%A4%98%E7%A9%BA%E9%96%93%E7%B4%84%E5%8F%AF%E6%94%BE%20%7Bctx_budget%3A%2C.0f%7D%20tokens%20%E7%9A%84%20KV%EF%BC%88%E5%85%AB%E6%88%90%E6%8A%98%E7%AE%97%EF%BC%89%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%2012%20GB%20%E7%9A%84%E5%8D%A1%EF%BC%9A8B%20fp16%20%E8%A6%81%2015%20GB%20**%E8%A3%9D%E4%B8%8D%E4%B8%8B**%EF%BC%9Bint8%EF%BC%887.5%20GB%EF%BC%89%E8%88%87%20int4%EF%BC%883.7%20GB%EF%BC%89%E8%A3%9D%E5%BE%97%E4%B8%8B%EF%BC%8C%0A%20%20%20%20%E8%80%8C%E4%B8%94%20int4%20%E5%89%A9%E4%B8%8B%E7%9A%84%E7%A9%BA%E9%96%93%E5%A4%A0%E6%94%BE%E7%B4%84%E4%BA%94%E8%90%AC%E5%A4%9A%20token%20%E7%9A%84%20KV%E3%80%82%E6%94%B9%20%60bytes_per%60%20%E4%B8%89%E5%80%8B%E5%80%BC%E5%90%84%E8%B7%91%E4%B8%80%E6%AC%A1%E5%B0%B1%E7%9C%8B%E5%BE%97%E5%88%B0%E3%80%82%0A%0A%20%20%20%20%E9%A0%86%E5%BA%8F%E5%80%BC%E5%BE%97%E8%A8%98%EF%BC%9A**%E5%85%88%E9%87%8F%E5%8C%96%E3%80%81%E5%86%8D%E8%AB%87%E5%8D%B8%E8%BC%89**%E2%80%94%E2%80%94%E9%87%8F%E5%8C%96%E6%8A%8A%E9%9C%80%E6%B1%82%E7%9B%B4%E6%8E%A5%E8%AE%8A%E5%B0%8F%EF%BC%8C%0A%20%20%20%20%E5%B8%B8%E5%B8%B8%E6%95%B4%E5%80%8B%E3%80%8C%E8%A3%9D%E4%B8%8D%E4%B8%8B%E3%80%8D%E7%9A%84%E5%95%8F%E9%A1%8C%E5%B0%B1%E6%B6%88%E5%A4%B1%E4%BA%86%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%8A%8A%203%EF%B8%8F%E2%83%A3%20%E7%9A%84%20%CE%B1%20%E6%8B%89%E5%88%B0%200.95%EF%BC%9A%E6%AF%8F%E8%BC%AA%E6%9C%9F%E6%9C%9B%204.52%20%E5%80%8B%20token%EF%BC%88k%3D4%20%E6%99%82%E4%B8%8A%E9%99%90%E6%98%AF%205%EF%BC%89%E3%80%82%0A%20%20%20%20%E4%BD%86%E6%B3%A8%E6%84%8F%E5%88%86%E6%AF%8D%E2%80%94%E2%80%94%E6%8A%95%E6%A9%9F%E8%A7%A3%E7%A2%BC%E7%9A%84%E6%94%B6%E7%9B%8A%E6%98%AF%E3%80%8C%E7%9C%81%E4%B8%8B%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%B2%E8%A1%8C%E6%AD%A5%E6%95%B8%E3%80%8D%EF%BC%8C%0A%20%20%20%20%E5%B0%8F%E6%A8%A1%E5%9E%8B%E8%87%AA%E5%B7%B1%E4%B9%9F%E8%A6%81%E8%8A%B1%E6%99%82%E9%96%93%E7%8C%9C%E3%80%82%E5%A6%82%E6%9E%9C%E5%B0%8F%E6%A8%A1%E5%9E%8B%E4%B8%8D%E5%A4%A0%E5%B0%8F%EF%BC%88%E6%AF%94%E5%A6%82%E7%94%A8%207B%20%E5%B9%AB%208B%20%E7%8C%9C%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E7%8C%9C%E7%9A%84%E6%88%90%E6%9C%AC%E5%90%83%E6%8E%89%E9%A9%97%E7%9A%84%E6%94%B6%E7%9B%8A%EF%BC%8C%E5%B8%B3%E5%B0%B1%E4%B8%8D%E5%88%92%E7%AE%97%E4%BA%86%E3%80%82%E5%AF%A6%E5%8B%99%E4%B8%8A%E8%8D%89%E7%A8%BF%E6%A8%A1%E5%9E%8B%E9%80%9A%E5%B8%B8%E6%AF%94%E7%9B%AE%E6%A8%99%E6%A8%A1%E5%9E%8B%E5%B0%8F%E4%B8%80%E5%80%8B%E6%95%B8%E9%87%8F%E7%B4%9A%E4%BB%A5%E4%B8%8A%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E3%80%8C%E5%A3%93%20KV%E3%80%8D%E7%9A%84%E4%B8%89%E6%A2%9D%E8%B7%AF%E5%85%B6%E5%AF%A6%E4%BD%A0%E9%83%BD%E5%AD%B8%E9%81%8E%E4%BA%86%EF%BC%9A%0A%0A%20%20%20%201.%20**KV%20%E9%87%8F%E5%8C%96**%EF%BC%881%EF%B8%8F%E2%83%A3%20%E7%9A%84%20fp8%20%E9%81%B8%E9%A0%85%EF%BC%89%EF%BC%9A%E5%9E%8B%E5%88%A5%E7%A0%8D%E5%8D%8A%20%E2%86%92%20KV%20%E7%A0%8D%E5%8D%8A%0A%20%20%20%202.%20**GQA**%EF%BC%9AKV%20head%20%E6%95%B8%E5%B0%91%E6%96%BC%20Q%20head%20%E6%95%B8%EF%BC%888B%20%E7%B4%9A%E6%98%AF%2032%20%E5%80%8B%20Q%20head%20%E5%85%B1%E7%94%A8%208%20%E7%B5%84%20KV%EF%BC%89%E2%80%94%E2%80%94%0A%20%20%20%20%20%20%20%E5%85%AC%E5%BC%8F%E8%A3%A1%E7%9A%84%E3%80%8CKV%20head%20%E6%95%B8%E3%80%8D%E5%B0%B1%E6%98%AF%E5%AE%83%E7%9C%81%E7%9A%84%0A%20%20%20%203.%20**MLA**%EF%BC%885%EF%B8%8F%E2%83%A3%EF%BC%89%EF%BC%9A%E9%80%A3%20KV%20%E6%9C%AC%E8%BA%AB%E9%83%BD%E5%85%88%E5%A3%93%E9%80%B2%E4%BD%8E%E7%A7%A9%E7%A9%BA%E9%96%93%0A%0A%20%20%20%20%E9%A9%97%E8%AD%89%E6%96%B9%E6%B3%95%EF%BC%9A%E6%8A%8A%201%EF%B8%8F%E2%83%A3%20%E7%9A%84%E5%85%AC%E5%BC%8F%E5%90%84%E4%BB%A3%E4%B8%80%E6%AC%A1%EF%BC%8C%E7%AE%97%20128k%20%E4%B8%8A%E4%B8%8B%E6%96%87%E5%9C%A8%E4%B8%89%E7%A8%AE%E5%81%9A%E6%B3%95%E4%B8%8B%E7%9A%84%20GB%20%E6%95%B8%EF%BC%8C%0A%20%20%20%20%E7%9C%8B%E8%AA%B0%E7%9C%81%E6%9C%80%E5%A4%9A%E3%80%81%E5%90%84%E4%BB%98%E5%87%BA%E4%BB%80%E9%BA%BC%E4%BB%A3%E5%83%B9%EF%BC%88%E7%B2%BE%E5%BA%A6%EF%BC%8F%E6%9E%B6%E6%A7%8B%E6%94%B9%E5%8B%95%EF%BC%89%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A