看懂 KV Cache（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E7%9C%8B%E6%87%82%20KV%20Cache%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E7%9C%8B%E6%87%82%20KV%20Cache%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E5%B7%A6%E9%82%8A%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E3%80%82%E9%80%99%E8%A3%A1%E6%B2%92%E6%9C%89%E7%9C%9F%E7%9A%84%E5%A4%A7%E6%A8%A1%E5%9E%8B%E2%80%94%E2%80%94%E5%8F%AA%E6%9C%89%E4%B8%80%E5%80%8B**%E5%8D%81%E5%85%AD%E7%B6%AD%E7%9A%84%E7%8E%A9%E5%85%B7%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%B1%A4**%EF%BC%8C%0A%20%20%20%20%E4%BD%86%E5%AE%83%E7%9A%84%E7%AE%97%E6%B3%95%E5%92%8C%E7%9C%9F%E6%A8%A1%E5%9E%8B%E4%B8%80%E6%A8%A1%E4%B8%80%E6%A8%A3%EF%BC%9AQ%20%E6%9F%A5%20K%E3%80%81%E5%8A%A0%E6%AC%8A%E5%8F%96%20V%E3%80%81K%2FV%20%E5%AD%98%E8%B5%B7%E4%BE%86%E9%87%8D%E8%A4%87%E7%94%A8%E3%80%82%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E9%83%BD%E8%83%BD%E6%94%B9%E3%80%81%E8%83%BD%E9%87%8D%E8%B7%91%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%20%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%EF%BC%8C%E6%94%B9%E5%A3%9E%E4%BA%86%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E5%B0%B1%E5%BE%A9%E5%8E%9F%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%B5%A6%E5%85%A8%20notebook%20%E7%94%A8%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E5%85%A8%E8%AA%B2%E5%85%B1%E7%94%A8%E7%9A%84%E8%AA%9E%E7%BE%A9%E8%89%B2%EF%BC%9A%E8%97%8D%EF%BC%9D%E5%BF%AB%E5%8F%96%E8%B5%B7%E4%BE%86%E7%9A%84%20K%2FV%E3%80%81%E6%A9%98%EF%BC%9D%E7%94%A8%E4%B8%80%E6%AC%A1%E5%B0%B1%E4%B8%9F%E7%9A%84%20Q%E3%80%81%E7%B6%A0%EF%BC%9D%E6%9C%89%E5%BF%AB%E5%8F%96%E3%80%81%E7%B4%85%EF%BC%9D%E9%87%8D%E7%AE%97%EF%BC%8F%E7%88%86%E6%8E%89%0A%20%20%20%20C_KV%2C%20C_Q%2C%20C_CACHE%2C%20C_RECOMP%20%3D%20%22%234C72B0%22%2C%20%22%23DD8452%22%2C%20%22%2355A868%22%2C%20%22%23C44E52%22%0A%20%20%20%20return%20C_CACHE%2C%20C_KV%2C%20C_Q%2C%20C_RECOMP%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20Prefill%20%E8%AE%80%E9%A1%8C%E3%80%81Decode%20%E5%AF%AB%E7%AD%94%E6%A1%88%0A%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E5%9B%9E%E7%AD%94%E5%95%8F%E9%A1%8C%E5%88%86%E5%85%A9%E6%AD%A5%E3%80%82**Prefill**%20%E6%8A%8A%E4%BD%A0%E7%9A%84%E6%8F%90%E7%A4%BA%E8%A9%9E%E4%B8%80%E6%AC%A1%E5%85%A8%E9%83%A8%E8%AE%80%E9%80%B2%E5%8E%BB%E2%80%94%E2%80%94%E6%89%80%E6%9C%89%20token%20%E7%9A%84%20K%E3%80%81V%0A%20%20%20%20%E5%9C%A8%E5%90%8C%E4%B8%80%E6%AC%A1%E7%9F%A9%E9%99%A3%E4%B9%98%E6%B3%95%E8%A3%A1%E7%AE%97%E5%AE%8C%EF%BC%8C%E4%BD%8D%E7%BD%AE%E4%B9%8B%E9%96%93%E6%B2%92%E6%9C%89%E5%85%88%E5%BE%8C%E4%BE%9D%E8%B3%B4%EF%BC%8C%E6%89%80%E4%BB%A5%E5%BF%AB%E3%80%82%0A%20%20%20%20**Decode**%20%E4%B8%80%E6%AC%A1%E5%8F%AA%E7%94%9F%E4%B8%80%E5%80%8B%E5%AD%97%EF%BC%8C%E7%94%9F%E5%AE%8C%E5%86%8D%E7%94%9F%E4%B8%8B%E4%B8%80%E5%80%8B%EF%BC%8C%E5%9B%A0%E7%82%BA%E4%B8%8B%E4%B8%80%E5%80%8B%E5%AD%97%E8%A6%81%E7%9C%8B%E5%89%8D%E9%9D%A2%E6%89%80%E6%9C%89%E5%AD%97%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E5%85%A9%E6%A0%B9%E6%9F%B1%E5%AD%90%E6%98%AF%E6%AF%8F%E4%B8%80%E6%AD%A5%E7%9A%84%E5%85%A9%E7%A8%AE%E5%B7%A5%E4%BD%9C%E9%87%8F%EF%BC%9A**%E8%97%8D%EF%BC%9D%E9%80%99%E4%B8%80%E6%AD%A5%E8%A6%81%E7%AE%97%E5%B9%BE%E5%80%8B%20token%20%E7%9A%84%20K%2FV**%E3%80%81%0A%20%20%20%20**%E6%A9%98%EF%BC%9D%E9%80%99%E4%B8%80%E6%AD%A5%E8%A6%81%E8%AE%80%E5%A4%9A%E5%B0%91%E6%A0%BC%E5%BF%AB%E5%8F%96**%E3%80%82%E6%8B%89%E6%8B%89%E7%9C%8B%E7%94%9F%E6%88%90%E9%95%B7%E5%BA%A6%EF%BC%8C%E6%B3%A8%E6%84%8F%E5%85%A9%E6%A0%B9%E6%9F%B1%E5%AD%90%E7%9A%84%E8%B5%B0%E5%90%91%E5%AE%8C%E5%85%A8%E7%9B%B8%E5%8F%8D%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20prompt_tokens%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D2%2C%20stop%3D16%2C%20step%3D1%2C%20value%3D4%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E6%8F%90%E7%A4%BA%E9%95%B7%E5%BA%A6%EF%BC%88Prefill%20%E4%B8%80%E6%AC%A1%E8%AE%80%E5%AE%8C%E5%B9%BE%E5%80%8B%20token%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20decode_steps%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D16%2C%20step%3D1%2C%20value%3D6%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E7%94%9F%E6%88%90%E9%95%B7%E5%BA%A6%EF%BC%88Decode%20%E9%80%90%E5%AD%97%E5%AF%AB%E5%B9%BE%E5%80%8B%20token%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bprompt_tokens%2C%20decode_steps%5D)%0A%20%20%20%20return%20decode_steps%2C%20prompt_tokens%0A%0A%0A%40app.cell%0Adef%20_(C_KV%2C%20C_Q%2C%20decode_steps%2C%20np%2C%20plt%2C%20prompt_tokens)%3A%0A%20%20%20%20_p%2C%20_m%20%3D%20prompt_tokens.value%2C%20decode_steps.value%0A%20%20%20%20_labels%20%3D%20%5B%22Prefill%22%5D%20%2B%20%5Bf%22D%7B_i%7D%22%20for%20_i%20in%20range(1%2C%20_m%20%2B%201)%5D%0A%20%20%20%20_computed%20%3D%20%5B_p%5D%20%2B%20%5B1%5D%20*%20_m%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E9%80%99%E4%B8%80%E6%AD%A5%E7%AE%97%E5%B9%BE%E5%80%8B%20token%20%E7%9A%84%20K%2FV%0A%20%20%20%20_read%20%3D%20%5B_p%5D%20%2B%20%5B_p%20%2B%20_i%20for%20_i%20in%20range(1%2C%20_m%20%2B%201)%5D%20%20%23%20%E9%80%99%E4%B8%80%E6%AD%A5%E8%A6%81%E8%AE%80%E5%A4%9A%E5%B0%91%E6%A0%BC%E5%BF%AB%E5%8F%96%0A%20%20%20%20_x%20%3D%20np.arange(len(_labels))%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.4%2C%203.7))%0A%20%20%20%20_ax.bar(_x%20-%200.2%2C%20_computed%2C%20width%3D0.4%2C%20color%3DC_KV%2C%20label%3D%22K%2FV%20computed%20this%20step%22)%0A%20%20%20%20_ax.bar(_x%20%2B%200.2%2C%20_read%2C%20width%3D0.4%2C%20color%3DC_Q%2C%20label%3D%22cache%20entries%20read%20this%20step%22)%0A%20%20%20%20_ax.set_xticks(_x)%0A%20%20%20%20_ax.set_xticklabels(_labels%2C%20fontsize%3D9)%0A%20%20%20%20_ax.set_ylabel(%22tokens%22)%0A%20%20%20%20_ax.set_title(%22Prefill%20does%20it%20all%20at%20once%3B%20every%20decode%20step%20reads%20more%2C%20computes%201%22)%0A%20%20%20%20_ax.legend(fontsize%3D9)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E8%97%8D%E6%9F%B1%E5%9C%A8%20Decode%20%E9%9A%8E%E6%AE%B5%E6%B0%B8%E9%81%A0%E6%98%AF%20**1**%EF%BC%8C%E6%A9%98%E6%9F%B1%E5%8D%BB%E4%B8%80%E8%B7%AF%E9%95%B7%E9%AB%98%E2%80%94%E2%80%94%E6%AF%8F%E7%94%9F%E4%B8%80%E5%80%8B%E5%AD%97%EF%BC%8C%E9%83%BD%E8%A6%81%E6%8A%8A**%E6%95%B4%E5%80%8B%E5%BF%AB%E5%8F%96**%0A%20%20%20%20%E5%BE%9E%E8%A8%98%E6%86%B6%E9%AB%94%E8%AE%80%E4%B8%80%E9%81%8D%EF%BC%8C%E5%8F%AA%E6%8F%9B%E4%BE%86%E4%B8%80%E5%80%8B%20token%20%E7%9A%84%E8%A8%88%E7%AE%97%E9%87%8F%E3%80%82%E7%AE%97%E5%8A%9B%E5%A4%A7%E9%87%8F%E9%96%92%E8%91%97%EF%BC%8C%E5%8D%A1%E4%BD%8F%E7%9A%84%E6%98%AF%E8%A8%98%E6%86%B6%E9%AB%94%E9%A0%BB%E5%AF%AC%E3%80%82%0A%0A%20%20%20%20%EF%BC%88%E9%80%99%E5%80%8B%E3%80%8C%E7%AE%97%E5%8A%9B%E9%96%92%E8%91%97%E7%AD%89%E8%A8%98%E6%86%B6%E9%AB%94%E3%80%8D%E7%9A%84%E6%80%AA%E7%8F%BE%E8%B1%A1%E5%85%88%E8%A8%98%E8%91%97%EF%BC%8C%E7%AC%AC%206%20%E8%AA%B2%E7%9A%84%E6%8A%95%E6%A9%9F%E8%A7%A3%E7%A2%BC%E6%9C%83%E5%9B%9E%E4%BE%86%E6%94%B6%E5%89%B2%E5%AE%83%E3%80%82%EF%BC%89%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20Q%E3%80%81K%E3%80%81V%EF%BC%9A%E6%9F%A5%E8%A1%A8%E9%80%99%E4%BB%B6%E4%BA%8B%E9%95%B7%E4%BB%80%E9%BA%BC%E6%A8%A3%0A%0A%20%20%20%20%E6%AF%8F%E5%80%8B%E5%AD%97%E9%83%BD%E6%9C%83%E7%94%A2%E7%94%9F%E4%B8%89%E5%80%8B%E5%90%91%E9%87%8F%EF%BC%9A**Q**%E3%80%8C%E6%88%91%E6%83%B3%E6%89%BE%E4%BB%80%E9%BA%BC%E3%80%8D%E3%80%81**K**%E3%80%8C%E6%88%91%E6%98%AF%E8%AC%9B%E4%BB%80%E9%BA%BC%E7%9A%84%E3%80%8D%E3%80%81**V**%E3%80%8C%E6%88%91%E5%AF%A6%E9%9A%9B%E7%9A%84%E5%85%A7%E5%AE%B9%E3%80%8D%E3%80%82%0A%20%20%20%20%E6%96%B0%E5%AD%97%E6%8B%BF%E8%87%AA%E5%B7%B1%E7%9A%84%20Q%20%E5%8E%BB%E6%AF%94%E5%B0%8D%E5%89%8D%E9%9D%A2%E6%AF%8F%E5%80%8B%E5%AD%97%E7%9A%84%20K%EF%BC%8C%E5%BE%97%E5%88%B0%E4%B8%80%E7%B5%84%E5%8A%A0%E8%B5%B7%E4%BE%86%E7%AD%89%E6%96%BC%201%20%E7%9A%84%E6%AC%8A%E9%87%8D%EF%BC%8C%E5%86%8D%E6%8C%89%E6%AC%8A%E9%87%8D%E6%8A%8A%20V%20%E5%8A%A0%E6%AC%8A%E5%8F%96%E5%87%BA%E4%BE%86%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%98%AF%E4%B8%80%E5%80%8B%E7%9C%9F%E7%9A%84%E7%AE%97%E5%BE%97%E5%87%BA%E4%BE%86%E7%9A%84%E7%8E%A9%E5%85%B7%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%B1%A4%EF%BC%9A16%20%E7%B6%AD%E3%80%81%E9%9A%A8%E6%A9%9F%E6%AC%8A%E9%87%8D%E3%80%81%E6%97%8B%E8%BD%89%E5%BC%8F%E4%BD%8D%E7%BD%AE%E7%B7%A8%E7%A2%BC%E3%80%82%0A%20%20%20%20%E6%AC%8A%E9%87%8D%E6%98%AF%E9%9A%A8%E6%A9%9F%E7%9A%84%EF%BC%8C%E6%89%80%E4%BB%A5**%E6%95%B8%E5%AD%97%E6%B2%92%E6%9C%89%E8%AA%9E%E6%84%8F**%E2%80%94%E2%80%94%E8%A6%81%E7%9C%8B%E7%9A%84%E6%98%AF%E3%80%8C%E6%9F%A5%E8%A1%A8%E3%80%8D%E7%9A%84%E5%BD%A2%E7%8B%80%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20%E7%8E%A9%E5%85%B7%E6%B3%A8%E6%84%8F%E5%8A%9B%E5%B1%A4%EF%BC%88%E5%85%A8%20notebook%20%E5%85%B1%E7%94%A8%EF%BC%89%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20D_MODEL%20%3D%2016%0A%20%20%20%20_w%20%3D%20np.random.default_rng(7)%0A%20%20%20%20W_Q%20%3D%20_w.normal(size%3D(D_MODEL%2C%20D_MODEL))%20%2F%20np.sqrt(D_MODEL)%0A%20%20%20%20W_K%20%3D%20_w.normal(size%3D(D_MODEL%2C%20D_MODEL))%20%2F%20np.sqrt(D_MODEL)%0A%20%20%20%20W_V%20%3D%20_w.normal(size%3D(D_MODEL%2C%20D_MODEL))%20%2F%20np.sqrt(D_MODEL)%0A%20%20%20%20W_O%20%3D%20_w.normal(size%3D(D_MODEL%2C%20D_MODEL))%20%2F%20np.sqrt(D_MODEL)%0A%20%20%20%20W_K2%20%3D%20_w.normal(size%3D(D_MODEL%2C%20D_MODEL))%20%2F%20np.sqrt(D_MODEL)%0A%0A%20%20%20%20def%20char_vec(ch)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E6%AF%8F%E5%80%8B%E5%AD%97%E4%B8%80%E5%80%8B%E5%9B%BA%E5%AE%9A%E7%9A%84%E9%9A%A8%E6%A9%9F%E5%90%91%E9%87%8F%EF%BC%88%E7%94%A8%E5%AD%97%E7%A2%BC%E7%95%B6%E7%A8%AE%E5%AD%90%EF%BC%8C%E6%89%80%E4%BB%A5%E4%BB%BB%E4%BD%95%E5%AD%97%E9%83%BD%E8%83%BD%E7%94%A8%E3%80%81%E8%80%8C%E4%B8%94%E6%AF%8F%E6%AC%A1%E9%83%BD%E4%B8%80%E6%A8%A3%EF%BC%89%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20return%20np.random.default_rng(ord(ch)).normal(size%3DD_MODEL)%0A%0A%20%20%20%20def%20embed(text)%3A%0A%20%20%20%20%20%20%20%20return%20np.stack(%5Bchar_vec(_c)%20for%20_c%20in%20text%5D)%0A%0A%20%20%20%20def%20rope(x%2C%20pos)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E6%8A%8A%E4%BD%8D%E7%BD%AE%E6%B7%B7%E9%80%B2%E5%90%91%E9%87%8F%EF%BC%9A%E6%AF%8F%E5%85%A9%E7%B6%AD%E4%B8%80%E7%B5%84%EF%BC%8C%E8%BD%89%E4%B8%80%E5%80%8B%E5%92%8C%E4%BD%8D%E7%BD%AE%E6%88%90%E6%AD%A3%E6%AF%94%E7%9A%84%E8%A7%92%E5%BA%A6%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20_theta%20%3D%20np.power(10000.0%2C%20-2.0%20*%20np.arange(D_MODEL%20%2F%2F%202)%20%2F%20D_MODEL)%0A%20%20%20%20%20%20%20%20_ang%20%3D%20np.asarray(pos%2C%20dtype%3Dfloat)%5B%3A%2C%20None%5D%20*%20_theta%5BNone%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20_c%2C%20_s%20%3D%20np.cos(_ang)%2C%20np.sin(_ang)%0A%20%20%20%20%20%20%20%20out%20%3D%20np.empty_like(x)%0A%20%20%20%20%20%20%20%20out%5B%3A%2C%200%3A%3A2%5D%20%3D%20x%5B%3A%2C%200%3A%3A2%5D%20*%20_c%20-%20x%5B%3A%2C%201%3A%3A2%5D%20*%20_s%0A%20%20%20%20%20%20%20%20out%5B%3A%2C%201%3A%3A2%5D%20%3D%20x%5B%3A%2C%200%3A%3A2%5D%20*%20_s%20%2B%20x%5B%3A%2C%201%3A%3A2%5D%20*%20_c%0A%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20def%20causal_softmax(scores)%3A%0A%20%20%20%20%20%20%20%20_m%20%3D%20np.max(scores%2C%20axis%3D-1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20_e%20%3D%20np.exp(scores%20-%20_m)%0A%20%20%20%20%20%20%20%20return%20_e%20%2F%20_e.sum(axis%3D-1%2C%20keepdims%3DTrue)%0A%0A%20%20%20%20def%20attn_parts(text%2C%20offset%3D0)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E5%9B%9E%E5%82%B3%E9%80%99%E6%AE%B5%E6%96%87%E5%AD%97%E7%9A%84%20Q%2FK%2FV%E3%80%81%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%AC%8A%E9%87%8D%EF%BC%8C%E4%BB%A5%E5%8F%8A%E3%80%8C%E6%B7%B1%E4%B8%80%E5%B1%A4%E3%80%8D%E7%9A%84%20K%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20_h0%20%3D%20embed(text)%0A%20%20%20%20%20%20%20%20_pos%20%3D%20np.arange(offset%2C%20offset%20%2B%20len(text))%0A%20%20%20%20%20%20%20%20_q%20%3D%20rope(_h0%20%40%20W_Q%2C%20_pos)%0A%20%20%20%20%20%20%20%20_k%20%3D%20rope(_h0%20%40%20W_K%2C%20_pos)%20%20%20%20%20%20%20%20%20%20%23%20%E6%B7%BA%E5%B1%A4%20K%EF%BC%9A%E4%BD%8D%E7%BD%AE%E5%B7%B2%E7%B6%93%E6%B7%B7%E9%80%B2%E5%8E%BB%E4%BA%86%0A%20%20%20%20%20%20%20%20_v%20%3D%20_h0%20%40%20W_V%0A%20%20%20%20%20%20%20%20_s%20%3D%20_q%20%40%20_k.T%20%2F%20np.sqrt(D_MODEL)%0A%20%20%20%20%20%20%20%20_s%20%3D%20np.where(np.triu(np.ones((len(text)%2C%20len(text)))%2C%201).astype(bool)%2C%20-np.inf%2C%20_s)%0A%20%20%20%20%20%20%20%20_a%20%3D%20causal_softmax(_s)%0A%20%20%20%20%20%20%20%20_h1%20%3D%20_h0%20%2B%20(_a%20%40%20_v)%20%40%20W_O%20%20%20%20%20%20%20%20%20%23%20%E6%AE%98%E5%B7%AE%EF%BC%9A%E6%AF%8F%E5%80%8B%E4%BD%8D%E7%BD%AE%E9%83%BD%E6%B7%B7%E9%80%B2%E4%BA%86%E3%80%8C%E5%89%8D%E9%9D%A2%E6%89%80%E6%9C%89%E5%AD%97%E3%80%8D%0A%20%20%20%20%20%20%20%20return%20%7B%22q%22%3A%20_q%2C%20%22k%22%3A%20_k%2C%20%22v%22%3A%20_v%2C%20%22attn%22%3A%20_a%2C%20%22k_deep%22%3A%20rope(_h1%20%40%20W_K2%2C%20_pos)%7D%0A%0A%20%20%20%20def%20rel_err(a%2C%20b)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E7%9B%B8%E5%B0%8D%E8%AA%A4%E5%B7%AE%EF%BC%88%25%EF%BC%89%EF%BC%9A%E5%85%A9%E5%80%8B%E5%90%91%E9%87%8F%E5%B7%AE%E5%A4%9A%E5%B0%91%E3%80%820%20%E5%B0%B1%E6%98%AF%E4%B8%80%E6%A8%A1%E4%B8%80%E6%A8%A3%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20return%20float(np.linalg.norm(a%20-%20b)%20%2F%20np.linalg.norm(b)%20*%20100)%0A%0A%20%20%20%20SEQ%20%3D%20%22%E4%BB%8A%E5%A4%A9%E6%B0%A3%E5%BE%88%E7%86%B1%22%0A%20%20%20%20return%20D_MODEL%2C%20SEQ%2C%20W_K%2C%20W_Q%2C%20W_V%2C%20attn_parts%2C%20embed%2C%20rel_err%2C%20rope%0A%0A%0A%40app.cell%0Adef%20_(SEQ%2C%20mo)%3A%0A%20%20%20%20new_token%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7Bf%22t%7B_i%7D%EF%BC%88%7B_c%7D%EF%BC%89%22%3A%20_i%20for%20_i%2C%20_c%20in%20enumerate(SEQ)%7D%2C%0A%20%20%20%20%20%20%20%20value%3Df%22t%7Blen(SEQ)%20-%201%7D%EF%BC%88%7BSEQ%5B-1%5D%7D%EF%BC%89%22%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%E6%8A%8A%E5%93%AA%E4%B8%80%E5%80%8B%E5%AD%97%E7%95%B6%E6%88%90%E3%80%8C%E6%AD%A3%E5%9C%A8%E7%94%9F%E6%88%90%E7%9A%84%E6%96%B0%E5%AD%97%E3%80%8D%EF%BC%88%E5%BA%8F%E5%88%97%EF%BC%9D%7BSEQ%7D%EF%BC%89%22%2C%0A%20%20%20%20)%0A%20%20%20%20new_token%0A%20%20%20%20return%20(new_token%2C)%0A%0A%0A%40app.cell%0Adef%20_(C_KV%2C%20C_RECOMP%2C%20SEQ%2C%20attn_parts%2C%20new_token%2C%20np%2C%20plt)%3A%0A%20%20%20%20_i%20%3D%20new_token.value%0A%20%20%20%20_w%20%3D%20attn_parts(SEQ)%5B%22attn%22%5D%5B_i%5D%0A%20%20%20%20_top%20%3D%20int(_w.argmax())%0A%20%20%20%20_colors%20%3D%20%5BC_RECOMP%20if%20_j%20%3D%3D%20_top%20else%20C_KV%20for%20_j%20in%20range(len(SEQ))%5D%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.4%2C%203.4))%0A%20%20%20%20_ax.bar(np.arange(len(SEQ))%2C%20_w%2C%20color%3D_colors)%0A%20%20%20%20_ax.set_xticks(np.arange(len(SEQ)))%0A%20%20%20%20_ax.set_xticklabels(%5Bf%22t%7B_j%7D%22%20for%20_j%20in%20range(len(SEQ))%5D)%0A%20%20%20%20_ax.set_ylim(0%2C%201)%0A%20%20%20%20_ax.set_ylabel(%22attention%20weight%22)%0A%20%20%20%20_ax.set_xlabel(f%22K%20of%20each%20earlier%20token%20%20%20(query%20%3D%20t%7B_i%7D)%22)%0A%20%20%20%20_ax.set_title(f%22t%7B_i%7D%20asks%20with%20its%20Q%2C%20gets%20weights%20over%20t0..t%7B_i%7D%20(sum%20%3D%201.00)%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E5%BE%80%E5%89%8D%E6%8B%89%E9%80%99%E5%80%8B%E4%B8%8B%E6%8B%89%E9%81%B8%E5%96%AE%EF%BC%8C%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%E6%AC%8A%E9%87%8D%E7%9A%84%E9%95%B7%E5%BA%A6%E8%B7%9F%E8%91%97%E8%AE%8A%E7%9F%AD%EF%BC%9A**%E6%96%B0%E5%AD%97%E5%8F%AA%E7%9C%8B%E5%BE%97%E5%88%B0%E8%87%AA%E5%B7%B1%E5%92%8C%E5%89%8D%E9%9D%A2%E7%9A%84%E5%AD%97**%EF%BC%8C%0A%20%20%20%20%E5%BE%8C%E9%9D%A2%E7%9A%84%E4%BD%8D%E7%BD%AE%E4%B8%80%E5%BE%8B%E6%98%AF%200%E3%80%82%E9%80%99%E5%B0%B1%E6%98%AF%E7%82%BA%E4%BB%80%E9%BA%BC%20K%E3%80%81V%20%E4%B8%80%E6%97%A6%E7%AE%97%E5%A5%BD%E5%B0%B1%E4%B8%8D%E6%9C%83%E5%86%8D%E8%AE%8A%E2%80%94%E2%80%94%0A%20%20%20%20%E5%BE%8C%E4%BE%86%E7%9A%84%E5%AD%97%E5%BD%B1%E9%9F%BF%E4%B8%8D%E5%88%B0%E5%89%8D%E9%9D%A2%E7%9A%84%E5%AD%97%E3%80%82%0A%0A%20%20%20%20%E6%B3%A8%E6%84%8F%E8%AA%B0%E6%98%AF%E8%AA%B0%E7%9A%84%EF%BC%9A**Q%20%E6%98%AF%E3%80%8C%E7%95%B6%E4%B8%8B%E9%80%99%E5%80%8B%E6%96%B0%E5%AD%97%E3%80%8D%E7%9A%84**%EF%BC%8C%E5%8F%AA%E6%9C%89%E4%B8%80%E5%80%8B%EF%BC%9B**K%20%E5%92%8C%20V%20%E6%98%AF%E3%80%8C%E5%89%8D%E9%9D%A2%E6%AF%8F%E4%B8%80%E5%80%8B%E5%AD%97%E3%80%8D%E7%9A%84**%EF%BC%8C%0A%20%20%20%20%E6%98%AF%E8%A2%AB%E6%9F%A5%E7%9A%84%E9%82%A3%E5%BC%B5%E8%A1%A8%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E6%B2%92%E6%9C%89%E5%BF%AB%E5%8F%96%EF%BC%9A%E6%AF%8F%E7%94%9F%E4%B8%80%E5%80%8B%E5%AD%97%EF%BC%8C%E5%89%8D%E9%9D%A2%E5%85%A8%E9%83%A8%E9%87%8D%E7%AE%97%E4%B8%80%E9%81%8D%0A%0A%20%20%20%20%E5%A6%82%E6%9E%9C%E4%B8%8D%E5%AD%98%20K%E3%80%81V%EF%BC%8C%E9%82%A3%E6%AF%8F%E7%94%9F%E4%B8%80%E5%80%8B%E6%96%B0%E5%AD%97%EF%BC%8C%E9%83%BD%E5%BE%97%E6%8A%8A%E6%95%B4%E4%B8%B2%E9%87%8D%E6%96%B0%E8%B7%91%E4%B8%80%E6%AC%A1%E6%89%8D%E6%8B%BF%E5%BE%97%E5%88%B0%E5%89%8D%E9%9D%A2%E6%89%80%E6%9C%89%E5%AD%97%E7%9A%84%20K%E3%80%81V%E3%80%82%0A%20%20%20%20%E7%AC%AC%201%20%E6%AD%A5%E7%AE%97%20p%2B1%20%E5%80%8B%E3%80%81%E7%AC%AC%202%20%E6%AD%A5%E7%AE%97%20p%2B2%20%E5%80%8B%E2%80%A6%E2%80%A6**%E7%B8%BD%E8%A8%88%E7%AE%97%E9%87%8F%E9%9A%A8%E9%95%B7%E5%BA%A6%E5%B9%B3%E6%96%B9%E6%88%90%E9%95%B7**%E3%80%82%0A%20%20%20%20%E6%9C%89%E5%BF%AB%E5%8F%96%E5%89%87%E6%98%AF%E6%AF%8F%E6%AD%A5%E5%8F%AA%E7%AE%97%201%20%E5%80%8B%EF%BC%8C%E7%B7%9A%E6%80%A7%E3%80%82%0A%0A%20%20%20%20%E6%8B%89%E6%8B%89%E7%9C%8B%E5%85%A9%E6%A0%B9%E6%BB%91%E6%A1%BF%EF%BC%8C%E7%9C%8B%E7%B4%85%E7%B7%9A%E6%80%8E%E9%BA%BC%E6%8A%8A%E7%B6%A0%E7%B7%9A%E7%94%A9%E9%96%8B%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20prompt_len%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D2000%2C%20step%3D50%2C%20value%3D200%2C%20label%3D%22%E6%8F%90%E7%A4%BA%E9%95%B7%E5%BA%A6%EF%BC%88token%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20gen_len%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D10%2C%20stop%3D2000%2C%20step%3D10%2C%20value%3D300%2C%20label%3D%22%E7%94%9F%E6%88%90%E9%95%B7%E5%BA%A6%EF%BC%88token%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bprompt_len%2C%20gen_len%5D)%0A%20%20%20%20return%20gen_len%2C%20prompt_len%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20def%20kv_computed(prompt_len_%2C%20gen_len_%2C%20cached)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E6%95%B4%E8%B6%9F%E7%94%9F%E6%88%90%E7%B8%BD%E5%85%B1%E7%AE%97%E4%BA%86%E5%B9%BE%E5%80%8B%20token%20%E7%9A%84%20K%2FV%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20if%20cached%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20prompt_len_%20%2B%20gen_len_%0A%20%20%20%20%20%20%20%20_steps%20%3D%20np.arange(1%2C%20gen_len_%20%2B%201)%0A%20%20%20%20%20%20%20%20return%20int(prompt_len_%20%2B%20np.sum(prompt_len_%20%2B%20_steps))%0A%0A%20%20%20%20return%20(kv_computed%2C)%0A%0A%0A%40app.cell%0Adef%20_(C_CACHE%2C%20C_RECOMP%2C%20gen_len%2C%20np%2C%20plt%2C%20prompt_len)%3A%0A%20%20%20%20_p%2C%20_m%20%3D%20prompt_len.value%2C%20gen_len.value%0A%20%20%20%20_t%20%3D%20np.arange(1%2C%20_m%20%2B%201)%0A%20%20%20%20_no_cache%20%3D%20_p%20%2B%20np.cumsum(_p%20%2B%20_t)%0A%20%20%20%20_with_cache%20%3D%20_p%20%2B%20_t%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.4%2C%203.9))%0A%20%20%20%20_ax.plot(_t%2C%20_no_cache%2C%20color%3DC_RECOMP%2C%20lw%3D2.5%2C%20label%3D%22no%20cache%20(recompute%20everything)%22)%0A%20%20%20%20_ax.plot(_t%2C%20_with_cache%2C%20color%3DC_CACHE%2C%20lw%3D2.5%2C%20label%3D%22KV%20cache%20(new%20token%20only)%22)%0A%20%20%20%20_ax.fill_between(_t%2C%20_with_cache%2C%20_no_cache%2C%20color%3DC_RECOMP%2C%20alpha%3D0.10)%0A%20%20%20%20_ax.set_xlabel(%22tokens%20generated%22)%0A%20%20%20%20_ax.set_ylabel(%22total%20token%20K%2FV%20computations%22)%0A%20%20%20%20_ax.set_title(f%22prompt%20%7B_p%7D%20%2B%20generate%20%7B_m%7D%3A%20%7B_no_cache%5B-1%5D%20%2F%20_with_cache%5B-1%5D%3A.0f%7Dx%20more%20work%20without%20a%20cache%22)%0A%20%20%20%20_ax.legend(fontsize%3D9)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(gen_len%2C%20kv_computed%2C%20mo%2C%20prompt_len)%3A%0A%20%20%20%20_p%2C%20_m%20%3D%20prompt_len.value%2C%20gen_len.value%0A%20%20%20%20_a%20%3D%20kv_computed(_p%2C%20_m%2C%20cached%3DFalse)%0A%20%20%20%20_b%20%3D%20kv_computed(_p%2C%20_m%2C%20cached%3DTrue)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E6%8F%90%E7%A4%BA%20**%7B_p%7D**%20%E5%80%8B%20token%E3%80%81%E5%86%8D%E7%94%9F%E6%88%90%20**%7B_m%7D**%20%E5%80%8B%EF%BC%9A%0A%0A%20%20%20%20-%20%E6%B2%92%E6%9C%89%E5%BF%AB%E5%8F%96%EF%BC%9A%E7%B8%BD%E5%85%B1%E8%A6%81%E7%AE%97%20**%7B_a%3A%2C%7D**%20%E5%80%8B%20token%20%E7%9A%84%20K%2FV%0A%20%20%20%20-%20%E6%9C%89%E5%BF%AB%E5%8F%96%EF%BC%9A**%7B_b%3A%2C%7D**%20%E5%80%8B%0A%20%20%20%20-%20%E5%A4%9A%E5%81%9A%E4%BA%86%20**%7B_a%20%2F%20_b%3A.0f%7D%20%E5%80%8D**%E7%9A%84%E5%B7%A5%0A%0A%20%20%20%20%E6%8A%8A%E7%94%9F%E6%88%90%E9%95%B7%E5%BA%A6%E6%8B%89%E9%95%B7%E4%B8%80%E6%A0%BC%EF%BC%8C%E7%B4%85%E7%B7%9A%E7%9A%84%E6%88%90%E9%95%B7%E9%80%9F%E5%BA%A6%E5%B0%B1%E6%98%8E%E9%A1%AF%E4%B8%8D%E4%B8%80%E6%A8%A3%E2%80%94%E2%80%94%E9%82%A3%E6%98%AF%E5%B9%B3%E6%96%B9%E9%A0%85%E5%9C%A8%E5%8B%95%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20%E6%9C%89%E5%BF%AB%E5%8F%96%EF%BC%9A%E5%AD%98%E8%B5%B7%E4%BE%86%EF%BC%8C%E8%80%8C%E4%B8%94%E7%AD%94%E6%A1%88%E4%B8%80%E6%A8%A1%E4%B8%80%E6%A8%A3%0A%0A%20%20%20%20%E5%BF%AB%E5%8F%96%E4%B8%8D%E6%98%AF%E8%BF%91%E4%BC%BC%E3%80%81%E4%B8%8D%E6%98%AF%E5%A3%93%E7%B8%AE%E3%80%81%E4%B8%8D%E6%9C%83%E6%8E%89%E5%93%81%E8%B3%AA%E2%80%94%E2%80%94**%E5%AE%83%E7%AE%97%E5%87%BA%E4%BE%86%E7%9A%84%E6%9D%B1%E8%A5%BF%E5%92%8C%E9%87%8D%E7%AE%97%E5%AE%8C%E5%85%A8%E7%9B%B8%E5%90%8C**%E3%80%82%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E7%9C%9F%E7%9A%84%E8%B7%91%E5%85%A9%E9%81%8D%EF%BC%9A%E4%B8%80%E9%81%8D%E6%AF%8F%E6%AD%A5%E9%87%8D%E7%AE%97%E6%95%B4%E4%B8%B2%EF%BC%8C%E4%B8%80%E9%81%8D%E5%8F%AA%E7%AE%97%E6%96%B0%E5%AD%97%E3%80%81%E5%85%B6%E9%A4%98%E6%9F%A5%E5%BF%AB%E5%8F%96%EF%BC%8C%E7%84%B6%E5%BE%8C%E6%AF%94%E5%B0%8D%E5%85%A9%E9%82%8A%E7%9A%84%E8%BC%B8%E5%87%BA%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(D_MODEL%2C%20SEQ%2C%20W_K%2C%20W_Q%2C%20W_V%2C%20attn_parts%2C%20embed%2C%20mo%2C%20np%2C%20rope)%3A%0A%20%20%20%20_p%20%3D%203%20%20%23%20%E5%89%8D%203%20%E5%80%8B%E5%AD%97%E7%95%B6%20prefill%EF%BC%8C%E5%BE%8C%E9%9D%A2%E9%80%90%E5%AD%97%E7%94%9F%E6%88%90%0A%0A%20%20%20%20%23%20(A)%20%E6%B2%92%E6%9C%89%E5%BF%AB%E5%8F%96%EF%BC%9A%E6%AF%8F%E4%B8%80%E6%AD%A5%E6%8A%8A%E6%95%B4%E4%B8%B2%E9%87%8D%E8%B7%91%E4%B8%80%E6%AC%A1%0A%20%20%20%20_outs_slow%2C%20_slow_steps%20%3D%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20for%20_t%20in%20range(_p%2C%20len(SEQ)%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20_part%20%3D%20attn_parts(SEQ%5B%3A_t%5D)%0A%20%20%20%20%20%20%20%20_outs_slow.append((_part%5B%22attn%22%5D%20%40%20_part%5B%22v%22%5D)%5B-1%5D)%0A%20%20%20%20%20%20%20%20_slow_steps.append(_t)%0A%0A%20%20%20%20%23%20(B)%20%E6%9C%89%E5%BF%AB%E5%8F%96%EF%BC%9APrefill%20%E4%B8%80%E6%AC%A1%E7%AE%97%E5%AE%8C%E5%89%8D%20p%20%E5%80%8B%E7%9A%84%20K%E3%80%81V%20%E5%AD%98%E9%80%B2%E5%BF%AB%E5%8F%96%EF%BC%9B%E4%B9%8B%E5%BE%8C%E6%AF%8F%E6%AD%A5%E5%8F%AA%E7%AE%97%E6%96%B0%E5%AD%97%E7%9A%84%20Q%2FK%2FV%0A%20%20%20%20_h0%20%3D%20embed(SEQ)%0A%20%20%20%20_K_cache%20%3D%20list(rope(_h0%5B%3A_p%5D%20%40%20W_K%2C%20np.arange(_p)))%0A%20%20%20%20_V_cache%20%3D%20list(_h0%5B%3A_p%5D%20%40%20W_V)%0A%20%20%20%20_outs_fast%2C%20_fast_steps%20%3D%20%5B%5D%2C%20%5B_p%5D%0A%20%20%20%20for%20_t%20in%20range(_p%20-%201%2C%20len(SEQ))%3A%0A%20%20%20%20%20%20%20%20if%20_t%20%3E%3D%20_p%3A%20%20%23%20decode%EF%BC%9A%E9%80%99%E4%B8%80%E6%AD%A5%E6%89%8D%E8%BC%AA%E5%88%B0%E6%96%B0%E5%AD%97%E9%80%B2%E5%BF%AB%E5%8F%96%0A%20%20%20%20%20%20%20%20%20%20%20%20_hi%20%3D%20_h0%5B_t%20%3A%20_t%20%2B%201%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_K_cache.append(rope(_hi%20%40%20W_K%2C%20%5B_t%5D)%5B0%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_V_cache.append((_hi%20%40%20W_V)%5B0%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_fast_steps.append(1)%0A%20%20%20%20%20%20%20%20_q%20%3D%20rope(_h0%5B_t%20%3A%20_t%20%2B%201%5D%20%40%20W_Q%2C%20%5B_t%5D)%5B0%5D%0A%20%20%20%20%20%20%20%20_s%20%3D%20_q%20%40%20np.stack(_K_cache).T%20%2F%20np.sqrt(D_MODEL)%0A%20%20%20%20%20%20%20%20_wgt%20%3D%20np.exp(_s%20-%20_s.max())%0A%20%20%20%20%20%20%20%20_wgt%20%2F%3D%20_wgt.sum()%0A%20%20%20%20%20%20%20%20_outs_fast.append(_wgt%20%40%20np.stack(_V_cache))%0A%0A%20%20%20%20_same%20%3D%20np.allclose(np.stack(_outs_slow)%2C%20np.stack(_outs_fast))%0A%20%20%20%20_maxdiff%20%3D%20float(np.abs(np.stack(_outs_slow)%20-%20np.stack(_outs_fast)).max())%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7C%20%7C%20%E6%AF%8F%E6%AD%A5%E7%AE%97%E5%B9%BE%E5%80%8B%20token%20%E7%9A%84%20K%2FV%20%7C%20%E5%85%A8%E7%A8%8B%E5%90%88%E8%A8%88%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20%E6%B2%92%E6%9C%89%E5%BF%AB%E5%8F%96%20%7C%20%7B%22%20%E2%86%92%20%22.join(str(_s)%20for%20_s%20in%20_slow_steps)%7D%20%7C%20**%7Bsum(_slow_steps)%7D**%20%7C%0A%20%20%20%20%7C%20%E6%9C%89%E5%BF%AB%E5%8F%96%20%7C%20%7B%22%20%E2%86%92%20%22.join(str(_s)%20for%20_s%20in%20_fast_steps)%7D%20%7C%20**%7Bsum(_fast_steps)%7D**%20%7C%0A%0A%20%20%20%20%E5%85%A9%E9%82%8A%E7%9A%84%E8%BC%B8%E5%87%BA%E5%90%91%E9%87%8F%E6%98%AF%E5%90%A6%E5%AE%8C%E5%85%A8%E7%9B%B8%E5%90%8C%EF%BC%9A**%7B%22%E6%98%AF%22%20if%20_same%20else%20%22%E5%90%A6%22%7D**%EF%BC%88%E6%9C%80%E5%A4%A7%E5%B7%AE%20%7B_maxdiff%3A.1e%7D%E2%80%94%E2%80%94%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%B5%AE%E9%BB%9E%E6%95%B8%E7%9A%84%E6%8D%A8%E5%85%A5%E8%AA%A4%E5%B7%AE%EF%BC%8C%E4%B8%8D%E6%98%AF%E6%BC%94%E7%AE%97%E6%B3%95%E7%9A%84%E5%B7%AE%E5%88%A5%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E5%BF%AB%E5%8F%96%E5%8F%AA%E6%98%AF%E3%80%8C%E5%90%8C%E4%B8%80%E4%BB%B6%E4%BA%8B%E4%B8%8D%E5%81%9A%E7%AC%AC%E4%BA%8C%E6%AC%A1%E3%80%8D%EF%BC%8C%E6%8F%9B%E4%BE%86%E7%9A%84%E6%98%AF%E4%B8%80%E6%A8%A1%E4%B8%80%E6%A8%A3%E7%9A%84%E7%AD%94%E6%A1%88%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E9%82%A3%E7%82%BA%E4%BB%80%E9%BA%BC%E5%8F%AA%E5%AD%98%20K%E3%80%81V%EF%BC%8C%E4%B8%8D%E5%AD%98%20Q%EF%BC%9F%0A%0A%20%20%20%20%E7%9C%8B%E8%AA%B0%E6%9C%83%E8%A2%AB%E9%87%8D%E8%A4%87%E8%AE%80%E5%B0%B1%E5%A5%BD%E3%80%82%E4%B8%8B%E9%9D%A2%E7%B5%B1%E8%A8%88%E6%95%B4%E8%B6%9F%E7%94%9F%E6%88%90%E8%A3%A1%EF%BC%8C%E6%AF%8F%E5%80%8B%20token%20%E7%9A%84%20K%2FV%20%E8%A2%AB%E6%9F%A5%E4%BA%86%E5%B9%BE%E6%AC%A1%E3%80%81Q%20%E8%A2%AB%E7%94%A8%E4%BA%86%E5%B9%BE%E6%AC%A1%0A%20%20%20%20%EF%BC%88%E7%94%A8%201%EF%B8%8F%E2%83%A3%20%E7%9A%84%E9%82%A3%E5%85%A9%E6%A0%B9%E6%BB%91%E6%A1%BF%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(C_KV%2C%20C_Q%2C%20decode_steps%2C%20np%2C%20plt%2C%20prompt_tokens)%3A%0A%20%20%20%20_p%2C%20_m%20%3D%20prompt_tokens.value%2C%20decode_steps.value%0A%20%20%20%20_n%20%3D%20_p%20%2B%20_m%0A%20%20%20%20%23%20%E6%8F%90%E7%A4%BA%E8%A3%A1%E7%9A%84%20token%EF%BC%9A%E6%AF%8F%E5%80%8B%20decode%20%E6%AD%A5%E9%83%BD%E8%A2%AB%E6%9F%A5%E4%B8%80%E6%AC%A1%EF%BC%9B%E7%AC%AC%20j%20%E5%80%8B%E7%94%9F%E5%87%BA%E4%BE%86%E7%9A%84%20token%EF%BC%9A%E5%BE%9E%E7%AC%AC%20j%20%E6%AD%A5%E8%B5%B7%E8%A2%AB%E6%9F%A5%0A%20%20%20%20_kv_reads%20%3D%20%5B_m%5D%20*%20_p%20%2B%20%5B_m%20-%20_j%20%2B%201%20for%20_j%20in%20range(1%2C%20_m%20%2B%201)%5D%0A%20%20%20%20_q_uses%20%3D%20%5B1%5D%20*%20_n%0A%20%20%20%20_x%20%3D%20np.arange(_n)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.4%2C%203.7))%0A%20%20%20%20_ax.bar(_x%20-%200.2%2C%20_kv_reads%2C%20width%3D0.4%2C%20color%3DC_KV%2C%20label%3D%22times%20its%20K%2FV%20is%20read%22)%0A%20%20%20%20_ax.bar(_x%20%2B%200.2%2C%20_q_uses%2C%20width%3D0.4%2C%20color%3DC_Q%2C%20label%3D%22times%20its%20Q%20is%20used%22)%0A%20%20%20%20_ax.axvline(_p%20-%200.5%2C%20color%3D%22%2352646E%22%2C%20ls%3D%22--%22%2C%20lw%3D1)%0A%20%20%20%20_ax.text(_p%20-%200.45%2C%20max(_kv_reads)%20*%200.92%2C%20%22%20%20decode%20starts%22%2C%20fontsize%3D9%2C%20color%3D%22%2352646E%22)%0A%20%20%20%20_ax.set_xticks(_x)%0A%20%20%20%20_ax.set_xticklabels(%5Bf%22t%7B_i%7D%22%20for%20_i%20in%20range(_n)%5D%2C%20fontsize%3D8)%0A%20%20%20%20_ax.set_ylabel(%22reads%20over%20the%20whole%20generation%22)%0A%20%20%20%20_ax.set_title(%22K%2FV%20get%20read%20again%20and%20again%3B%20every%20Q%20is%20used%20exactly%20once%22)%0A%20%20%20%20_ax.legend(fontsize%3D9)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E6%A9%98%E6%9F%B1%E6%B0%B8%E9%81%A0%E6%98%AF%201%EF%BC%9A**Q%20%E5%95%8F%E5%AE%8C%E5%B0%B1%E6%B2%92%E4%BA%8B%E4%BA%86**%EF%BC%8C%E4%B9%8B%E5%BE%8C%E6%AF%8F%E5%80%8B%E6%96%B0%E5%AD%97%E9%83%BD%E6%98%AF%E8%87%AA%E5%B7%B1%E9%87%8D%E6%96%B0%E6%8F%90%E5%95%8F%EF%BC%8C%E4%B8%8D%E6%9C%83%E5%9B%9E%E9%A0%AD%E7%94%A8%E8%88%8A%E7%9A%84%20Q%E3%80%82%0A%20%20%20%20%E8%97%8D%E6%9F%B1%E5%89%87%E5%A0%86%E5%BE%97%E8%80%81%E9%AB%98%EF%BC%9A%E5%8F%AA%E8%A6%81%E5%B0%8D%E8%A9%B1%E9%82%84%E5%9C%A8%E7%B9%BC%E7%BA%8C%EF%BC%8C%E8%88%8A%E5%AD%97%E7%9A%84%20K%E3%80%81V%20%E5%B0%B1%E4%B8%80%E7%9B%B4%E8%A2%AB%E6%9F%A5%E3%80%82%0A%0A%20%20%20%20%E5%BF%AB%E5%8F%96%E7%9A%84%E6%84%8F%E7%BE%A9%E5%B0%B1%E6%98%AF%E3%80%8C%E5%AD%98%E6%9C%83%E8%A2%AB%E9%87%8D%E8%A4%87%E8%AE%80%E7%9A%84%E6%9D%B1%E8%A5%BF%E3%80%8D%E2%80%94%E2%80%94%E9%80%99%E6%A2%9D%E5%8E%9F%E5%89%87%E5%88%B0%E9%80%99%E8%A3%A1%E5%B0%B1%E8%AC%9B%E5%AE%8C%E4%BA%86%EF%BC%8C%0A%20%20%20%20%E5%89%A9%E4%B8%8B%E5%85%A9%E7%AF%80%E6%98%AF%E5%AE%83%E7%9A%84%E5%85%A9%E5%80%8B%E6%8E%A8%E8%AB%96%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20%E8%B7%A8%E8%AB%8B%E6%B1%82%E9%87%8D%E7%94%A8%EF%BC%9A%E7%82%BA%E4%BB%80%E9%BA%BC%E5%8F%AA%E6%9C%89%E3%80%8C%E5%89%8D%E7%B6%B4%E3%80%8D%E5%8F%AF%E4%BB%A5%0A%0A%20%20%20%20%E6%8A%8A%20KV%20Cache%20%E7%95%99%E5%88%B0%E4%B8%8B%E4%B8%80%E5%80%8B%E8%AB%8B%E6%B1%82%E7%B9%BC%E7%BA%8C%E7%94%A8%EF%BC%8C%E5%B0%B1%E6%98%AF%20**Prefix%20Caching**%E2%80%94%E2%80%94%E5%90%8C%E4%B8%80%E5%80%8B%E6%8A%80%E8%A1%93%EF%BC%8C%0A%20%20%20%20%E7%AF%84%E5%9C%8D%E5%BE%9E%E3%80%8C%E5%96%AE%E6%AC%A1%E8%AB%8B%E6%B1%82%E5%85%A7%E3%80%8D%E6%93%B4%E5%A4%A7%E5%88%B0%E3%80%8C%E8%B7%A8%E8%AB%8B%E6%B1%82%E3%80%8D%E3%80%82%E4%BD%86%E5%AE%83%E6%9C%89%E5%80%8B%E7%A1%AC%E6%A2%9D%E4%BB%B6%EF%BC%9A%0A%20%20%20%20%E5%8F%AA%E6%9C%89**%E5%BE%9E%E7%AC%AC%E4%B8%80%E5%80%8B%20token%20%E8%B5%B7%E5%AE%8C%E5%85%A8%E7%9B%B8%E5%90%8C**%E7%9A%84%E5%89%8D%E7%B6%B4%E6%89%8D%E8%83%BD%E9%87%8D%E7%94%A8%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E7%94%A8%E5%85%A9%E6%AE%B5%E8%A9%B1%E9%A9%97%E8%AD%89%EF%BC%9A%E5%B7%A6%E5%9C%96%E6%AF%94%E8%BC%83%E3%80%8C%E4%BD%A0%E5%A5%BD%EF%BC%8C%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%E3%80%8D%E5%92%8C%E3%80%8C%E4%BD%A0%E5%A5%BD%EF%BC%8C%E6%98%8E%E5%A4%A9%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%E3%80%8D%E9%80%90%E6%A0%BC%E7%9A%84%20K%0A%20%20%20%20%E5%B7%AE%E5%A4%9A%E5%B0%91%EF%BC%9B%E5%8F%B3%E5%9C%96%E6%98%AF%E4%B8%89%E7%A8%AE%E6%83%85%E6%B3%81%E7%9A%84%E7%B8%BD%E7%B5%90%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(C_CACHE%2C%20C_RECOMP%2C%20attn_parts%2C%20np%2C%20plt%2C%20rel_err)%3A%0A%20%20%20%20TXT_A%20%3D%20%22%E4%BD%A0%E5%A5%BD%EF%BC%8C%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%22%0A%20%20%20%20TXT_B%20%3D%20%22%E4%BD%A0%E5%A5%BD%EF%BC%8C%E6%98%8E%E5%A4%A9%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%22%20%20%20%20%20%23%20%E5%89%8D%203%20%E5%80%8B%E5%AD%97%E7%9B%B8%E5%90%8C%EF%BC%8C%E7%AC%AC%204%20%E5%80%8B%E5%AD%97%E8%B5%B7%E5%88%86%E5%B2%94%0A%20%20%20%20TXT_A_LONG%20%3D%20%22%E4%BD%A0%E5%A5%BD%EF%BC%8C%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%E5%97%8E%22%20%20%23%20A%20%E7%9A%84%E5%89%8D%E7%B6%B4%20%2B%20%E5%A4%9A%E4%B8%80%E5%80%8B%E5%AD%97%0A%20%20%20%20TXT_C%20%3D%20%22%E8%AB%8B%E5%95%8F%E5%8F%B0%E5%8C%97%EF%BC%8C%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%22%20%20%20%20%20%23%20%E9%96%8B%E9%A0%AD%E5%B0%B1%E4%B8%8D%E5%90%8C%0A%0A%20%20%20%20_pa%2C%20_pb%20%3D%20attn_parts(TXT_A)%2C%20attn_parts(TXT_B)%0A%20%20%20%20_n%20%3D%20min(len(TXT_A)%2C%20len(TXT_B))%0A%20%20%20%20per_index_err%20%3D%20%5Brel_err(_pb%5B%22k_deep%22%5D%5B_i%5D%2C%20_pa%5B%22k_deep%22%5D%5B_i%5D)%20for%20_i%20in%20range(_n)%5D%0A%0A%20%20%20%20%23%20%E4%B8%89%E7%A8%AE%E6%83%85%E6%B3%81%EF%BC%9A%E5%90%8C%E5%89%8D%E7%B6%B4%EF%BC%8F%E5%89%8D%E6%96%87%E7%9B%B8%E5%90%8C%E4%BD%86%E6%95%B4%E6%AE%B5%E5%BE%80%E5%BE%8C%E7%A7%BB%202%20%E6%A0%BC%EF%BC%8F%E5%AE%8C%E5%85%A8%E4%B8%8D%E5%90%8C%E7%9A%84%E5%89%8D%E6%96%87%0A%20%20%20%20_ia%2C%20_ic%20%3D%20TXT_A.index(%22%E5%A4%A9%22)%2C%20TXT_C.index(%22%E5%A4%A9%22)%0A%20%20%20%20err_same%20%3D%20rel_err(attn_parts(TXT_A_LONG)%5B%22k_deep%22%5D%5B_ia%5D%2C%20_pa%5B%22k_deep%22%5D%5B_ia%5D)%0A%20%20%20%20err_shift%20%3D%20rel_err(attn_parts(TXT_A%2C%20offset%3D2)%5B%22k%22%5D%5B_ia%5D%2C%20_pa%5B%22k%22%5D%5B_ia%5D)%0A%20%20%20%20err_other%20%3D%20rel_err(attn_parts(TXT_C)%5B%22k_deep%22%5D%5B_ic%5D%2C%20_pa%5B%22k_deep%22%5D%5B_ia%5D)%0A%0A%20%20%20%20_shared%20%3D%20sum(1%20for%20_e%20in%20per_index_err%20if%20_e%20%3C%201e-6)%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(9.2%2C%203.6))%0A%20%20%20%20_ax1.axvspan(-0.5%2C%20_shared%20-%200.5%2C%20color%3DC_CACHE%2C%20alpha%3D0.14)%0A%20%20%20%20_ax1.bar(np.arange(_n)%2C%20per_index_err%2C%20color%3DC_RECOMP)%0A%20%20%20%20_ax1.text((_shared%20-%201)%20%2F%202%2C%20max(per_index_err)%20*%200.5%2C%20%22reusable%5Cn(0.0%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D9%2C%20color%3D%22%232F6B45%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax1.set_xticks(np.arange(_n))%0A%20%20%20%20_ax1.set_xticklabels(%5Bf%22t%7B_i%7D%22%20for%20_i%20in%20range(_n)%5D%2C%20fontsize%3D9)%0A%20%20%20%20_ax1.set_ylabel(%22K%20difference%20(%25)%22)%0A%20%20%20%20_ax1.set_title(%22shared%20prefix%20is%20free%3B%20from%20the%20first%5Cndifferent%20token%20on%2C%20nothing%20is%20reusable%22%2C%20fontsize%3D10)%0A%20%20%20%20_ax1.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%0A%20%20%20%20_vals%20%3D%20%5Berr_same%2C%20err_shift%2C%20err_other%5D%0A%20%20%20%20_bars%20%3D%20_ax2.bar(%5B0%2C%201%2C%202%5D%2C%20_vals%2C%20color%3D%5BC_CACHE%2C%20C_RECOMP%2C%20C_RECOMP%5D)%0A%20%20%20%20for%20_b%2C%20_v%20in%20zip(_bars%2C%20_vals)%3A%0A%20%20%20%20%20%20%20%20_ax2.text(_b.get_x()%20%2B%20_b.get_width()%20%2F%202%2C%20_v%20%2B%203%2C%20f%22%7B_v%3A.1f%7D%25%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9)%0A%20%20%20%20_ax2.set_xticks(%5B0%2C%201%2C%202%5D)%0A%20%20%20%20_ax2.set_xticklabels(%5B%22same%5Cnprefix%22%2C%20%22same%20text%2C%5Cnshifted%20%2B2%22%2C%20%22different%5Cnprefix%22%5D%2C%20fontsize%3D9)%0A%20%20%20%20_ax2.set_ylim(0%2C%20max(_vals)%20*%201.2)%0A%20%20%20%20_ax2.set_ylabel(%22K%20difference%20(%25)%22)%0A%20%20%20%20_ax2.set_title(%22position%20alone%20is%20already%20enough%5Cnto%20make%20K%20a%20different%20vector%22%2C%20fontsize%3D10)%0A%20%20%20%20_ax2.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20TXT_A%2C%20TXT_B%2C%20err_other%2C%20err_same%2C%20err_shift%2C%20per_index_err%0A%0A%0A%40app.cell%0Adef%20_(TXT_A%2C%20TXT_B%2C%20err_other%2C%20err_same%2C%20err_shift%2C%20mo%2C%20per_index_err)%3A%0A%20%20%20%20_shared%20%3D%20sum(1%20for%20_e%20in%20per_index_err%20if%20_e%20%3C%201e-6)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20-%20%E3%80%8C%7BTXT_A%7D%E3%80%8D%E5%B0%8D%E3%80%8C%7BTXT_B%7D%E3%80%8D%EF%BC%9A%E5%89%8D%20**%7B_shared%7D**%20%E6%A0%BC%E7%9A%84%20K%20%E5%B7%AE%20**%7Berr_same%3A.1f%7D%25**%E2%80%94%E2%80%94%0A%20%20%20%20%20%20%E9%80%90%E4%BD%8D%E5%85%83%E5%AE%8C%E5%85%A8%E7%9B%B8%E5%90%8C%EF%BC%8C%E9%80%99%E5%B9%BE%E6%A0%BC%E7%9A%84%20Prefill%20%E5%8F%AF%E4%BB%A5%E6%95%B4%E6%AE%B5%E8%B7%B3%E9%81%8E%E3%80%82%E7%AC%AC%20%7B_shared%20%2B%201%7D%20%E6%A0%BC%E8%B5%B7%E5%B0%B1%E8%A1%9D%E5%88%B0%0A%20%20%20%20%20%20%7Bmax(per_index_err)%3A.0f%7D%25%20%E4%B8%8A%E4%B8%8B%EF%BC%8C%E4%B8%80%E5%80%8B%E5%AD%97%E9%83%BD%E6%95%91%E4%B8%8D%E5%9B%9E%E4%BE%86%E3%80%82%0A%20%20%20%20-%20%E5%90%8C%E4%B8%80%E6%AE%B5%E8%A9%B1**%E5%8E%9F%E5%B0%81%E4%B8%8D%E5%8B%95%E5%BE%80%E5%BE%8C%E7%A7%BB%202%20%E6%A0%BC**%EF%BC%9AK%20%E5%B7%AE%20**%7Berr_shift%3A.0f%7D%25**%E3%80%82%E5%89%8D%E6%96%87%E4%B8%80%E6%A8%A1%E4%B8%80%E6%A8%A3%EF%BC%8C%0A%20%20%20%20%20%20%E5%8F%AA%E6%9C%89%E4%BD%8D%E7%BD%AE%E8%AE%8A%E4%BA%86%E2%80%94%E2%80%94%E4%BD%8D%E7%BD%AE%E7%B7%A8%E7%A2%BC%E5%9C%A8%E7%AE%97%20K%20%E4%B9%8B%E5%89%8D%E5%B0%B1%E6%B7%B7%E9%80%B2%E5%8E%BB%E4%BA%86%E3%80%82%0A%20%20%20%20-%20%E6%8F%9B%E4%B8%80%E6%AE%B5%E4%B8%8D%E5%90%8C%E9%96%8B%E9%A0%AD%E7%9A%84%E5%89%8D%E6%96%87%E5%86%8D%E7%9C%8B%E5%90%8C%E4%B8%80%E5%80%8B%E5%AD%97%EF%BC%9AK%20%E5%B7%AE%20**%7Berr_other%3A.0f%7D%25**%E3%80%82%0A%20%20%20%20%20%20%E6%B7%B1%E5%B1%A4%E7%9A%84%20K%20%E6%98%AF%E3%80%8C%E7%9C%8B%E9%81%8E%E5%89%8D%E9%9D%A2%E6%89%80%E6%9C%89%E5%AD%97%E3%80%8D%E4%B9%8B%E5%BE%8C%E7%AE%97%E5%87%BA%E4%BE%86%E7%9A%84%E3%80%82%0A%0A%20%20%20%20%E6%89%80%E4%BB%A5%E3%80%8C%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%E3%80%8D%E9%80%99%E5%9B%9B%E5%80%8B%E5%AD%97%EF%BC%8C%E5%9C%A8%E5%85%A9%E5%80%8B%E9%96%8B%E9%A0%AD%E4%B8%8D%E5%90%8C%E7%9A%84%E8%AB%8B%E6%B1%82%E8%A3%A1%E6%98%AF**%E5%85%A9%E7%B5%84%E4%B8%8D%E5%90%8C%E7%9A%84%20K%E3%80%81V**%E3%80%82%0A%20%20%20%20%E7%9C%8B%E8%B5%B7%E4%BE%86%E4%B8%80%E6%A8%A3%E7%9A%84%E5%AD%97%EF%BC%8C%E6%90%AC%E9%81%8E%E5%8E%BB%E5%B0%B1%E6%9C%83%E7%AE%97%E9%8C%AF%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E4%BB%A3%E5%83%B9%EF%BC%9A%E6%8B%BF%E8%A8%98%E6%86%B6%E9%AB%94%E6%8F%9B%E8%A8%88%E7%AE%97%0A%0A%20%20%20%20%E5%BF%AB%E5%8F%96%E8%A6%81%E6%94%BE%E5%9C%A8%E9%A1%AF%E7%A4%BA%E5%8D%A1%E8%A8%98%E6%86%B6%E9%AB%94%E8%A3%A1%EF%BC%8C%E8%80%8C%E4%B8%94**%E6%9C%83%E9%9A%A8%E5%B0%8D%E8%A9%B1%E8%AE%8A%E9%95%B7%E4%B8%80%E7%9B%B4%E9%95%B7%E5%A4%A7**%E3%80%82%E6%AF%8F%E5%80%8B%20token%20%E8%A6%81%E5%A4%9A%E5%B0%91%EF%BC%9F%0A%20%20%20%20%E6%8A%8A%20K%20%E5%92%8C%20V%20%E5%85%A9%E4%BB%BD%E3%80%81%E6%AF%8F%E4%B8%80%E5%B1%A4%E3%80%81%E6%AF%8F%E5%80%8B%20KV%20%E9%A0%AD%E3%80%81%E6%AF%8F%E5%80%8B%E7%B6%AD%E5%BA%A6%E7%9A%84%E6%95%B8%E5%AD%97%E5%8A%A0%E8%B5%B7%E4%BE%86%E4%B9%98%E4%B8%8A%E4%BD%8D%E5%85%83%E7%B5%84%E6%95%B8%E5%B0%B1%E6%98%AF%E4%BA%86%EF%BC%9A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%E6%AF%8F%20token%20bytes%20%3D%20%E5%B1%A4%E6%95%B8%20%C3%97%20KV%20%E9%A0%AD%E6%95%B8%20%C3%97%20%E6%AF%8F%E9%A0%AD%E7%B6%AD%E5%BA%A6%20%C3%97%202%EF%BC%88K%20%E5%92%8C%20V%EF%BC%89%20%C3%97%202%EF%BC%88fp16%20%E6%AF%8F%E5%80%8B%E6%95%B8%202%20bytes%EF%BC%89%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E9%A0%90%E8%A8%AD%E5%80%BC%E6%98%AF%20Llama%203%208B%EF%BC%88GQA%EF%BC%89%E7%9A%84%E9%85%8D%E7%BD%AE%EF%BC%9A32%20%E5%B1%A4%E3%80%818%20%E5%80%8B%20KV%20%E9%A0%AD%E3%80%81%E6%AF%8F%E9%A0%AD%20128%20%E7%B6%AD%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_layers%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D80%2C%20step%3D4%2C%20value%3D32%2C%20label%3D%22%E5%B1%A4%E6%95%B8%22%2C%20show_value%3DTrue)%0A%20%20%20%20n_kv_heads%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D32%2C%20step%3D1%2C%20value%3D8%2C%20label%3D%22KV%20%E9%A0%AD%E6%95%B8%22%2C%20show_value%3DTrue)%0A%20%20%20%20ctx_len%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%222k%22%3A%202000%2C%20%228k%22%3A%208000%2C%20%2232k%22%3A%2032000%2C%20%22128k%22%3A%20128000%2C%20%221M%22%3A%201000000%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%228k%22%2C%20label%3D%22%E4%BD%A0%E7%9A%84%E4%B8%8A%E4%B8%8B%E6%96%87%E9%95%B7%E5%BA%A6%22%2C%0A%20%20%20%20)%0A%20%20%20%20concurrency%20%3D%20mo.ui.slider(start%3D1%2C%20stop%3D32%2C%20step%3D1%2C%20value%3D10%2C%20label%3D%22%E5%90%8C%E6%99%82%E4%B8%8A%E7%B7%9A%E4%BA%BA%E6%95%B8%22%2C%20show_value%3DTrue)%0A%20%20%20%20vram_free%20%3D%20mo.ui.slider(start%3D2%2C%20stop%3D80%2C%20step%3D2%2C%20value%3D10%2C%20label%3D%22%E6%AC%8A%E9%87%8D%E8%BC%89%E5%85%A5%E5%BE%8C%E9%82%84%E5%89%A9%E5%A4%9A%E5%B0%91%20VRAM%EF%BC%88GB%EF%BC%89%22%2C%20show_value%3DTrue)%0A%20%20%20%20mo.vstack(%5Bn_layers%2C%20n_kv_heads%2C%20ctx_len%2C%20concurrency%2C%20vram_free%5D)%0A%20%20%20%20return%20concurrency%2C%20ctx_len%2C%20n_kv_heads%2C%20n_layers%2C%20vram_free%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20HEAD_DIM%2C%20DTYPE_BYTES%20%3D%20128%2C%202%0A%0A%20%20%20%20def%20bytes_per_token(layers%2C%20kv_heads)%3A%0A%20%20%20%20%20%20%20%20return%20layers%20*%20kv_heads%20*%20HEAD_DIM%20*%202%20*%20DTYPE_BYTES%0A%0A%20%20%20%20SCENARIOS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%222k%20x1%22%2C%202_000%2C%201)%2C%0A%20%20%20%20%20%20%20%20(%228k%20x1%22%2C%208_000%2C%201)%2C%0A%20%20%20%20%20%20%20%20(%2232k%20x1%22%2C%2032_000%2C%201)%2C%0A%20%20%20%20%20%20%20%20(%228k%20x10%22%2C%208_000%2C%2010)%2C%0A%20%20%20%20%20%20%20%20(%22128k%20x1%22%2C%20128_000%2C%201)%2C%0A%20%20%20%20%20%20%20%20(%221M%20x1%22%2C%201_000_000%2C%201)%2C%0A%20%20%20%20%5D%0A%20%20%20%20return%20SCENARIOS%2C%20bytes_per_token%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20C_CACHE%2C%0A%20%20%20%20C_RECOMP%2C%0A%20%20%20%20SCENARIOS%2C%0A%20%20%20%20bytes_per_token%2C%0A%20%20%20%20concurrency%2C%0A%20%20%20%20ctx_len%2C%0A%20%20%20%20n_kv_heads%2C%0A%20%20%20%20n_layers%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20vram_free%2C%0A)%3A%0A%20%20%20%20_per%20%3D%20bytes_per_token(n_layers.value%2C%20n_kv_heads.value)%0A%20%20%20%20_limit%20%3D%20vram_free.value%0A%20%20%20%20_names%20%3D%20%5B_s%5B0%5D%20for%20_s%20in%20SCENARIOS%5D%20%2B%20%5B%22yours%22%5D%0A%20%20%20%20_gb%20%3D%20%5B_per%20*%20_t%20*%20_c%20%2F%201e9%20for%20_n%2C%20_t%2C%20_c%20in%20SCENARIOS%5D%0A%20%20%20%20_gb.append(_per%20*%20ctx_len.value%20*%20concurrency.value%20%2F%201e9)%0A%20%20%20%20_cols%20%3D%20%5BC_CACHE%20if%20_g%20%3C%3D%20_limit%20else%20C_RECOMP%20for%20_g%20in%20_gb%5D%0A%20%20%20%20_cols%5B-1%5D%20%3D%20%22%231C2B33%22%20if%20_gb%5B-1%5D%20%3C%3D%20_limit%20else%20C_RECOMP%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.6%2C%203.9))%0A%20%20%20%20_bars%20%3D%20_ax.bar(np.arange(len(_names))%2C%20_gb%2C%20color%3D_cols)%0A%20%20%20%20_ax.axhline(_limit%2C%20color%3D%22%2352646E%22%2C%20ls%3D%22--%22%2C%20lw%3D1.5)%0A%20%20%20%20_ax.text(-0.4%2C%20_limit%20*%201.12%2C%20f%22free%20VRAM%20%7B_limit%7D%20GB%22%2C%20fontsize%3D9%2C%20color%3D%22%2352646E%22)%0A%20%20%20%20_ax.set_yscale(%22log%22)%0A%20%20%20%20_ax.set_xticks(np.arange(len(_names)))%0A%20%20%20%20_ax.set_xticklabels(_names%2C%20fontsize%3D9)%0A%20%20%20%20_ax.set_ylabel(%22KV%20cache%20(GB%2C%20log%20scale)%22)%0A%20%20%20%20_ax.set_title(f%22%7B_per%20%2F%201024%3A.0f%7D%20KiB%20per%20token%20%20(%7Bn_layers.value%7D%20layers%20x%20%7Bn_kv_heads.value%7D%20KV%20heads)%22)%0A%20%20%20%20for%20_b%2C%20_g%20in%20zip(_bars%2C%20_gb)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_b.get_x()%20%2B%20_b.get_width()%20%2F%202%2C%20_g%20*%201.15%2C%20f%22%7B_g%3A.2f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D8)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20bytes_per_token%2C%0A%20%20%20%20concurrency%2C%0A%20%20%20%20ctx_len%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_kv_heads%2C%0A%20%20%20%20n_layers%2C%0A%20%20%20%20vram_free%2C%0A)%3A%0A%20%20%20%20_per%20%3D%20bytes_per_token(n_layers.value%2C%20n_kv_heads.value)%0A%20%20%20%20_need%20%3D%20_per%20*%20ctx_len.value%20*%20concurrency.value%20%2F%201e9%0A%20%20%20%20_ok%20%3D%20_need%20%3C%3D%20vram_free.value%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E6%AF%8F%20token%20%E7%9A%84%20KV%20%3D%20**%7B_per%3A%2C%7D%20bytes**%EF%BC%88%7B_per%20%2F%201024%3A.0f%7D%20KiB%20%E2%89%88%20%7B_per%20%2F%201e6%3A.2f%7D%20MB%EF%BC%89%0A%0A%20%20%20%20%E4%BD%A0%E7%9A%84%E8%A8%AD%E5%AE%9A%EF%BC%9A%7Bctx_len.selected_key%7D%20%E4%B8%8A%E4%B8%8B%E6%96%87%20%C3%97%20%7Bconcurrency.value%7D%20%E4%BA%BA%0A%20%20%20%20%E2%86%92%20%E9%9C%80%E8%A6%81%20**%7B_need%3A.2f%7D%20GB**%EF%BC%8C%E5%8F%AF%E7%94%A8%20**%7Bvram_free.value%7D%20GB**%0A%20%20%20%20%E2%86%92%20**%7B%22%E6%94%BE%E5%BE%97%E4%B8%8B%22%20if%20_ok%20else%20f%22%E6%94%BE%E4%B8%8D%E4%B8%8B%EF%BC%8C%E5%B7%AE%20%7B_need%20-%20vram_free.value%3A.2f%7D%20GB%22%7D**%0A%0A%20%20%20%20%7B%22%22%20if%20_ok%20else%20%22%E6%94%BE%E4%B8%8D%E4%B8%8B%E6%99%82%EF%BC%8C%E8%A6%81%E5%98%9B%E7%A0%8D%E4%B8%8A%E4%B8%8B%E6%96%87%E3%80%81%E7%A0%8D%E4%B8%A6%E7%99%BC%EF%BC%8C%E8%A6%81%E5%98%9B%E6%8A%8A%E5%BF%AB%E5%8F%96%E6%94%BE%E5%88%B0%E5%88%A5%E7%9A%84%E5%9C%B0%E6%96%B9%E5%8E%BB%E2%80%94%E2%80%94%E9%82%A3%E6%98%AF%E7%AC%AC%205%20%E8%AA%B2%E7%9A%84%E9%A1%8C%E7%9B%AE%E3%80%82%22%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207%EF%B8%8F%E2%83%A3%20%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%20%E4%B8%89%E5%80%8B%E6%8C%91%E6%88%B0%EF%BC%8C%E7%94%B1%E6%98%93%E5%88%B0%E9%9B%A3%E3%80%82%E5%81%9A%E5%AE%8C%E8%A8%98%E5%BE%97**%E9%BB%9E%E5%8F%B3%E4%B8%8A%E8%A7%92%E4%B8%8B%E8%BC%89%E6%8C%89%E9%88%95%E6%8A%8A%E4%BD%A0%E7%9A%84%E7%89%88%E6%9C%AC%E5%B8%B6%E8%B5%B0**%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E5%B0%B1%E8%83%BD%E7%B9%BC%E7%BA%8C%E7%8E%A9%E3%80%82%0A%0A%20%20%20%201.%20**LEVEL%201**%EF%BC%9A%E5%9B%9E%E5%88%B0%206%EF%B8%8F%E2%83%A3%20%E6%8A%8A%E3%80%8CKV%20%E9%A0%AD%E6%95%B8%E3%80%8D%E5%BE%9E%208%20%E6%8B%89%E5%88%B0%2032%EF%BC%88%E7%AD%89%E6%96%BC%E4%B8%8D%E5%85%B1%E7%94%A8%20KV%20%E9%A0%AD%EF%BC%89%EF%BC%8C%0A%20%20%20%20%20%20%20%E7%9C%8B%20%601M%20x1%60%20%E9%82%A3%E6%A0%B9%E6%9F%B1%E5%AD%90%E8%AE%8A%E6%88%90%E5%B9%BE%20GB%E3%80%82%0A%20%20%20%202.%20**LEVEL%202**%EF%BC%9A%E5%9B%9E%E5%88%B0%203%EF%B8%8F%E2%83%A3%20%E8%A9%A6%E5%85%A9%E7%B5%84%E8%A8%AD%E5%AE%9A%E2%80%94%E2%80%94%E6%8F%90%E7%A4%BA%202000%EF%BC%8F%E7%94%9F%E6%88%90%20100%EF%BC%8C%E5%92%8C%E6%8F%90%E7%A4%BA%20100%EF%BC%8F%E7%94%9F%E6%88%90%202000%E3%80%82%0A%20%20%20%20%20%20%20%E5%85%A9%E7%B5%84%E7%9A%84%20token%20%E7%B8%BD%E6%95%B8%E5%B7%AE%E4%B8%8D%E5%A4%9A%EF%BC%8C%E4%BD%86%E3%80%8C%E7%9C%81%E4%B8%8B%E7%9A%84%E5%80%8D%E6%95%B8%E3%80%8D%E5%B7%AE%E5%BE%88%E5%A4%9A%E3%80%82%E5%93%AA%E4%B8%80%E7%A8%AE%E6%83%85%E6%B3%81%E5%BF%AB%E5%8F%96%E6%9B%B4%E5%88%92%E7%AE%97%EF%BC%9F%E7%82%BA%E4%BB%80%E9%BA%BC%EF%BC%9F%0A%20%20%20%203.%20**LEVEL%203**%EF%BC%9A%E7%94%A8%E4%B8%8B%E9%9D%A2%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%E6%8F%9B%E4%B8%80%E7%B5%84%E4%BD%A0%E8%87%AA%E5%B7%B1%E7%9A%84%20A%EF%BC%8FB%20%E5%8F%A5%E5%AD%90%EF%BC%8C%E6%89%BE%E5%87%BA%E3%80%8C%E5%BE%9E%E7%AC%AC%E5%B9%BE%E5%80%8B%E5%AD%97%E9%96%8B%E5%A7%8B%20K%20%E5%B0%B1%E4%B8%8D%E4%B8%80%E6%A8%A3%E4%BA%86%E3%80%8D%E3%80%82%0A%20%20%20%20%20%20%20%E8%A9%A6%E8%91%97%E8%AE%93%E5%AE%83%E5%80%91%E5%85%B1%E7%94%A8%E8%B6%8A%E9%95%B7%E8%B6%8A%E5%A5%BD%E7%9A%84%E5%89%8D%E7%B6%B4%E2%80%94%E2%80%94%E7%84%B6%E5%BE%8C%E6%83%B3%E6%83%B3%EF%BC%9A%E9%80%99%E4%BB%B6%E4%BA%8B%E5%B0%8D%E4%BD%A0%E5%AF%AB%20prompt%20%E7%9A%84%E9%A0%86%E5%BA%8F%E6%9C%89%E4%BB%80%E9%BA%BC%E5%95%9F%E7%A4%BA%EF%BC%9F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(attn_parts%2C%20rel_err)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E6%94%B9%E9%80%99%E5%85%A9%E5%8F%A5%E8%A9%B1%EF%BC%8C%E7%9C%8B%E9%80%90%E6%A0%BC%E7%9A%84%20K%20%E5%B7%AE%E5%A4%9A%E5%B0%91%EF%BC%880.0%20%3D%20%E5%AE%8C%E5%85%A8%E4%B8%80%E6%A8%A3%20%3D%20%E9%80%99%E4%B8%80%E6%A0%BC%E5%8F%AF%E4%BB%A5%E7%9B%B4%E6%8E%A5%E9%87%8D%E7%94%A8%EF%BC%89%0A%20%20%20%20my_a%20%3D%20%22%E4%BD%A0%E5%A5%BD%EF%BC%8C%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%22%0A%20%20%20%20my_b%20%3D%20%22%E4%BD%A0%E5%A5%BD%EF%BC%8C%E6%98%8E%E5%A4%A9%E5%A4%A9%E6%B0%A3%E5%A6%82%E4%BD%95%22%0A%0A%20%20%20%20_ka%20%3D%20attn_parts(my_a)%5B%22k_deep%22%5D%0A%20%20%20%20_kb%20%3D%20attn_parts(my_b)%5B%22k_deep%22%5D%0A%20%20%20%20_n%20%3D%20min(len(my_a)%2C%20len(my_b))%0A%20%20%20%20_errs%20%3D%20%5Brel_err(_kb%5B_i%5D%2C%20_ka%5B_i%5D)%20for%20_i%20in%20range(_n)%5D%0A%20%20%20%20_shared%20%3D%200%0A%20%20%20%20for%20_e%20in%20_errs%3A%0A%20%20%20%20%20%20%20%20if%20_e%20%3E%3D%201e-6%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20_shared%20%2B%3D%201%0A%20%20%20%20print(%22%E9%80%90%E6%A0%BC%20K%20%E7%9B%B8%E5%B0%8D%E8%AA%A4%E5%B7%AE%20(%25)%EF%BC%9A%22%2C%20%5Bround(_e%2C%201)%20for%20_e%20in%20_errs%5D)%0A%20%20%20%20print(f%22%E5%85%B1%E7%94%A8%E5%89%8D%E7%B6%B4%E9%95%B7%E5%BA%A6%EF%BC%9A%7B_shared%7D%20%E5%80%8B%20token%EF%BC%88%E3%80%8C%7Bmy_a%5B%3A_shared%5D%7D%E3%80%8D%EF%BC%89%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20KV%20%E9%A0%AD%E6%95%B8%208%20%E2%86%92%2032%20%E6%98%AF%204%20%E5%80%8D%EF%BC%8C%E6%AF%8F%20token%20%E5%BE%9E%20128%20KiB%20%E8%AE%8A%E6%88%90%20512%20KiB%EF%BC%8C%0A%20%20%20%20%601M%20x1%60%20%E5%BE%9E%20**131.07%20GB**%20%E8%AE%8A%E6%88%90%20**524.29%20GB**%E3%80%82%0A%0A%20%20%20%20GQA%EF%BC%88%E5%A4%9A%E5%80%8B%20query%20%E9%A0%AD%E5%85%B1%E7%94%A8%E4%B8%80%E7%B5%84%20KV%20%E9%A0%AD%EF%BC%89%E7%9C%81%E4%B8%8B%E4%BE%86%E7%9A%84%E5%B0%B1%E6%98%AF%E9%80%99%204%20%E5%80%8D%E3%80%82%0A%20%20%20%20%E4%B8%8A%E4%B8%8B%E6%96%87%E4%B8%80%E9%95%B7%EF%BC%8C%E9%80%99%E5%80%8B%E4%BF%82%E6%95%B8%E6%98%AF%E3%80%8C%E6%94%BE%E5%BE%97%E4%B8%8B%E3%80%8D%E5%92%8C%E3%80%8C%E6%94%BE%E4%B8%8D%E4%B8%8B%E3%80%8D%E7%9A%84%E5%B7%AE%E5%88%A5%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20kv_computed(2000%2C%20100%2C%20cached%3DFalse)%2C%20kv_computed(2000%2C%20100%2C%20cached%3DTrue)%0A%20%20%20%20%23%20%E2%86%92%20207%2C050%20vs%202%2C100%20%3D%2098.6%20%E5%80%8D%0A%20%20%20%20kv_computed(100%2C%202000%2C%20cached%3DFalse)%2C%20kv_computed(100%2C%202000%2C%20cached%3DTrue)%0A%20%20%20%20%23%20%E2%86%92%202%2C201%2C100%20vs%202%2C100%20%3D%201048.1%20%E5%80%8D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20**%E7%94%9F%E6%88%90%E8%B6%8A%E9%95%B7%EF%BC%8C%E5%BF%AB%E5%8F%96%E8%B6%8A%E5%88%92%E7%AE%97%E3%80%82**%E5%9B%A0%E7%82%BA%E5%B9%B3%E6%96%B9%E9%A0%85%E9%95%B7%E5%9C%A8%E3%80%8C%E7%94%9F%E6%88%90%E9%95%B7%E5%BA%A6%E3%80%8D%E4%B8%8A%EF%BC%9A%0A%20%20%20%20%E6%AF%8F%E5%A4%9A%E7%94%9F%E4%B8%80%E5%80%8B%E5%AD%97%EF%BC%8C%E5%B0%B1%E5%A4%9A%E4%B8%80%E6%95%B4%E8%BC%AA%E9%87%8D%E7%AE%97%E3%80%82%E6%8F%90%E7%A4%BA%E5%86%8D%E9%95%B7%E4%B9%9F%E5%8F%AA%E6%98%AF%E8%A2%AB%E9%87%8D%E7%AE%97%E7%9A%84%E9%82%A3%E5%80%8B%E5%9F%BA%E6%95%B8%EF%BC%8C%0A%20%20%20%20%E7%9C%9F%E6%AD%A3%E6%8A%8A%E8%A8%88%E7%AE%97%E9%87%8F%E7%82%B8%E9%96%8B%E7%9A%84%E6%98%AF%E7%94%9F%E6%88%90%E7%9A%84%E6%AD%A5%E6%95%B8%E3%80%82%0A%0A%20%20%20%20%EF%BC%88%E5%8F%8D%E9%81%8E%E4%BE%86%E8%AA%AA%EF%BC%8C%E6%8F%90%E7%A4%BA%E5%BE%88%E9%95%B7%E3%80%81%E5%8F%AA%E7%94%9F%E5%B9%BE%E5%80%8B%E5%AD%97%E7%9A%84%E5%A0%B4%E6%99%AF%E2%80%94%E2%80%94%E4%BE%8B%E5%A6%82%E9%95%B7%E6%96%87%E4%BB%B6%E5%95%8F%E7%AD%94%E2%80%94%E2%80%94%0A%20%20%20%20%E7%97%9B%E7%9A%84%E4%B8%8D%E6%98%AF%E9%87%8D%E7%AE%97%EF%BC%8C%E6%98%AF%E9%82%A3%E4%B8%80%E5%A4%A7%E6%AE%B5%20Prefill%20%E6%9C%AC%E8%BA%AB%E3%80%82%E9%82%A3%E5%B0%B1%E6%98%AF%20Prefix%20Caching%20%E7%9A%84%E4%B8%BB%E5%A0%B4%E3%80%82%EF%BC%89%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%80%8E%E9%BA%BC%E9%A9%97%E8%AD%89%E8%87%AA%E5%B7%B1%E5%81%9A%E5%B0%8D%E4%BA%86%EF%BC%9A%E5%AF%A6%E9%A9%97%E5%8D%80%E5%8D%B0%E5%87%BA%E7%9A%84%E3%80%8C%E9%80%90%E6%A0%BC%20K%20%E7%9B%B8%E5%B0%8D%E8%AA%A4%E5%B7%AE%E3%80%8D%EF%BC%8C%0A%20%20%20%20%E5%85%B1%E7%94%A8%E5%89%8D%E7%B6%B4%E7%9A%84%E9%83%A8%E5%88%86%E6%87%89%E8%A9%B2%E6%98%AF%E4%B8%80%E6%95%B4%E6%8E%92%20%600.0%60%EF%BC%8C%E8%80%8C%E4%B8%94**%E7%AC%AC%E4%B8%80%E5%80%8B%E9%9D%9E%200%20%E7%9A%84%E4%BD%8D%E7%BD%AE%EF%BC%8C%0A%20%20%20%20%E5%B0%B1%E6%98%AF%E5%85%A9%E5%8F%A5%E8%A9%B1%E7%AC%AC%E4%B8%80%E5%80%8B%E4%B8%8D%E5%90%8C%E7%9A%84%E5%AD%97**%E3%80%82%E8%A9%A6%E8%A9%A6%E7%9C%8B%E6%8A%8A%E4%B8%8D%E5%90%8C%E7%9A%84%E5%AD%97%E5%BE%80%E5%BE%8C%E6%8C%AA%EF%BC%8C%E9%82%A3%E6%8E%92%200%20%E6%9C%83%E8%B7%9F%E8%91%97%E8%AE%8A%E9%95%B7%E3%80%82%0A%0A%20%20%20%20%E5%B0%8D%E5%AF%AB%20prompt%20%E7%9A%84%E5%95%9F%E7%A4%BA%EF%BC%9A**%E6%8A%8A%E6%89%80%E6%9C%89%E8%AB%8B%E6%B1%82%E5%85%B1%E7%94%A8%E7%9A%84%E6%9D%B1%E8%A5%BF%E6%94%BE%E5%88%B0%E6%9C%80%E5%89%8D%E9%9D%A2**%0A%20%20%20%20%EF%BC%88%E7%B3%BB%E7%B5%B1%E6%8F%90%E7%A4%BA%E3%80%81%E8%A6%8F%E5%89%87%E3%80%81%E7%AF%84%E4%BE%8B%E3%80%81%E5%9B%BA%E5%AE%9A%E7%9A%84%E6%96%87%E4%BB%B6%EF%BC%89%EF%BC%8C%E6%8A%8A%E6%AF%8F%E6%AC%A1%E9%83%BD%E4%B8%8D%E4%B8%80%E6%A8%A3%E7%9A%84%E6%9D%B1%E8%A5%BF%0A%20%20%20%20%EF%BC%88%E4%BD%BF%E7%94%A8%E8%80%85%E7%9A%84%E5%95%8F%E9%A1%8C%E3%80%81%E6%99%82%E9%96%93%E6%88%B3%E3%80%81%E9%9A%A8%E6%A9%9F%20ID%EF%BC%89%E6%94%BE%E5%88%B0%E6%9C%80%E5%BE%8C%E9%9D%A2%E3%80%82%E9%96%8B%E9%A0%AD%E6%94%BE%E4%B8%80%E5%80%8B%0A%20%20%20%20%E3%80%8C%E4%BB%8A%E5%A4%A9%E6%98%AF%202026-08-28%E3%80%8D%EF%BC%8C%E5%BE%8C%E9%9D%A2%E5%B9%BE%E5%8D%83%E5%AD%97%E7%9A%84%E5%85%B1%E7%94%A8%E5%89%8D%E7%B6%B4%E5%B0%B1%E5%85%A8%E9%83%A8%E4%BD%9C%E5%BB%A2%E4%BA%86%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E4%BB%B6%E4%BA%8B%E6%80%8E%E9%BA%BC%E8%AE%8A%E6%88%90%E5%B8%B3%E5%96%AE%E4%B8%8A%E7%9A%84%E6%95%B8%E5%AD%97%EF%BC%8C%E4%B8%8B%E4%B8%80%E8%AA%B2%E7%AE%97%E7%B5%A6%E4%BD%A0%E7%9C%8B%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A