微調入門：LoRA 與 SFT、DPO（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E5%BE%AE%E8%AA%BF%E5%85%A5%E9%96%80%EF%BC%9ALoRA%20%E8%88%87%20SFT%E3%80%81DPO%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E5%BE%AE%E8%AA%BF%E5%85%A5%E9%96%80%EF%BC%9ALoRA%20%E8%88%87%20SFT%E3%80%81DPO%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%94%B9%E5%A3%9E%E4%BA%86%E4%B9%9F%E6%B2%92%E9%97%9C%E4%BF%82%EF%BC%9A%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%0A%20%20%20%20%E7%9C%9F%E6%AD%A3%E7%9A%84%E5%BE%AE%E8%AA%BF%E8%A6%81%E5%9C%A8%E6%9C%89%20GPU%20%E7%9A%84%E6%A9%9F%E5%99%A8%E4%B8%8A%E8%B7%91%EF%BC%9B%E9%80%99%E8%A3%A1%E4%B8%8D%E8%A8%93%E7%B7%B4%E6%A8%A1%E5%9E%8B%EF%BC%8C%E8%80%8C%E6%98%AF%E6%8A%8A%20**LoRA%20%E7%9A%84%E6%AF%8F%E4%B8%80%E5%80%8B%E5%8F%83%E6%95%B8**%0A%20%20%20%20%E2%80%94%E2%80%94%60r%60%E3%80%81%60lora_alpha%60%E3%80%81%60target_modules%60%E2%80%94%E2%80%94%E7%AE%97%E7%B5%A6%E4%BD%A0%E7%9C%8B%EF%BC%8C%E8%AE%93%E4%BD%A0%E7%9F%A5%E9%81%93%E8%87%AA%E5%B7%B1%E5%9C%A8%E8%AA%BF%E4%BB%80%E9%BA%BC%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E8%88%87%E5%B7%A5%E5%85%B7%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%0A%20%20%20%20import%20json%0A%20%20%20%20from%20html%20import%20escape%0A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20escape%2C%20json%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E8%AA%B2%E7%A8%8B%E8%AA%9E%E7%BE%A9%E8%89%B2%EF%BC%9AW%EF%BC%88%E5%87%8D%E7%B5%90%E7%9A%84%E6%95%99%E7%A7%91%E6%9B%B8%EF%BC%89%E8%97%8D%E3%80%81adapter%EF%BC%88%E4%BE%BF%E5%88%A9%E8%B2%BC%EF%BC%89%E6%A9%98%E3%80%81%E5%A5%BD%E7%9A%84%E7%B6%A0%E3%80%81%E5%B7%AE%E7%9A%84%E7%B4%85%0A%20%20%20%20C_W%20%3D%20%22%233D6B8F%22%0A%20%20%20%20C_LORA%20%3D%20%22%23E0913C%22%0A%20%20%20%20C_GOOD%20%3D%20%22%2355A868%22%0A%20%20%20%20C_BAD%20%3D%20%22%23C44E52%22%0A%20%20%20%20return%20C_BAD%2C%20C_GOOD%2C%20C_LORA%2C%20C_W%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E4%BE%BF%E5%88%A9%E8%B2%BC%E6%9C%89%E5%A4%9A%E5%B0%8F%EF%BC%9A%E5%8F%83%E6%95%B8%E9%87%8F%E8%A8%88%E7%AE%97%E5%99%A8%0A%0A%20%20%20%20Transformer%20%E6%AF%8F%E4%B8%80%E5%B1%A4%E9%83%BD%E6%9C%89%E5%A5%BD%E5%B9%BE%E5%80%8B%20%60d%20%C3%97%20d%60%20%E7%9A%84%E6%96%B9%E9%99%A3%20W%E3%80%82**%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF**%E8%A6%81%E6%9B%B4%E6%96%B0%E6%95%B4%E5%80%8B%20W%EF%BC%9B%0A%20%20%20%20**LoRA**%20%E6%8A%8A%20W%20%E5%87%8D%E7%B5%90%EF%BC%8C%E5%8F%A6%E5%A4%96%E6%8E%9B%E5%85%A9%E5%80%8B%E5%B0%8F%E7%9F%A9%E9%99%A3%20%60B(d%C3%97r)%60%20%E8%88%87%20%60A(r%C3%97d)%60%EF%BC%8C%E5%8F%AA%E8%A8%93%E7%B7%B4%E9%80%99%E5%85%A9%E5%80%8B%E3%80%82%0A%0A%20%20%20%20%E6%8B%89%E6%8B%89%E7%9C%8B%E4%B8%8B%E9%9D%A2%E5%85%A9%E6%A0%B9%E6%8B%89%E6%A1%BF%E2%80%94%E2%80%94%E6%B3%A8%E6%84%8F%E5%8F%B3%E9%82%8A%E9%82%A3%E5%BC%B5%E5%9C%96%E7%9A%84%20y%20%E8%BB%B8%E6%98%AF**%E5%B0%8D%E6%95%B8%E5%88%BB%E5%BA%A6**%EF%BC%8C%E4%B8%8D%E7%84%B6%20LoRA%20%E9%82%A3%E6%A0%B9%E6%9F%B1%E5%AD%90%E6%9C%83%E7%9F%AE%E5%88%B0%E7%9C%8B%E4%B8%8D%E8%A6%8B%E3%80%82%0A%20%20%20%20%E8%A8%98%E6%86%B6%E9%AB%94%E9%82%A3%E6%AC%84%E6%98%AF%E7%B2%97%E4%BC%B0%EF%BC%9A%E6%AF%8F%E5%80%8B**%E5%8F%AF%E8%A8%93%E7%B7%B4**%E5%8F%83%E6%95%B8%E5%9C%A8%E8%A8%93%E7%B7%B4%E6%99%82%E9%82%84%E8%A6%81%E5%A4%9A%E5%B8%B6%E6%A2%AF%E5%BA%A6%E8%88%87%E5%84%AA%E5%8C%96%E5%99%A8%E7%8B%80%E6%85%8B%EF%BC%88%E9%80%99%E8%A3%A1%E4%BB%A5%203%20%E4%BB%BD%20fp32%20%E8%A8%88%EF%BC%89%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20dim_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D512%2C%20stop%3D8192%2C%20step%3D512%2C%20value%3D4096%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E6%A8%A1%E5%9E%8B%E7%B6%AD%E5%BA%A6%20d%EF%BC%88W%20%E6%98%AF%20d%C3%97d%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20rank_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D64%2C%20step%3D1%2C%20value%3D16%2C%0A%20%20%20%20%20%20%20%20label%3D%22LoRA%20rank%20r%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bdim_slider%2C%20rank_slider%5D)%0A%20%20%20%20return%20dim_slider%2C%20rank_slider%0A%0A%0A%40app.cell%0Adef%20_(C_LORA%2C%20C_W%2C%20dim_slider%2C%20plt%2C%20rank_slider)%3A%0A%20%20%20%20d_dim%20%3D%20dim_slider.value%0A%20%20%20%20r_rank%20%3D%20rank_slider.value%0A%20%20%20%20full_params%20%3D%20d_dim%20*%20d_dim%20%20%20%20%20%20%20%20%20%20%23%20%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF%EF%BC%9A%E6%95%B4%E5%80%8B%20W%0A%20%20%20%20lora_trainable%20%3D%202%20*%20d_dim%20*%20r_rank%20%20%23%20LoRA%EF%BC%9AB(d%C3%97r)%20%2B%20A(r%C3%97d)%0A%20%20%20%20shrink%20%3D%20full_params%20%2F%20lora_trainable%0A%20%20%20%20STATE_BYTES%20%3D%2012%20%20%23%20%E6%A2%AF%E5%BA%A6%20%2B%20%E5%85%A9%E4%BB%BD%E5%84%AA%E5%8C%96%E5%99%A8%E7%8B%80%E6%85%8B%EF%BC%8C%E5%90%84%20fp32%EF%BC%884%20bytes%EF%BC%89%0A%0A%20%20%20%20_fig%2C%20_axes%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(8.2%2C%203.5))%0A%20%20%20%20_names%20%3D%20%5B%22Full%20FT%22%2C%20f%22LoRA%20r%3D%7Br_rank%7D%22%5D%0A%20%20%20%20_colors%20%3D%20%5BC_W%2C%20C_LORA%5D%0A%0A%20%20%20%20_vals%20%3D%20%5Bfull_params%2C%20lora_trainable%5D%0A%20%20%20%20_axes%5B0%5D.bar(_names%2C%20_vals%2C%20color%3D_colors%2C%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.2)%0A%20%20%20%20_axes%5B0%5D.set_yscale(%22log%22)%0A%20%20%20%20_axes%5B0%5D.set_ylabel(%22trainable%20params%20(log)%22)%0A%20%20%20%20_axes%5B0%5D.set_title(f%22One%20d%20x%20d%20layer%2C%20d%3D%7Bd_dim%7D%22)%0A%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(_vals)%3A%0A%20%20%20%20%20%20%20%20_axes%5B0%5D.text(_i%2C%20_v%20*%201.5%2C%20f%22%7B_v%3A%2C%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axes%5B0%5D.set_ylim(top%3Dmax(_vals)%20*%2012)%0A%0A%20%20%20%20_mem%20%3D%20%5Bv%20*%20STATE_BYTES%20%2F%202**20%20for%20v%20in%20_vals%5D%0A%20%20%20%20_axes%5B1%5D.bar(_names%2C%20_mem%2C%20color%3D_colors%2C%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.2)%0A%20%20%20%20_axes%5B1%5D.set_yscale(%22log%22)%0A%20%20%20%20_axes%5B1%5D.set_ylabel(%22grad%20%2B%20optimizer%20state%20(MiB%2C%20log)%22)%0A%20%20%20%20_axes%5B1%5D.set_title(f%22LoRA%20is%20%7Bshrink%3A.0f%7Dx%20smaller%22)%0A%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(_mem)%3A%0A%20%20%20%20%20%20%20%20_axes%5B1%5D.text(_i%2C%20_v%20*%201.5%2C%20f%22%7B_v%3A%2C.1f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_axes%5B1%5D.set_ylim(top%3Dmax(_mem)%20*%2012)%0A%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20STATE_BYTES%2C%20d_dim%2C%20full_params%2C%20lora_trainable%2C%20r_rank%2C%20shrink%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(STATE_BYTES%2C%20d_dim%2C%20full_params%2C%20lora_trainable%2C%20mo%2C%20r_rank%2C%20shrink)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20**d%20%3D%20%7Bd_dim%7D%E3%80%81r%20%3D%20%7Br_rank%7D**%20%E6%99%82%EF%BC%8C%E4%B8%80%E5%B1%A4%E7%9A%84%E5%B8%B3%E6%98%AF%E9%80%99%E6%A8%A3%EF%BC%9A%0A%0A%20%20%20%20-%20%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF%E8%A6%81%E6%9B%B4%E6%96%B0%20**%7Bfull_params%3A%2C%7D**%20%E5%80%8B%E5%8F%83%E6%95%B8%EF%BC%8C%E8%A8%93%E7%B7%B4%E6%99%82%E5%85%89%E6%98%AF%E6%A2%AF%E5%BA%A6%E8%88%87%E5%84%AA%E5%8C%96%E5%99%A8%E7%8B%80%E6%85%8B%E5%B0%B1%E8%A6%81%0A%20%20%20%20%20%20**%7Bfull_params%20*%20STATE_BYTES%20%2F%202**20%3A%2C.0f%7D%20MiB**%E2%80%94%E2%80%94%E8%80%8C%E9%80%99%E5%8F%AA%E6%98%AF**%E4%B8%80%E5%B1%A4%E7%9A%84%E4%B8%80%E5%80%8B%E7%9F%A9%E9%99%A3**%E3%80%82%0A%20%20%20%20-%20LoRA%20%E5%8F%AA%E8%A8%93%E7%B7%B4%20**%7Blora_trainable%3A%2C%7D**%20%E5%80%8B%EF%BC%88B%20%E5%8A%A0%20A%EF%BC%89%EF%BC%8C%E5%B0%8D%E6%87%89%0A%20%20%20%20%20%20**%7Blora_trainable%20*%20STATE_BYTES%20%2F%202**20%3A%2C.1f%7D%20MiB**%E3%80%82%0A%20%20%20%20-%20%E7%B8%AE%E5%B0%8F%20**%7Bshrink%3A.0f%7D%20%E5%80%8D**%E3%80%82r%20%E6%B8%9B%E5%8D%8A%E3%80%81%E5%80%8D%E6%95%B8%E5%B0%B1%E5%8A%A0%E5%80%8D%E2%80%94%E2%80%94%E9%80%99%E6%A2%9D%E7%B7%9A%E6%80%A7%E9%97%9C%E4%BF%82%E6%98%AF%E4%BD%A0%E8%AA%BF%20%60r%60%20%E6%99%82%E6%9C%80%E7%9B%B4%E6%8E%A5%E7%9A%84%E6%88%90%E6%9C%AC%E6%84%9F%E3%80%82%0A%0A%20%20%20%20W%20%E5%87%8D%E7%B5%90%E4%B8%8D%E5%8B%95%EF%BC%8C%E6%89%80%E4%BB%A5%E5%AE%83%E5%AE%8C%E5%85%A8%E4%B8%8D%E4%BD%94%E8%A8%93%E7%B7%B4%E8%A8%98%E6%86%B6%E9%AB%94%E9%82%A3%E4%B8%80%E4%BB%BD%E5%B8%B3%EF%BC%9B%E5%AD%98%E4%B8%8B%E4%BE%86%E7%9A%84%20adapter%20%E4%B9%9F%E5%8F%AA%E6%9C%89%20B%20%E8%88%87%20A%EF%BC%8C%0A%20%20%20%20%E5%B9%BE%20MB%20%E7%9A%84%E6%AA%94%E6%A1%88%E5%B0%B1%E8%83%BD%E5%AF%84%E7%B5%A6%E5%90%8C%E4%BA%8B%E2%80%94%E2%80%94%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8C%E4%BE%BF%E5%88%A9%E8%B2%BC%E3%80%8D%E7%9A%84%E5%AF%A6%E9%9A%9B%E9%87%8D%E9%87%8F%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E5%8A%9B%E9%81%93%E6%8B%89%E6%A1%BF%EF%BC%9AW%E2%80%B2%20%3D%20W%20%2B%20(%CE%B1%20%2F%20r)%20%C2%B7%20B%20%C2%B7%20A%0A%0A%20%20%20%20%CE%94W%20%E4%B8%8D%E6%98%AF%E3%80%8C%E8%A3%B8%E5%8A%A0%E3%80%8D%E5%9B%9E%E5%8E%BB%E7%9A%84%EF%BC%8C%E5%89%8D%E9%9D%A2%E6%9C%89%E4%B8%80%E5%80%8B%20**%CE%B1%20%2F%20r**%20%E7%9A%84%E7%B8%AE%E6%94%BE%E4%BF%82%E6%95%B8%E3%80%82%E5%85%A9%E6%A0%B9%E6%8B%89%E6%A1%BF%E4%B8%80%E8%B5%B7%E7%8E%A9%EF%BC%9A%0A%0A%20%20%20%20-%20**%CE%B1%20%E8%B6%8A%E5%A4%A7%20%E2%86%92%20%E8%B6%8A%E5%BC%B7**%EF%BC%88%E4%BF%82%E6%95%B8%E7%9A%84%E5%88%86%E5%AD%90%EF%BC%89%0A%20%20%20%20-%20**r%20%E8%B6%8A%E5%B0%8F%20%E2%86%92%20%E8%B6%8A%E5%BC%B7**%EF%BC%88%E4%BF%82%E6%95%B8%E7%9A%84%E5%88%86%E6%AF%8D%EF%BC%89%0A%0A%20%20%20%20%E5%B7%A6%E5%9C%96%E6%98%AF%E4%B8%8D%E5%90%8C%20%CE%B1%20%E4%B9%8B%E4%B8%8B%E3%80%81%E5%8A%9B%E9%81%93%E9%9A%A8%20r%20%E7%9A%84%E8%AE%8A%E5%8C%96%E6%9B%B2%E7%B7%9A%EF%BC%8C%E7%A9%BA%E5%BF%83%E5%9C%88%E6%98%AF%E4%BD%A0%E7%8F%BE%E5%9C%A8%E9%81%B8%E7%9A%84%E7%B5%84%E5%90%88%EF%BC%9B%E5%8F%B3%E5%9C%96%E6%8A%8A%E5%B9%BE%E5%80%8B%E5%B8%B8%E8%A6%8B%E8%A8%AD%E5%AE%9A%E4%B8%A6%E6%8E%92%E6%AF%94%E8%BC%83%E3%80%82%0A%20%20%20%20%E6%B3%A8%E6%84%8F%E6%9B%B2%E7%B7%9A%E4%B8%8D%E6%98%AF%E7%9B%B4%E7%9B%B4%E5%BE%80%E4%B8%8B%E6%8E%89%EF%BC%9A%E4%BF%82%E6%95%B8%E6%98%AF%20%CE%B1%2Fr%EF%BC%8C%E4%BD%86%20B%C2%B7A%20%E6%9C%AC%E8%BA%AB%E6%98%AF%20r%20%E5%80%8B%E5%B0%8F%E7%9F%A9%E9%99%A3%E7%96%8A%E8%B5%B7%E4%BE%86%E7%9A%84%EF%BC%8Cr%20%E8%B6%8A%E5%A4%A7%E5%AE%83%E8%87%AA%E5%B7%B1%E8%B6%8A%E5%A4%A7%E2%80%94%E2%80%94%0A%20%20%20%20%E5%85%A9%E9%82%8A%E6%8A%B5%E9%8A%B7%E4%B9%8B%E5%BE%8C%EF%BC%8C%E5%AF%A6%E9%9A%9B%E5%8A%9B%E9%81%93%E5%A4%A7%E7%B4%84%E9%9A%A8%20**%CE%B1%20%2F%20%E2%88%9Ar**%20%E8%AE%8A%E5%8C%96%E3%80%82%E9%80%99%E6%AD%A3%E6%98%AF%E3%80%8Crank%20%E6%94%B9%E8%AE%8A%E6%99%82%E5%B9%85%E5%BA%A6%E8%87%AA%E5%8B%95%E8%AA%BF%E3%80%81%E4%B8%8D%E6%9C%83%E5%8F%83%E6%95%B8%E5%A4%9A%E5%B0%B1%E6%9B%B4%E6%96%B0%E7%8C%9B%E3%80%8D%E7%9A%84%E6%84%8F%E6%80%9D%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20alpha_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D64%2C%20step%3D1%2C%20value%3D16%2C%0A%20%20%20%20%20%20%20%20label%3D%22lora_alpha%20%CE%B1%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20rank2_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D64%2C%20step%3D1%2C%20value%3D16%2C%0A%20%20%20%20%20%20%20%20label%3D%22rank%20r%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Balpha_slider%2C%20rank2_slider%5D)%0A%20%20%20%20return%20alpha_slider%2C%20rank2_slider%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20TOY_DIM%20%3D%20256%20%20%23%20%E7%8E%A9%E5%85%B7%E5%B0%BA%E5%AF%B8%EF%BC%9A%E7%9C%9F%E5%AF%A6%20d%3D4096%20%E7%9A%84%E7%9F%A9%E9%99%A3%E5%9C%A8%E7%80%8F%E8%A6%BD%E5%99%A8%E8%A3%A1%E5%A4%AA%E8%82%A5%EF%BC%8C%E8%A1%8C%E7%82%BA%E4%B8%80%E6%A8%A3%0A%0A%20%20%20%20def%20delta_w(alpha%2C%20rank%2C%20dim%3DTOY_DIM%2C%20seed%3D0)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E5%9B%9E%E5%82%B3%20(%CE%B1%2Fr)%C2%B7B%C2%B7A%20%E2%80%94%E2%80%94%20%E4%B8%80%E6%AC%A1%E9%9A%A8%E6%A9%9F%E5%88%9D%E5%A7%8B%E5%8C%96%E4%B9%8B%E5%BE%8C%E7%9A%84%E6%9B%B4%E6%96%B0%E9%87%8F%EF%BC%88%E5%9B%BA%E5%AE%9A%20seed%20%E6%89%8D%E8%83%BD%E5%85%AC%E5%B9%B3%E6%AF%94%E8%BC%83%EF%BC%89%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20_g%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20_B%20%3D%20_g.normal(0%2C%200.02%2C%20(dim%2C%20rank))%0A%20%20%20%20%20%20%20%20_A%20%3D%20_g.normal(0%2C%200.02%2C%20(rank%2C%20dim))%0A%20%20%20%20%20%20%20%20return%20(alpha%20%2F%20rank)%20*%20(_B%20%40%20_A)%0A%0A%20%20%20%20def%20strength(alpha%2C%20rank)%3A%0A%20%20%20%20%20%20%20%20return%20float(np.linalg.norm(delta_w(alpha%2C%20rank)))%0A%0A%20%20%20%20return%20(strength%2C)%0A%0A%0A%40app.cell%0Adef%20_(C_BAD%2C%20C_LORA%2C%20C_W%2C%20alpha_slider%2C%20plt%2C%20rank2_slider%2C%20strength)%3A%0A%20%20%20%20a_now%20%3D%20alpha_slider.value%0A%20%20%20%20r_now%20%3D%20rank2_slider.value%0A%20%20%20%20base_strength%20%3D%20strength(16%2C%2016)%20%20%20%23%20%E5%9F%BA%E6%BA%96%EF%BC%9A%CE%B1%3D16%2C%20r%3D16%0A%20%20%20%20now_strength%20%3D%20strength(a_now%2C%20r_now)%0A%0A%20%20%20%20_ranks%20%3D%20%5B1%2C%202%2C%204%2C%208%2C%2016%2C%2032%2C%2064%5D%0A%20%20%20%20_fig2%2C%20_ax2%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(8.2%2C%203.5))%0A%0A%20%20%20%20for%20_alpha%2C%20_c%2C%20_ls%20in%20%5B(8%2C%20C_W%2C%20%22%3A%22)%2C%20(16%2C%20C_LORA%2C%20%22-%22)%2C%20(32%2C%20C_BAD%2C%20%22--%22)%5D%3A%0A%20%20%20%20%20%20%20%20_ax2%5B0%5D.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20_ranks%2C%20%5Bstrength(_alpha%2C%20_r)%20for%20_r%20in%20_ranks%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3D%22o%22%2C%20markersize%3D4%2C%20color%3D_c%2C%20linestyle%3D_ls%2C%20label%3Df%22alpha%3D%7B_alpha%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax2%5B0%5D.scatter(%5Br_now%5D%2C%20%5Bnow_strength%5D%2C%20s%3D140%2C%20facecolor%3D%22none%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D2%2C%20zorder%3D5%2C%20label%3D%22your%20setting%22)%0A%20%20%20%20_ax2%5B0%5D.set_xscale(%22log%22%2C%20base%3D2)%0A%20%20%20%20_ax2%5B0%5D.set_xticks(_ranks)%0A%20%20%20%20_ax2%5B0%5D.set_xticklabels(%5Bstr(_r)%20for%20_r%20in%20_ranks%5D)%0A%20%20%20%20_ax2%5B0%5D.set_xlabel(%22rank%20r%22)%0A%20%20%20%20_ax2%5B0%5D.set_ylabel(%22%7C%7Cdelta%20W%7C%7C%22)%0A%20%20%20%20_ax2%5B0%5D.set_title(%22Update%20strength%20~%20alpha%20%2F%20sqrt(r)%22)%0A%20%20%20%20_ax2%5B0%5D.legend(fontsize%3D8)%0A%20%20%20%20_ax2%5B0%5D.grid(alpha%3D0.25)%0A%0A%20%20%20%20_labels%20%3D%20%5B%22a%3D16%5Cnr%3D16%22%2C%20f%22a%3D%7Ba_now%7D%5Cnr%3D%7Br_now%7D%22%2C%20%22a%3D32%5Cnr%3D16%22%2C%20%22a%3D16%5Cnr%3D4%22%5D%0A%20%20%20%20_vals2%20%3D%20%5Bbase_strength%2C%20now_strength%2C%20strength(32%2C%2016)%2C%20strength(16%2C%204)%5D%0A%20%20%20%20_bars%20%3D%20_ax2%5B1%5D.bar(_labels%2C%20_vals2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5BC_W%2C%20%22%231C2B33%22%2C%20C_BAD%2C%20C_LORA%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.2)%0A%20%20%20%20_ax2%5B1%5D.axhline(base_strength%2C%20color%3DC_W%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.5)%0A%20%20%20%20_ax2%5B1%5D.set_ylabel(%22%7C%7Cdelta%20W%7C%7C%22)%0A%20%20%20%20_ax2%5B1%5D.set_title(%22vs%20baseline%20(alpha%3D16%2C%20r%3D16)%22)%0A%20%20%20%20for%20_b%2C%20_v%20in%20zip(_bars%2C%20_vals2)%3A%0A%20%20%20%20%20%20%20%20_ax2%5B1%5D.text(_b.get_x()%20%2B%20_b.get_width()%20%2F%202%2C%20_v%20*%201.02%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_v%20%2F%20base_strength%3A.2f%7Dx%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax2%5B1%5D.set_ylim(top%3Dmax(_vals2)%20*%201.22)%0A%0A%20%20%20%20_fig2.tight_layout()%0A%20%20%20%20_fig2%0A%20%20%20%20return%20a_now%2C%20base_strength%2C%20now_strength%2C%20r_now%0A%0A%0A%40app.cell%0Adef%20_(a_now%2C%20base_strength%2C%20mo%2C%20now_strength%2C%20np%2C%20r_now)%3A%0A%20%20%20%20%23%20B%20%E5%88%9D%E5%A7%8B%E5%8C%96%E7%82%BA%E9%9B%B6%EF%BC%9A%E6%8E%9B%E4%B8%8A%20adapter%20%E7%9A%84%E9%82%A3%E4%B8%80%E5%88%BB%EF%BC%8C%CE%94W%20%E9%80%90%E6%A0%BC%E9%83%BD%E6%98%AF%200%EF%BC%88%E4%B8%8B%E9%9D%A2%E7%9B%B4%E6%8E%A5%E9%A9%97%E7%B5%A6%E4%BD%A0%E7%9C%8B%EF%BC%89%0A%20%20%20%20_B0%20%3D%20np.zeros((256%2C%20r_now))%0A%20%20%20%20_A0%20%3D%20np.random.default_rng(1).normal(0%2C%200.02%2C%20(r_now%2C%20256))%0A%20%20%20%20_max_at_step0%20%3D%20float(np.abs((a_now%20%2F%20r_now)%20*%20(_B0%20%40%20_A0)).max())%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E4%BD%A0%E9%81%B8%E7%9A%84%E6%98%AF%20**%CE%B1%20%3D%20%7Ba_now%7D%E3%80%81r%20%3D%20%7Br_now%7D**%20%E2%86%92%20%E7%B8%AE%E6%94%BE%E4%BF%82%E6%95%B8%20%CE%B1%2Fr%20%3D%20**%7Ba_now%20%2F%20r_now%3A.3f%7D**%EF%BC%8C%0A%20%20%20%20%E5%8A%9B%E9%81%93%20%E2%80%96%CE%94W%E2%80%96%20%3D%20**%7Bnow_strength%3A.4f%7D**%EF%BC%8C%E6%98%AF%E5%9F%BA%E6%BA%96%EF%BC%88%CE%B1%3D16%2C%20r%3D16%2C%20%E2%80%96%CE%94W%E2%80%96%3D%7Bbase_strength%3A.4f%7D%EF%BC%89%E7%9A%84%0A%20%20%20%20**%7Bnow_strength%20%2F%20base_strength%3A.2f%7D%20%E5%80%8D**%E3%80%82%0A%0A%20%20%20%20%E5%86%8D%E7%9C%8B%E4%B8%80%E4%BB%B6%E5%BE%88%E9%87%8D%E8%A6%81%E7%9A%84%E4%BA%8B%EF%BC%9A**B%20%E4%B8%80%E9%96%8B%E5%A7%8B%E6%98%AF%E9%9B%B6%E7%9F%A9%E9%99%A3**%E3%80%82%E6%89%80%E4%BB%A5%E6%8E%9B%E4%B8%8A%20adapter%20%E7%9A%84%E7%AC%AC%E4%B8%80%E6%AD%A5%EF%BC%8C%0A%20%20%20%20%E4%B8%8D%E7%AE%A1%20%CE%B1%20%E5%92%8C%20r%20%E8%A8%AD%E5%A4%9A%E5%B0%91%EF%BC%8C%CE%94W%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E9%83%BD%E6%98%AF%200%E2%80%94%E2%80%94%0A%20%20%20%20%E4%B8%8A%E9%9D%A2%E7%94%A8%E4%BD%A0%E7%8F%BE%E5%9C%A8%E7%9A%84%E8%A8%AD%E5%AE%9A%E5%AF%A6%E9%9A%9B%E7%AE%97%E4%BA%86%E4%B8%80%E6%AC%A1%EF%BC%8C%60max%7C%CE%94W%7C%20%3D%20%7B_max_at_step0%3A.1f%7D%60%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E4%BB%A3%E8%A1%A8%20adapter%20%E6%8E%9B%E4%B8%8A%E5%8E%BB%E7%9A%84%E7%95%B6%E4%B8%8B%EF%BC%8C%E6%A8%A1%E5%9E%8B%E8%A1%8C%E7%82%BA%E8%88%87%E5%8E%9F%E6%9C%AC**%E5%AE%8C%E5%85%A8%E4%B8%80%E8%87%B4**%EF%BC%8C%E4%B9%8B%E5%BE%8C%E6%89%8D%E5%BE%9E%200%20%E6%85%A2%E6%85%A2%E9%95%B7%E5%87%BA%E4%BE%86%E3%80%82%0A%20%20%20%20%E4%B9%9F%E5%9B%A0%E7%82%BA%E6%9B%B4%E6%96%B0%E9%87%8F%E5%BE%9E%E9%9B%B6%E9%96%8B%E5%A7%8B%E3%80%81%E5%8F%88%E8%A2%AB%20%CE%B1%2Fr%20%E5%A3%93%E8%91%97%EF%BC%8CLoRA%20**%E4%B8%8D%E9%9C%80%E8%A6%81%E9%A1%8D%E5%A4%96%E7%9A%84%E6%AD%A3%E8%A6%8F%E5%8C%96%E5%B1%A4**%E2%80%94%E2%80%94%0A%20%20%20%20W%20%E5%B7%B2%E7%B6%93%E5%B8%B6%E8%91%97%E9%A0%90%E8%A8%93%E7%B7%B4%E6%99%82%E7%9A%84%E6%AD%A3%E8%A6%8F%E5%8C%96%EF%BC%8C%CE%B1%2Fr%20%E5%B0%B1%E8%B6%B3%E4%BB%A5%E6%8E%A7%E5%88%B6%E5%8A%9B%E9%81%93%E3%80%82%0A%0A%20%20%20%20%3E%20%E6%80%95%E6%8A%8A%E6%A8%A1%E5%9E%8B%E7%B7%B4%E5%A3%9E%EF%BC%9F**%CE%B1%20%E5%B0%8F%E3%80%81r%20%E5%A4%A7**%EF%BC%8C%E6%9B%B4%E6%96%B0%E6%9C%80%E6%BA%AB%E5%92%8C%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E7%82%BA%E4%BB%80%E9%BA%BC%E5%8F%AF%E4%BB%A5%E5%81%87%E8%A8%AD%20%CE%94W%20%E6%98%AF%E4%BD%8E%E7%A7%A9%E7%9A%84%0A%0A%20%20%20%20LoRA%20%E7%9A%84%E6%95%B4%E5%80%8B%E8%B3%AD%E6%B3%A8%E5%8F%AA%E6%9C%89%E4%B8%80%E5%8F%A5%E8%A9%B1%EF%BC%9A**%E5%BE%AE%E8%AA%BF%E5%B8%B6%E4%BE%86%E7%9A%84%E6%9B%B4%E6%96%B0%E9%87%8F%20%CE%94W%20%E6%98%AF%E4%BD%8E%E7%A7%A9%E7%9A%84**%E2%80%94%E2%80%94%0A%20%20%20%20%E5%AE%83%E5%8F%AA%E5%BE%80%E5%B0%91%E6%95%B8%E5%B9%BE%E5%80%8B%E6%96%B9%E5%90%91%E5%8B%95%EF%BC%8C%E6%89%80%E4%BB%A5%E7%94%A8%20%60B%C3%97A%60%20%E9%80%99%E7%A8%AE%E3%80%8Cr%20%E5%80%8B%E6%96%B9%E5%90%91%E3%80%8D%E7%9A%84%E5%BD%A2%E7%8B%80%E5%B0%B1%E6%8F%8F%E8%BF%B0%E5%BE%97%E5%AE%8C%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%8B%BF%E5%85%A9%E5%80%8B%2064%C3%9764%20%E7%9A%84%E7%9F%A9%E9%99%A3%E5%B0%8D%E7%85%A7%EF%BC%9A%E4%B8%80%E5%80%8B%E6%98%AF**%E6%9C%89%E7%B5%90%E6%A7%8B%E7%9A%84%E6%9B%B4%E6%96%B0**%EF%BC%88%E5%B0%91%E6%95%B8%E5%B9%BE%E5%80%8B%E6%96%B9%E5%90%91%E7%96%8A%E8%B5%B7%E4%BE%86%EF%BC%8C%0A%20%20%20%20%E5%8A%A0%E4%B8%8A%E4%B8%80%E9%BB%9E%E9%9B%9C%E8%A8%8A%E2%80%94%E2%80%94%E9%80%99%E6%98%AF%E6%95%99%E5%AD%B8%E7%94%A8%E7%9A%84%E5%90%88%E6%88%90%E7%9F%A9%E9%99%A3%EF%BC%8C%E7%9C%9F%E5%AF%A6%E6%A8%A1%E5%9E%8B%E7%9A%84%20%CE%94W%20%E6%B2%92%E8%BE%A6%E6%B3%95%E5%9C%A8%E7%80%8F%E8%A6%BD%E5%99%A8%E8%A3%A1%E7%AE%97%EF%BC%8C%E4%BD%86%E5%91%B3%E9%81%93%E5%B0%B1%E6%98%AF%E9%80%99%E6%A8%A3%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E5%8F%A6%E4%B8%80%E5%80%8B%E6%98%AF**%E7%B4%94%E4%BA%82%E6%95%B8%E7%9F%A9%E9%99%A3**%E3%80%82%E5%B7%A6%E5%9C%96%E6%98%AF%E5%AE%83%E5%80%91%E7%9A%84%E5%A5%87%E7%95%B0%E5%80%BC%EF%BC%88%E6%AF%8F%E5%80%8B%E6%96%B9%E5%90%91%E6%9C%89%E5%A4%9A%E9%87%8D%E8%A6%81%EF%BC%89%EF%BC%8C%E5%8F%B3%E5%9C%96%E6%98%AF%E3%80%8C%E5%8F%AA%E7%95%99%E5%89%8D%20r%20%E5%80%8B%E6%96%B9%E5%90%91%E3%80%8D%E7%9A%84%E9%82%84%E5%8E%9F%E8%AA%A4%E5%B7%AE%E3%80%82%0A%0A%20%20%20%20%E6%8B%89%E5%8B%95%E4%B8%8B%E9%9D%A2%E7%9A%84%E6%8B%89%E6%A1%BF%EF%BC%8C%E7%9C%8B%E4%BD%A0%E9%9C%80%E8%A6%81%E5%B9%BE%E5%80%8B%E6%96%B9%E5%90%91%E6%89%8D%E5%A4%A0%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20%E5%85%A9%E5%80%8B%E5%B0%8D%E7%85%A7%E7%9F%A9%E9%99%A3%EF%BC%88%E5%9B%BA%E5%AE%9A%20seed%EF%BC%8C%E9%87%8D%E8%B7%91%E7%B5%90%E6%9E%9C%E4%B8%80%E6%A8%A3%EF%BC%89%0A%20%20%20%20_g3%20%3D%20np.random.default_rng(7)%0A%20%20%20%20_t%20%3D%20np.linspace(0%2C%201%2C%2064)%0A%20%20%20%20_u%20%3D%20%5Bnp.sin(np.pi%20*%20_t)%2C%20np.cos(2%20*%20np.pi%20*%20_t)%2C%20np.sin(3%20*%20np.pi%20*%20_t)%2C%20_t%20-%200.5%5D%0A%20%20%20%20_v%20%3D%20%5Bnp.cos(np.pi%20*%20_t)%2C%20np.sin(2%20*%20np.pi%20*%20_t)%2C%20_t**2%20-%200.3%2C%20np.cos(4%20*%20np.pi%20*%20_t)%5D%0A%20%20%20%20_w%20%3D%20%5B1.0%2C%200.55%2C%200.3%2C%200.15%5D%0A%0A%20%20%20%20M_task%20%3D%20sum(_wi%20*%20np.outer(_ui%2C%20_vi)%20for%20_wi%2C%20_ui%2C%20_vi%20in%20zip(_w%2C%20_u%2C%20_v))%0A%20%20%20%20M_task%20%3D%20M_task%20%2F%20np.linalg.norm(M_task)%0A%20%20%20%20M_task%20%3D%20M_task%20%2B%20(0.05%20%2F%2064)%20*%20_g3.normal(size%3D(64%2C%2064))%20%20%23%20%E7%B4%84%205%25%20%E7%9B%B8%E5%B0%8D%E9%9B%9C%E8%A8%8A%0A%0A%20%20%20%20M_rand%20%3D%20_g3.normal(size%3D(64%2C%2064))%0A%20%20%20%20M_rand%20%3D%20M_rand%20%2F%20np.linalg.norm(M_rand)%0A%0A%20%20%20%20S_task%20%3D%20np.linalg.svd(M_task%2C%20compute_uv%3DFalse)%0A%20%20%20%20S_rand%20%3D%20np.linalg.svd(M_rand%2C%20compute_uv%3DFalse)%0A%0A%20%20%20%20def%20rank_error(M%2C%20rank)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E5%8F%AA%E7%95%99%E5%89%8D%20rank%20%E5%80%8B%E5%A5%87%E7%95%B0%E6%96%B9%E5%90%91%E9%87%8D%E5%BB%BA%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%9B%B8%E5%B0%8D%E8%AA%A4%E5%B7%AE%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20_U%2C%20_S%2C%20_Vt%20%3D%20np.linalg.svd(M)%0A%20%20%20%20%20%20%20%20_Mr%20%3D%20(_U%5B%3A%2C%20%3Arank%5D%20*%20_S%5B%3Arank%5D)%20%40%20_Vt%5B%3Arank%5D%0A%20%20%20%20%20%20%20%20return%20float(np.linalg.norm(M%20-%20_Mr)%20%2F%20np.linalg.norm(M))%0A%0A%20%20%20%20return%20M_rand%2C%20M_task%2C%20S_rand%2C%20S_task%2C%20rank_error%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20svd_rank%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D32%2C%20step%3D1%2C%20value%3D4%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E5%8F%AA%E7%95%99%E5%89%8D%20r%20%E5%80%8B%E6%96%B9%E5%90%91%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20svd_rank%0A%20%20%20%20return%20(svd_rank%2C)%0A%0A%0A%40app.cell%0Adef%20_(C_LORA%2C%20C_W%2C%20M_rand%2C%20M_task%2C%20S_rand%2C%20S_task%2C%20plt%2C%20rank_error%2C%20svd_rank)%3A%0A%20%20%20%20r_svd%20%3D%20svd_rank.value%0A%20%20%20%20err_task%20%3D%20rank_error(M_task%2C%20r_svd)%0A%20%20%20%20err_rand%20%3D%20rank_error(M_rand%2C%20r_svd)%0A%0A%20%20%20%20_fig3%2C%20_ax3%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(8.2%2C%203.5))%0A%20%20%20%20_ax3%5B0%5D.plot(range(1%2C%2033)%2C%20S_task%5B%3A32%5D%20%2F%20S_task%5B0%5D%2C%20marker%3D%22o%22%2C%20markersize%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DC_LORA%2C%20label%3D%22structured%20update%22)%0A%20%20%20%20_ax3%5B0%5D.plot(range(1%2C%2033)%2C%20S_rand%5B%3A32%5D%20%2F%20S_rand%5B0%5D%2C%20marker%3D%22s%22%2C%20markersize%3D3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DC_W%2C%20label%3D%22random%20matrix%22)%0A%20%20%20%20_ax3%5B0%5D.set_yscale(%22log%22)%0A%20%20%20%20_ax3%5B0%5D.set_xlabel(%22singular%20value%20index%22)%0A%20%20%20%20_ax3%5B0%5D.set_ylabel(%22relative%20magnitude%20(log)%22)%0A%20%20%20%20_ax3%5B0%5D.set_title(%22How%20fast%20the%20directions%20die%20out%22)%0A%20%20%20%20_ax3%5B0%5D.legend(fontsize%3D8)%0A%20%20%20%20_ax3%5B0%5D.grid(alpha%3D0.25)%0A%0A%20%20%20%20_rs%20%3D%20list(range(1%2C%2033))%0A%20%20%20%20_ax3%5B1%5D.plot(_rs%2C%20%5Brank_error(M_task%2C%20_r)%20for%20_r%20in%20_rs%5D%2C%20color%3DC_LORA%2C%20label%3D%22structured%20update%22)%0A%20%20%20%20_ax3%5B1%5D.plot(_rs%2C%20%5Brank_error(M_rand%2C%20_r)%20for%20_r%20in%20_rs%5D%2C%20color%3DC_W%2C%20label%3D%22random%20matrix%22)%0A%20%20%20%20_ax3%5B1%5D.axvline(r_svd%2C%20color%3D%22%231C2B33%22%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.5)%0A%20%20%20%20_ax3%5B1%5D.scatter(%5Br_svd%2C%20r_svd%5D%2C%20%5Berr_task%2C%20err_rand%5D%2C%20s%3D60%2C%20zorder%3D5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5B%22%231C2B33%22%2C%20%22%231C2B33%22%5D)%0A%20%20%20%20_ax3%5B1%5D.set_xlabel(%22rank%20r%20kept%22)%0A%20%20%20%20_ax3%5B1%5D.set_ylabel(%22relative%20reconstruction%20error%22)%0A%20%20%20%20_ax3%5B1%5D.set_title(f%22r%3D%7Br_svd%7D%3A%20%7Berr_task%3A.1%25%7D%20vs%20%7Berr_rand%3A.1%25%7D%22)%0A%20%20%20%20_ax3%5B1%5D.legend(fontsize%3D8)%0A%20%20%20%20_ax3%5B1%5D.grid(alpha%3D0.25)%0A%0A%20%20%20%20_fig3.tight_layout()%0A%20%20%20%20_fig3%0A%20%20%20%20return%20err_rand%2C%20err_task%2C%20r_svd%0A%0A%0A%40app.cell%0Adef%20_(S_task%2C%20err_rand%2C%20err_task%2C%20mo%2C%20np%2C%20r_svd)%3A%0A%20%20%20%20_energy4%20%3D%20float((S_task%5B%3A4%5D%20**%202).sum()%20%2F%20(S_task**2).sum())%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E5%8F%AA%E7%95%99%E5%89%8D%20**%7Br_svd%7D**%20%E5%80%8B%E6%96%B9%E5%90%91%E6%99%82%EF%BC%9A%E6%9C%89%E7%B5%90%E6%A7%8B%E7%9A%84%E6%9B%B4%E6%96%B0%E8%AA%A4%E5%B7%AE%E5%8F%AA%E6%9C%89%20**%7Berr_task%3A.1%25%7D**%EF%BC%8C%0A%20%20%20%20%E7%B4%94%E4%BA%82%E6%95%B8%E7%9F%A9%E9%99%A3%E5%8D%BB%E9%82%84%E6%9C%89%20**%7Berr_rand%3A.1%25%7D**%E3%80%82%0A%0A%20%20%20%20%E5%B7%AE%E5%88%A5%E5%9C%A8%E5%B7%A6%E5%9C%96%EF%BC%9A%E6%9C%89%E7%B5%90%E6%A7%8B%E7%9A%84%E7%9F%A9%E9%99%A3%EF%BC%8C%E5%A5%87%E7%95%B0%E5%80%BC%E5%B9%BE%E6%A0%BC%E5%B0%B1%E6%8E%89%E5%88%B0%E5%9C%B0%E6%9D%BF%0A%20%20%20%20%EF%BC%88%E5%89%8D%204%20%E5%80%8B%E6%96%B9%E5%90%91%E5%B0%B1%E5%90%83%E4%B8%8B%20**%7B_energy4%3A.1%25%7D**%20%E7%9A%84%E8%83%BD%E9%87%8F%EF%BC%8C%E5%89%8D%206%20%E5%80%8B%E6%98%AF%20%7Bnp.round(S_task%5B%3A6%5D%20%2F%20S_task%5B0%5D%2C%203).tolist()%7D%EF%BC%89%EF%BC%9B%0A%20%20%20%20%E4%BA%82%E6%95%B8%E7%9F%A9%E9%99%A3%E7%9A%84%E5%A5%87%E7%95%B0%E5%80%BC%E5%B9%BE%E4%B9%8E%E4%B8%80%E6%A8%A3%E9%AB%98%EF%BC%8C%E4%BD%A0%E7%95%99%E5%A4%9A%E5%B0%91%E5%80%8B%E6%96%B9%E5%90%91%E9%83%BD%E9%82%84%E5%8E%9F%E4%B8%8D%E4%BA%86%E5%AE%83%E3%80%82%0A%0A%20%20%20%20**LoRA%20%E8%B3%AD%E7%9A%84%E5%B0%B1%E6%98%AF%E3%80%8C%E5%BE%AE%E8%AA%BF%E7%9A%84%E6%9B%B4%E6%96%B0%E6%AF%94%E8%BC%83%E5%83%8F%E5%B7%A6%E9%82%8A%E9%82%A3%E6%A2%9D%E7%B7%9A%E3%80%8D**%E2%80%94%E2%80%94%E5%AF%A6%E5%8B%99%E4%B8%8A%E9%80%99%E5%80%8B%E8%B3%AD%E6%B3%A8%E5%A4%9A%E5%8D%8A%E6%88%90%E7%AB%8B%EF%BC%8C%0A%20%20%20%20%E6%89%80%E4%BB%A5%20r%20%E7%94%A8%20**8%20%E6%88%96%2016**%20%E5%B0%B1%E5%A4%A0%E7%94%A8%EF%BC%8C%E4%B8%8D%E5%BF%85%E7%B5%A6%E5%88%B0%E5%B9%BE%E7%99%BE%E3%80%82%E5%8F%8D%E9%81%8E%E4%BE%86%E8%AA%AA%EF%BC%8C%E5%A6%82%E6%9E%9C%E4%BD%A0%E7%9A%84%E4%BB%BB%E5%8B%99%E7%9C%9F%E7%9A%84%E8%A6%81%E6%A8%A1%E5%9E%8B%0A%20%20%20%20%E5%A4%A7%E6%94%B9%EF%BC%88%E5%AD%B8%E4%B8%80%E6%95%B4%E5%80%8B%E6%96%B0%E9%A0%98%E5%9F%9F%EF%BC%89%EF%BC%8C%E9%82%A3%E5%B0%B1%E6%98%AF%E9%80%99%E5%80%8B%E5%81%87%E8%A8%AD%E9%96%8B%E5%A7%8B%E5%90%83%E7%B7%8A%E7%9A%84%E6%99%82%E5%80%99%EF%BC%8Cr%20%E8%A6%81%E5%BE%80%E4%B8%8A%E5%8A%A0%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20target_modules%EF%BC%9A%E4%BE%BF%E5%88%A9%E8%B2%BC%E8%A6%81%E8%B2%BC%E5%9C%A8%E5%93%AA%E5%B9%BE%E9%A0%81%0A%0A%20%20%20%20%E4%B8%80%E5%80%8B%20Transformer%20layer%20%E8%A3%A1%E4%B8%8D%E5%8F%AA%E4%B8%80%E5%80%8B%E7%B7%9A%E6%80%A7%E5%B1%A4%E3%80%82%60target_modules%60%20%E6%B1%BA%E5%AE%9A%E4%BD%A0%E5%9C%A8%E5%93%AA%E5%B9%BE%E5%80%8B%E7%9F%A9%E9%99%A3%E4%B8%8A%E6%8E%9B%20adapter%EF%BC%8C%0A%20%20%20%20%E5%8F%83%E6%95%B8%E9%87%8F%E5%B7%AE%E5%BE%88%E5%A4%9A%EF%BC%9A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20model%20%3D%20FastLanguageModel.get_peft_model(%0A%20%20%20%20%20%20%20%20model%2C%0A%20%20%20%20%20%20%20%20r%3D16%2C%20lora_alpha%3D16%2C%20lora_dropout%3D0%2C%0A%20%20%20%20%20%20%20%20target_modules%3D%5B%22q_proj%22%2C%20%22k_proj%22%2C%20%22v_proj%22%2C%20%22o_proj%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gate_proj%22%2C%20%22up_proj%22%2C%20%22down_proj%22%5D%2C%20%20%20%23%20%E2%86%90%20%E9%80%99%E4%B8%80%E8%A1%8C%0A%20%20%20%20%20%20%20%20use_gradient_checkpointing%3D%22unsloth%22%2C%0A%20%20%20%20%20%20%20%20random_state%3D3407%2C%0A%20%20%20%20)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E7%94%A8%20%60d%3D4096%60%E3%80%81MLP%20%E4%B8%AD%E9%96%93%E5%B1%A4%20%604d%60%E3%80%8132%20%E5%B1%A4%E4%BE%86%E7%AE%97%E4%B8%89%E7%A8%AE%E5%B8%B8%E8%A6%8B%E9%81%B8%E6%B3%95%E3%80%82%0A%20%20%20%20%E6%B3%A8%E6%84%8F%20%60gate_proj%60%EF%BC%8F%60up_proj%60%20%E6%98%AF%20%60d%20%E2%86%92%204d%60%20%E7%9A%84%E5%A4%A7%E7%9F%A9%E9%99%A3%E3%80%81%60down_proj%60%20%E6%98%AF%20%604d%20%E2%86%92%20d%60%E2%80%94%E2%80%94%0A%20%20%20%20%E9%80%99%E4%B8%89%E5%80%8B%E4%B8%80%E6%8E%9B%E4%B8%8A%E5%8E%BB%EF%BC%8C%E5%8F%83%E6%95%B8%E9%87%8F%E5%B0%B1%E6%9C%83%E8%B7%B3%E4%B8%80%E9%9A%8E%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20tm_rank%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D128%2C%20step%3D1%2C%20value%3D16%2C%0A%20%20%20%20%20%20%20%20label%3D%22rank%20r%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20tm_rank%0A%20%20%20%20return%20(tm_rank%2C)%0A%0A%0A%40app.cell%0Adef%20_(C_GOOD%2C%20C_LORA%2C%20C_W%2C%20plt%2C%20tm_rank)%3A%0A%20%20%20%20TM_D%20%3D%204096%0A%20%20%20%20TM_FF%20%3D%204%20*%20TM_D%0A%20%20%20%20TM_LAYERS%20%3D%2032%0A%20%20%20%20r_tm%20%3D%20tm_rank.value%0A%0A%20%20%20%20MODULES%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22q_proj%22%3A%20(TM_D%2C%20TM_D)%2C%20%22k_proj%22%3A%20(TM_D%2C%20TM_D)%2C%0A%20%20%20%20%20%20%20%20%22v_proj%22%3A%20(TM_D%2C%20TM_D)%2C%20%22o_proj%22%3A%20(TM_D%2C%20TM_D)%2C%0A%20%20%20%20%20%20%20%20%22gate_proj%22%3A%20(TM_FF%2C%20TM_D)%2C%20%22up_proj%22%3A%20(TM_FF%2C%20TM_D)%2C%20%22down_proj%22%3A%20(TM_D%2C%20TM_FF)%2C%0A%20%20%20%20%7D%0A%20%20%20%20PRESETS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22q%2Cv%20only%22%3A%20%5B%22q_proj%22%2C%20%22v_proj%22%5D%2C%0A%20%20%20%20%20%20%20%20%22all%20attention%22%3A%20%5B%22q_proj%22%2C%20%22k_proj%22%2C%20%22v_proj%22%2C%20%22o_proj%22%5D%2C%0A%20%20%20%20%20%20%20%20%22all-linear%22%3A%20list(MODULES)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20adapter_params(shape%2C%20rank)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E4%B8%80%E5%80%8B%20out%C3%97in%20%E7%9A%84%E7%B7%9A%E6%80%A7%E5%B1%A4%E6%8E%9B%20LoRA%20%E8%A6%81%E5%B9%BE%E5%80%8B%E5%8F%83%E6%95%B8%EF%BC%9AA(r%C3%97in)%20%2B%20B(out%C3%97r)%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20_out%2C%20_in%20%3D%20shape%0A%20%20%20%20%20%20%20%20return%20rank%20*%20_in%20%2B%20_out%20*%20rank%0A%0A%20%20%20%20dense_per_layer%20%3D%20sum(_o%20*%20_i%20for%20_o%2C%20_i%20in%20MODULES.values())%0A%20%20%20%20preset_params%20%3D%20%7B%0A%20%20%20%20%20%20%20%20_name%3A%20sum(adapter_params(MODULES%5B_m%5D%2C%20r_tm)%20for%20_m%20in%20_sel)%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_sel%20in%20PRESETS.items()%0A%20%20%20%20%7D%0A%0A%20%20%20%20_fig4%2C%20_ax4%20%3D%20plt.subplots(figsize%3D(8.2%2C%203.2))%0A%20%20%20%20_names4%20%3D%20list(preset_params)%0A%20%20%20%20_vals4%20%3D%20%5Bpreset_params%5B_n%5D%20*%20TM_LAYERS%20for%20_n%20in%20_names4%5D%0A%20%20%20%20_bars4%20%3D%20_ax4.barh(_names4%2C%20_vals4%2C%20color%3D%5BC_W%2C%20C_GOOD%2C%20C_LORA%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.2)%0A%20%20%20%20for%20_b%2C%20_n%2C%20_v%20in%20zip(_bars4%2C%20_names4%2C%20_vals4)%3A%0A%20%20%20%20%20%20%20%20_ax4.text(_v%20*%201.02%2C%20_b.get_y()%20%2B%20_b.get_height()%20%2F%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_v%3A%2C%7D%20%20(%7Bpreset_params%5B_n%5D%20%2F%20dense_per_layer%3A.2%25%7D%20of%20layer%20weights)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20va%3D%22center%22%2C%20fontsize%3D9)%0A%20%20%20%20_ax4.set_xlim(right%3Dmax(_vals4)%20*%201.75)%0A%20%20%20%20_ax4.set_xlabel(f%22trainable%20params%20over%20%7BTM_LAYERS%7D%20layers%20(r%3D%7Br_tm%7D%2C%20d%3D%7BTM_D%7D)%22)%0A%20%20%20%20_ax4.set_title(%22Where%20you%20stick%20the%20sticky%20notes%22)%0A%20%20%20%20_fig4.tight_layout()%0A%20%20%20%20_fig4%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20MODULES%2C%0A%20%20%20%20%20%20%20%20TM_LAYERS%2C%0A%20%20%20%20%20%20%20%20adapter_params%2C%0A%20%20%20%20%20%20%20%20dense_per_layer%2C%0A%20%20%20%20%20%20%20%20preset_params%2C%0A%20%20%20%20%20%20%20%20r_tm%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20MODULES%2C%0A%20%20%20%20TM_LAYERS%2C%0A%20%20%20%20adapter_params%2C%0A%20%20%20%20dense_per_layer%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20preset_params%2C%0A%20%20%20%20r_tm%2C%0A)%3A%0A%20%20%20%20_mlp%20%3D%20sum(adapter_params(MODULES%5B_m%5D%2C%20r_tm)%20for%20_m%20in%20(%22gate_proj%22%2C%20%22up_proj%22%2C%20%22down_proj%22))%0A%20%20%20%20_attn%20%3D%20sum(adapter_params(MODULES%5B_m%5D%2C%20r_tm)%20for%20_m%20in%20(%22q_proj%22%2C%20%22k_proj%22%2C%20%22v_proj%22%2C%20%22o_proj%22))%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20r%20%3D%20%7Br_tm%7D%20%E6%99%82%EF%BC%8C%E4%B8%80%E5%B1%A4%E7%9A%84%E5%B8%B3%EF%BC%88%E7%B8%BD%E6%AC%8A%E9%87%8D%20%7Bdense_per_layer%3A%2C%7D%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%20-%20%60%5B%22q_proj%22%2C%22v_proj%22%5D%60%EF%BC%9A**%7Bpreset_params%5B%22q%2Cv%20only%22%5D%3A%2C%7D**%EF%BC%8F%E5%B1%A4%0A%20%20%20%20%20%20%E2%80%94%E2%80%94%E5%8E%9F%E8%AB%96%E6%96%87%E5%81%9A%E6%B3%95%EF%BC%8C%E6%9C%80%E5%B0%91%E4%BF%AE%E6%94%B9%E3%80%81%E6%9C%80%E7%9C%81%E8%B3%87%E6%BA%90%E3%80%82%0A%20%20%20%20-%20attention%20%E5%85%A8%E6%8E%9B%EF%BC%88q%2Ck%2Cv%2Co%EF%BC%89%EF%BC%9A**%7Bpreset_params%5B%22all%20attention%22%5D%3A%2C%7D**%EF%BC%8F%E5%B1%A4%E2%80%94%E2%80%94%E6%95%88%E6%9E%9C%E5%A5%BD%E4%B8%80%E4%BA%9B%EF%BC%8C%E4%BD%86%20MLP%20%E5%AE%8C%E5%85%A8%E6%B2%92%E5%8B%95%E3%80%82%0A%20%20%20%20-%20%60%22all-linear%22%60%EF%BC%9A**%7Bpreset_params%5B%22all-linear%22%5D%3A%2C%7D**%EF%BC%8F%E5%B1%A4%0A%20%20%20%20%20%20%E2%80%94%E2%80%94%E4%B8%BB%E6%B5%81%E5%81%9A%E6%B3%95%E3%80%82%E5%85%89%E6%98%AF%20MLP%20%E9%82%A3%E4%B8%89%E5%80%8B%E6%8A%95%E5%BD%B1%E5%B0%B1%E4%BD%94%20**%7B_mlp%3A%2C%7D**%EF%BC%8C%E6%AF%94%20attention%20%E5%9B%9B%E5%80%8B%E6%8A%95%E5%BD%B1%E5%8A%A0%E8%B5%B7%E4%BE%86%EF%BC%88%7B_attn%3A%2C%7D%EF%BC%89%E9%82%84%E5%A4%9A%E3%80%82%0A%0A%20%20%20%20%E6%95%B4%E5%80%8B%E6%A8%A1%E5%9E%8B%EF%BC%88%7BTM_LAYERS%7D%20%E5%B1%A4%EF%BC%89%E7%9A%84%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%E6%98%AF%E4%B8%8A%E9%9D%A2%E6%95%B8%E5%AD%97%E4%B9%98%E4%BB%A5%20%7BTM_LAYERS%7D%E3%80%82%0A%20%20%20%20**%E6%80%8E%E9%BA%BC%E9%81%B8**%EF%BC%9A%E8%B3%87%E6%96%99%E5%A4%9A%E3%80%81%E8%A6%81%E5%AD%B8%E6%96%B0%E7%9F%A5%E8%AD%98%20%E2%86%92%20%60all-linear%60%EF%BC%88MLP%20%E5%B0%8D%E7%9F%A5%E8%AD%98%E5%84%B2%E5%AD%98%E5%BE%88%E9%87%8D%E8%A6%81%EF%BC%8C%E5%8F%AF%E8%AA%BF%E7%A9%BA%E9%96%93%E6%9C%80%E5%A4%A7%EF%BC%89%EF%BC%9B%0A%20%20%20%20%E8%B3%87%E6%96%99%E5%B0%91%E3%80%81%E5%8F%AA%E6%83%B3%E8%AA%BF%E8%AA%9E%E6%B0%A3%E9%A2%A8%E6%A0%BC%20%E2%86%92%20%60q_proj%2C%20v_proj%60%20%E5%B0%B1%E5%A4%A0%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20%E9%A4%B5%E4%BB%80%E9%BA%BC%E8%B3%87%E6%96%99%EF%BC%9ASFT%20%E4%B8%80%E5%95%8F%E4%B8%80%E7%AD%94%EF%BC%8CDPO%20%E4%B8%80%E5%A5%BD%E4%B8%80%E5%A3%9E%0A%0A%20%20%20%20LoRA%20%E6%B1%BA%E5%AE%9A%E3%80%8C%E6%94%B9%E5%93%AA%E4%BA%9B%E6%AC%8A%E9%87%8D%E3%80%8D%EF%BC%8C**%E8%B3%87%E6%96%99**%E6%B1%BA%E5%AE%9A%E3%80%8C%E5%BE%80%E5%93%AA%E5%80%8B%E6%96%B9%E5%90%91%E6%94%B9%E3%80%8D%E3%80%82%E5%85%A9%E6%A2%9D%E4%B8%BB%E7%B7%9A%E8%B7%AF%EF%BC%9A%0A%0A%20%20%20%20-%20**SFT**%EF%BC%88%E7%9B%A3%E7%9D%A3%E5%BC%8F%E5%BE%AE%E8%AA%BF%EF%BC%89%EF%BC%9A%E7%B5%A6%E6%A8%99%E6%BA%96%E7%AD%94%E6%A1%88%EF%BC%8C%E8%AE%93%E6%A8%A1%E5%9E%8B%E6%A8%A1%E4%BB%BF%20%E2%86%92%20%60prompt%60%20%2B%20%60response%60%0A%20%20%20%20-%20**DPO**%EF%BC%88%E7%9B%B4%E6%8E%A5%E5%81%8F%E5%A5%BD%E6%9C%80%E4%BD%B3%E5%8C%96%EF%BC%89%EF%BC%9A%E7%B5%A6%E5%A5%BD%E5%A3%9E%E5%B0%8D%E6%AF%94%EF%BC%8C%E8%AE%93%E6%A8%A1%E5%9E%8B%E5%81%8F%E5%90%91%E8%BC%83%E5%A5%BD%E7%9A%84%20%E2%86%92%20%60prompt%60%20%2B%20%60chosen%60%20%2B%20%60rejected%60%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E6%8A%8A%E5%85%A9%E7%A8%AE%20JSONL%20%E5%90%84%E5%8D%B0%E4%B8%80%E8%A1%8C%E7%9C%9F%E7%9A%84%E5%87%BA%E4%BE%86%EF%BC%88%E6%AF%8F%E8%A1%8C%E4%B8%80%E7%AD%86%EF%BC%8C%E8%A8%93%E7%B7%B4%E8%85%B3%E6%9C%AC%E7%9B%B4%E6%8E%A5%E8%AE%80%EF%BC%89%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(escape%2C%20json%2C%20mo)%3A%0A%20%20%20%20sft_row%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22%E7%94%A8%E4%B8%80%E5%8F%A5%E8%A9%B1%E4%BB%8B%E7%B4%B9%E5%8F%B0%E5%8C%97%22%2C%0A%20%20%20%20%20%20%20%20%22response%22%3A%20%22%E5%8F%B0%E5%8C%97%E6%98%AF%E8%9E%8D%E5%90%88%E5%82%B3%E7%B5%B1%E8%88%87%E7%8F%BE%E4%BB%A3%E7%9A%84%E8%87%BA%E7%81%A3%E9%A6%96%E9%83%BD%E3%80%82%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20dpo_row%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22%E7%94%A8%E4%B8%80%E5%8F%A5%E8%A9%B1%E4%BB%8B%E7%B4%B9%E5%8F%B0%E5%8C%97%22%2C%0A%20%20%20%20%20%20%20%20%22chosen%22%3A%20%22%E5%8F%B0%E5%8C%97%E6%98%AF%E8%9E%8D%E5%90%88%E5%82%B3%E7%B5%B1%E8%88%87%E7%8F%BE%E4%BB%A3%E7%9A%84%E8%87%BA%E7%81%A3%E9%A6%96%E9%83%BD%E3%80%82%22%2C%0A%20%20%20%20%20%20%20%20%22rejected%22%3A%20%22%E5%8F%B0%E5%8C%97%E5%B0%B1%E6%98%AF%E5%80%8B%E5%9F%8E%E5%B8%82%E3%80%82%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_style%20%3D%20(%0A%20%20%20%20%20%20%20%20%22font-family%3Aui-monospace%2CMenlo%2CConsolas%2Cmonospace%3Bfont-size%3A12.5px%3B%22%0A%20%20%20%20%20%20%20%20%22white-space%3Apre-wrap%3Bword-break%3Abreak-all%3Bbackground%3A%23F0F4EE%3B%22%0A%20%20%20%20%20%20%20%20%22border-radius%3A8px%3Bpadding%3A10px%2012px%3Bline-height%3A1.7%3Bmargin%3A6px%200%2014px%22%0A%20%20%20%20)%0A%20%20%20%20_cards%20%3D%20(%0A%20%20%20%20%20%20%20%20%22%3Cdiv%3E%3Cb%3Etrain_sft.jsonl%3C%2Fb%3E%EF%BC%88%E4%B8%80%E5%95%8F%E4%B8%80%E7%AD%94%EF%BC%8C%E5%8F%AA%E6%9C%89%E6%AD%A3%E7%A2%BA%E7%A4%BA%E7%AF%84%EF%BC%89%22%0A%20%20%20%20%20%20%20%20f%22%3Cdiv%20style%3D'%7B_style%7D'%3E%7Bescape(json.dumps(sft_row%2C%20ensure_ascii%3DFalse))%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20%22%3Cdiv%3E%3Cb%3Etrain_dpo.jsonl%3C%2Fb%3E%EF%BC%88%E5%81%8F%E5%A5%BD%E4%B8%89%E5%85%83%E7%B5%84%EF%BC%8C%E6%A8%99%E7%9A%84%E6%98%AF%E7%9B%B8%E5%B0%8D%E5%A5%BD%E5%A3%9E%EF%BC%89%22%0A%20%20%20%20%20%20%20%20f%22%3Cdiv%20style%3D'%7B_style%7D'%3E%7Bescape(json.dumps(dpo_row%2C%20ensure_ascii%3DFalse))%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%22%0A%20%20%20%20)%0A%20%20%20%20mo.Html(_cards)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%CE%B2%EF%BC%9A%E6%8A%8A%E6%A8%A1%E5%9E%8B%E6%8B%89%E4%BD%8F%E7%9A%84%E9%82%A3%E6%A2%9D%E6%A9%A1%E7%9A%AE%E7%AD%8B%0A%0A%20%20%20%20DPO%20%E8%A8%93%E7%B7%B4%E6%99%82%E5%81%9A%E5%85%A9%E4%BB%B6%E4%BA%8B%EF%BC%9A**%E6%8B%89%E9%AB%98%20chosen%20%E7%9A%84%E6%A9%9F%E7%8E%87%E3%80%81%E5%A3%93%E4%BD%8E%20rejected%20%E7%9A%84%E6%A9%9F%E7%8E%87**%EF%BC%8C%0A%20%20%20%20%E5%90%8C%E6%99%82%E7%94%A8%E4%B8%80%E5%80%8B**%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B**%EF%BC%88%E9%80%9A%E5%B8%B8%E5%B0%B1%E6%98%AF%20SFT%20%E5%AE%8C%E7%9A%84%E9%82%A3%E5%80%8B%E6%A8%A1%E5%9E%8B%EF%BC%89%E6%8A%8A%E4%BD%A0%E6%8B%89%E4%BD%8F%EF%BC%8C%E4%B8%8D%E8%AE%93%E6%A8%A1%E5%9E%8B%E7%82%BA%E4%BA%86%E8%A8%8E%E5%A5%BD%E5%81%8F%E5%A5%BD%E8%B3%87%E6%96%99%E8%80%8C%E8%B7%91%E5%A4%AA%E9%81%A0%E3%80%82%0A%20%20%20%20%60DPOConfig(beta%3D0.1)%60%20%E7%9A%84%20%60beta%60%20%E5%B0%B1%E6%98%AF%E9%82%A3%E6%A2%9D%E6%A9%A1%E7%9A%AE%E7%AD%8B%E7%9A%84%E7%A1%AC%E5%BA%A6%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E7%94%A8%E4%B8%80%E5%80%8B%E6%A5%B5%E7%B0%A1%E7%9A%84%E6%95%99%E5%AD%B8%E6%A8%A1%E5%9E%8B%E8%AE%93%E4%BD%A0%E7%9C%8B%E8%A6%8B%E5%AE%83%EF%BC%9A%E5%81%87%E8%A8%AD%E5%90%8C%E4%B8%80%E5%80%8B%20prompt%20%E6%9C%89%E5%9B%9B%E5%80%8B%E5%80%99%E9%81%B8%E5%9B%9E%E8%A6%86%EF%BC%8C%0A%20%20%20%20%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B%E5%8E%9F%E6%9C%AC%E7%B5%A6%E5%AE%83%E5%80%91%E7%9A%84%E6%A9%9F%E7%8E%87%E6%98%AF%E5%B7%A6%E9%82%8A%E9%82%A3%E7%B5%84%E6%9F%B1%E5%AD%90%EF%BC%8C%E4%BA%BA%E9%A1%9E%E5%81%8F%E5%A5%BD%E5%88%86%E6%95%B8%20R1%20%E6%9C%80%E9%AB%98%E3%80%81R4%20%E6%9C%80%E4%BD%8E%EF%BC%88%E5%B0%B1%E6%98%AF%E9%82%A3%E5%8F%A5%E3%80%8C%E5%97%AF%E3%80%82%E3%80%8D%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%8B%89%E5%8B%95%20%CE%B2%E2%80%94%E2%80%94%0A%0A%20%20%20%20-%20**%CE%B2%20%E5%B0%8F**%EF%BC%88%E6%A9%A1%E7%9A%AE%E7%AD%8B%E9%AC%86%EF%BC%89%EF%BC%9A%E6%A9%9F%E7%8E%87%E5%B9%BE%E4%B9%8E%E5%85%A8%E6%8A%BC%E5%88%B0%20R1%EF%BC%8C%E9%9B%A2%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B%E5%BE%88%E9%81%A0%0A%20%20%20%20-%20**%CE%B2%20%E5%A4%A7**%EF%BC%88%E6%A9%A1%E7%9A%AE%E7%AD%8B%E7%A1%AC%EF%BC%89%EF%BC%9A%E5%88%86%E5%B8%83%E5%8F%AA%E5%BE%AE%E5%BE%AE%E5%82%BE%E6%96%9C%EF%BC%8C%E6%A8%A1%E5%9E%8B%E5%B9%BE%E4%B9%8E%E6%B2%92%E5%8B%95%0A%0A%20%20%20%20%EF%BC%88%E7%9C%9F%E5%AF%A6%20DPO%20%E6%98%AF%E5%9C%A8%E6%95%B4%E6%AE%B5%E5%9B%9E%E8%A6%86%E7%9A%84%20token%20%E6%A9%9F%E7%8E%87%E4%B8%8A%E7%AE%97%EF%BC%8C%E6%95%B8%E5%80%BC%E4%B8%8D%E6%9C%83%E8%B7%9F%E9%80%99%E8%A3%A1%E4%B8%80%E6%A8%A3%EF%BC%9B%E8%A6%81%E7%9C%8B%E7%9A%84%E6%98%AF**%E6%96%B9%E5%90%91**%E3%80%82%EF%BC%89%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20beta_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.05%2C%20stop%3D2.0%2C%20step%3D0.05%2C%20value%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22beta%20%CE%B2%EF%BC%88%E6%A9%A1%E7%9A%AE%E7%AD%8B%E7%A1%AC%E5%BA%A6%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20beta_slider%0A%20%20%20%20return%20(beta_slider%2C)%0A%0A%0A%40app.cell%0Adef%20_(C_BAD%2C%20C_GOOD%2C%20C_W%2C%20beta_slider%2C%20np%2C%20plt)%3A%0A%20%20%20%20REPLIES%20%3D%20%5B%22R1%5Cnchosen%22%2C%20%22R2%22%2C%20%22R3%22%2C%20%22R4%5Cnrejected%22%5D%0A%20%20%20%20PREF_SCORE%20%3D%20np.array(%5B1.0%2C%200.6%2C%200.2%2C%200.0%5D)%20%20%20%23%20%E4%BA%BA%E9%A1%9E%E5%81%8F%E5%A5%BD%E5%88%86%E6%95%B8%0A%20%20%20%20P_REF%20%3D%20np.array(%5B0.20%2C%200.30%2C%200.25%2C%200.25%5D)%20%20%20%20%23%20%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B%EF%BC%88SFT%20%E5%BE%8C%EF%BC%89%E7%9A%84%E5%88%86%E5%B8%83%0A%0A%20%20%20%20def%20tilted(beta)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E5%81%8F%E5%A5%BD%E6%8A%8A%E5%88%86%E5%B8%83%E5%BE%80%E9%AB%98%E5%88%86%E6%96%B9%E5%90%91%E5%82%BE%E6%96%9C%EF%BC%8C%CE%B2%20%E8%B6%8A%E5%A4%A7%E5%82%BE%E6%96%9C%E8%B6%8A%E5%B0%91%EF%BC%88%E8%B2%BC%E8%91%97%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B%EF%BC%89%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20_w%20%3D%20P_REF%20*%20np.exp(PREF_SCORE%20%2F%20beta)%0A%20%20%20%20%20%20%20%20return%20_w%20%2F%20_w.sum()%0A%0A%20%20%20%20def%20drift(beta)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E9%9B%A2%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B%E5%A4%9A%E9%81%A0%EF%BC%88KL%EF%BC%89%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20_p%20%3D%20tilted(beta)%0A%20%20%20%20%20%20%20%20return%20float(np.sum(_p%20*%20np.log(_p%20%2F%20P_REF)))%0A%0A%20%20%20%20beta_now%20%3D%20beta_slider.value%0A%20%20%20%20p_new%20%3D%20tilted(beta_now)%0A%0A%20%20%20%20_fig5%2C%20_ax5%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(8.2%2C%203.5))%0A%20%20%20%20_x%20%3D%20np.arange(4)%0A%20%20%20%20_ax5%5B0%5D.bar(_x%20-%200.2%2C%20P_REF%2C%20width%3D0.4%2C%20color%3DC_W%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.2%2C%20label%3D%22reference%20model%22)%0A%20%20%20%20_ax5%5B0%5D.bar(_x%20%2B%200.2%2C%20p_new%2C%20width%3D0.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%5BC_GOOD%2C%20C_GOOD%2C%20C_BAD%2C%20C_BAD%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.2%2C%20label%3Df%22after%20DPO%20(beta%3D%7Bbeta_now%3A.2f%7D)%22)%0A%20%20%20%20_ax5%5B0%5D.set_xticks(_x)%0A%20%20%20%20_ax5%5B0%5D.set_xticklabels(REPLIES%2C%20fontsize%3D8)%0A%20%20%20%20_ax5%5B0%5D.set_ylabel(%22probability%22)%0A%20%20%20%20_ax5%5B0%5D.set_title(%22chosen%20up%2C%20rejected%20down%22)%0A%20%20%20%20_ax5%5B0%5D.legend(fontsize%3D8)%0A%0A%20%20%20%20_betas%20%3D%20np.arange(0.05%2C%202.01%2C%200.05)%0A%20%20%20%20_ax5%5B1%5D.plot(_betas%2C%20%5Bdrift(_b)%20for%20_b%20in%20_betas%5D%2C%20color%3DC_BAD)%0A%20%20%20%20_ax5%5B1%5D.scatter(%5Bbeta_now%5D%2C%20%5Bdrift(beta_now)%5D%2C%20s%3D90%2C%20zorder%3D5%2C%20color%3D%22%231C2B33%22)%0A%20%20%20%20_ax5%5B1%5D.set_xlabel(%22beta%22)%0A%20%20%20%20_ax5%5B1%5D.set_ylabel(%22drift%20from%20reference%20(KL)%22)%0A%20%20%20%20_ax5%5B1%5D.set_title(%22bigger%20beta%20%3D%20shorter%20leash%22)%0A%20%20%20%20_ax5%5B1%5D.grid(alpha%3D0.25)%0A%0A%20%20%20%20_fig5.tight_layout()%0A%20%20%20%20_fig5%0A%20%20%20%20return%20P_REF%2C%20beta_now%2C%20drift%2C%20p_new%0A%0A%0A%40app.cell%0Adef%20_(P_REF%2C%20beta_now%2C%20drift%2C%20mo%2C%20p_new)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%CE%B2%20%3D%20**%7Bbeta_now%3A.2f%7D**%20%E6%99%82%EF%BC%9Achosen%20%E7%9A%84%E6%A9%9F%E7%8E%87%20%7BP_REF%5B0%5D%3A.2f%7D%20%E2%86%92%20**%7Bp_new%5B0%5D%3A.2f%7D**%EF%BC%8C%0A%20%20%20%20rejected%20%E7%9A%84%E6%A9%9F%E7%8E%87%20%7BP_REF%5B3%5D%3A.2f%7D%20%E2%86%92%20**%7Bp_new%5B3%5D%3A.2f%7D**%EF%BC%8C%E9%9B%A2%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%B7%9D%E9%9B%A2%EF%BC%88KL%EF%BC%89%E6%98%AF%20**%7Bdrift(beta_now)%3A.3f%7D**%E3%80%82%0A%20%20%20%20%E6%8A%8A%20%CE%B2%20%E6%8B%89%E5%88%B0%200.05%20%E5%86%8D%E7%9C%8B%E4%B8%80%E6%AC%A1%EF%BC%8C%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%E5%88%86%E5%B8%83%E6%95%B4%E5%80%8B%E5%A1%8C%E5%88%B0%20R1%20%E4%B8%8A%E2%80%94%E2%80%94%E9%82%A3%E5%B0%B1%E6%98%AF%E3%80%8C%E8%B7%91%E5%A4%AA%E9%81%A0%E3%80%8D%E7%9A%84%E6%A8%A3%E5%AD%90%E3%80%82%0A%0A%20%20%20%20%E6%9C%80%E5%B0%91%E5%B9%BE%E7%99%BE%E7%AD%86%E5%81%8F%E5%A5%BD%E5%B0%8D%E5%B0%B1%E8%83%BD%E7%9C%8B%E5%88%B0%E6%95%88%E6%9E%9C%EF%BC%9B%E9%87%8D%E9%BB%9E%E4%B8%8D%E6%98%AF%E9%87%8F%EF%BC%8C%E6%98%AF%20**chosen%20%2F%20rejected%20%E7%9A%84%E5%B7%AE%E8%B7%9D%E8%A6%81%E5%8F%8D%E6%98%A0%E4%BD%A0%E5%9C%A8%E6%84%8F%E7%9A%84%E5%93%81%E8%B3%AA%E9%9D%A2%E5%90%91**%E3%80%82%0A%20%20%20%20%E9%A0%86%E5%BA%8F%E4%B9%9F%E5%88%A5%E6%90%9E%E5%8F%8D%EF%BC%9A**%E5%85%88%20SFT%20%E6%89%93%E5%BA%95%EF%BC%8C%E5%86%8D%E6%94%B6%E5%81%8F%E5%A5%BD%E5%B0%8D%E5%81%9A%20DPO**%E2%80%94%E2%80%94%E6%B2%92%E6%9C%89%E5%9F%BA%E6%9C%AC%E8%83%BD%E5%8A%9B%EF%BC%8C%E5%81%8F%E5%A5%BD%E5%B0%8D%E9%BD%8A%E4%B9%9F%E8%AA%BF%E4%B8%8D%E5%87%BA%E5%A5%BD%E7%B5%90%E6%9E%9C%E3%80%82%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20%23%20DPO%20%E6%9C%80%E7%B0%A1%E8%A8%93%E7%B7%B4%EF%BC%88TRL%EF%BC%89%EF%BC%9Apip%20install%20trl%20transformers%20datasets%0A%20%20%20%20from%20datasets%20import%20load_dataset%0A%20%20%20%20from%20transformers%20import%20AutoModelForCausalLM%2C%20AutoTokenizer%0A%20%20%20%20from%20trl%20import%20DPOConfig%2C%20DPOTrainer%0A%0A%20%20%20%20model_name%20%3D%20%22Qwen%2FQwen2.5-0.5B-Instruct%22%20%20%20%23%20%E5%85%88%E5%81%9A%E9%81%8E%20SFT%20%E7%9A%84%E6%A8%A1%E5%9E%8B%0A%20%20%20%20model%20%3D%20AutoModelForCausalLM.from_pretrained(model_name)%0A%20%20%20%20tokenizer%20%3D%20AutoTokenizer.from_pretrained(model_name)%0A%20%20%20%20dataset%20%3D%20load_dataset(%22json%22%2C%20data_files%3D%22train_dpo.jsonl%22%2C%20split%3D%22train%22)%0A%0A%20%20%20%20config%20%3D%20DPOConfig(output_dir%3D%22dpo-out%22%2C%20beta%3D0.1)%0A%20%20%20%20trainer%20%3D%20DPOTrainer(model%3Dmodel%2C%20args%3Dconfig%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20train_dataset%3Ddataset%2C%20processing_class%3Dtokenizer)%0A%20%20%20%20trainer.train()%20%20%20%23%20%E6%B2%92%E6%8C%87%E5%AE%9A%20ref%20model%20%E6%99%82%EF%BC%8CTRL%20%E6%9C%83%E8%87%AA%E5%8B%95%E8%A4%87%E8%A3%BD%E4%B8%80%E4%BB%BD%E7%95%B6%E5%8F%83%E8%80%83%E6%A8%A1%E5%9E%8B%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E7%B7%B4%E7%BF%92%EF%BC%9A%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E6%98%AF%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%EF%BC%8C%E6%94%B9%E5%AE%8C%E6%8C%89%20%E2%96%B6%20%E9%87%8D%E8%B7%91%E3%80%82%E5%BB%BA%E8%AD%B0%E6%8C%91%E6%88%B0%EF%BC%88%E7%94%B1%E6%98%93%E5%88%B0%E9%9B%A3%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%201.%20**LEVEL%201**%EF%BC%9A%E6%8A%8A%201%EF%B8%8F%E2%83%A3%20%E7%9A%84%20%60r%60%20%E5%BE%9E%2016%20%E6%8B%89%E5%88%B0%208%EF%BC%8C%E7%9C%8B%E7%B8%AE%E5%B0%8F%E5%80%8D%E6%95%B8%E8%AE%8A%E6%88%90%E5%B9%BE%E5%80%8D%EF%BC%9B%E5%86%8D%E6%8A%8A%20%60d%60%20%E6%8B%89%E5%88%B0%208192%EF%BC%8C%0A%20%20%20%20%20%20%20%E7%9C%8B%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF%E9%82%A3%E6%A0%B9%E6%9F%B1%E5%AD%90%E8%B7%91%E5%88%B0%E5%93%AA%E8%A3%A1%E5%8E%BB%E3%80%82%0A%20%20%20%202.%20**LEVEL%202**%EF%BC%9A%E5%9C%A8%202%EF%B8%8F%E2%83%A3%20%E6%89%BE%E5%87%BA%E4%B8%80%E7%B5%84%20%60(%CE%B1%2C%20r)%60%EF%BC%8C%E8%AE%93**%E5%8A%9B%E9%81%93%E8%B7%9F%E5%9F%BA%E6%BA%96%EF%BC%88%CE%B1%3D16%2C%20r%3D16%EF%BC%89%E5%B9%BE%E4%B9%8E%E4%B8%80%E6%A8%A3**%EF%BC%8C%0A%20%20%20%20%20%20%20%E4%BD%86**%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%E6%98%AF%E5%9F%BA%E6%BA%96%E7%9A%84%204%20%E5%80%8D**%E3%80%82%E4%B8%8B%E9%9D%A2%E5%AF%A6%E9%A9%97%E5%8D%80%E7%9A%84%20%60my_alpha%60%20%2F%20%60my_rank%60%20%E5%8F%AF%E4%BB%A5%E7%9B%B4%E6%8E%A5%E7%AE%97%E7%B5%A6%E4%BD%A0%E7%9C%8B%E3%80%82%0A%20%20%20%203.%20**LEVEL%203**%EF%BC%9A%E6%8A%8A%203%EF%B8%8F%E2%83%A3%20%E9%82%A3%E5%80%8B%E3%80%8C%E6%9C%89%E7%B5%90%E6%A7%8B%E7%9A%84%E6%9B%B4%E6%96%B0%E3%80%8D%E6%94%B9%E5%BE%97%E6%9B%B4%E9%9B%A3%E5%A3%93%E7%B8%AE%EF%BC%88%E4%BE%8B%E5%A6%82%E6%8A%8A%20%60_w%60%20%E5%9B%9B%E5%80%8B%E6%AC%8A%E9%87%8D%E9%83%BD%E6%94%B9%E6%88%90%201.0%EF%BC%8C%0A%20%20%20%20%20%20%20%E6%88%96%E6%8A%8A%E9%9B%9C%E8%A8%8A%E5%BE%9E%20%600.05%2F64%60%20%E5%8A%A0%E5%A4%A7%E5%8D%81%E5%80%8D%EF%BC%89%EF%BC%8C%E5%86%8D%E7%9C%8B%20r%3D4%20%E7%9A%84%E8%AA%A4%E5%B7%AE%E6%80%8E%E9%BA%BC%E8%AE%8A%E2%80%94%E2%80%94%E9%80%99%E5%B0%8D%E3%80%8C%E8%A9%B2%E7%94%A8%E5%A4%9A%E5%A4%A7%E7%9A%84%20r%E3%80%8D%E6%84%8F%E5%91%B3%E8%91%97%E4%BB%80%E9%BA%BC%EF%BC%9F%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E8%A8%98%E5%BE%97%EF%BC%9A**%E9%BB%9E%E5%8F%B3%E4%B8%8A%E8%A7%92%E4%B8%8B%E8%BC%89%E6%8C%89%E9%88%95%EF%BC%88%E6%88%96%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E9%A0%81%E7%9A%84%E3%80%8C%E4%B8%8B%E8%BC%89%20.py%E3%80%8D%EF%BC%89%E6%8A%8A%E4%BD%A0%E7%9A%84%E7%89%88%E6%9C%AC%E5%B8%B6%E8%B5%B0**%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E5%B0%B1%E8%83%BD%E7%B9%BC%E7%BA%8C%E7%8E%A9%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(strength)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E6%94%B9%E9%80%99%E5%85%A9%E5%80%8B%E6%95%B8%E5%AD%97%EF%BC%8C%E8%B7%9F%E5%9F%BA%E6%BA%96%EF%BC%88%CE%B1%3D16%2C%20r%3D16%EF%BC%89%E6%AF%94%E6%AF%94%E7%9C%8B%E5%8A%9B%E9%81%93%E8%88%87%E5%8F%83%E6%95%B8%E9%87%8F%0A%20%20%20%20my_alpha%20%3D%2016%0A%20%20%20%20my_rank%20%3D%2016%0A%0A%20%20%20%20_base%20%3D%20strength(16%2C%2016)%0A%20%20%20%20_mine%20%3D%20strength(my_alpha%2C%20my_rank)%0A%20%20%20%20print(f%22%CE%B1%3D%7Bmy_alpha%7D%2C%20r%3D%7Bmy_rank%7D%22)%0A%20%20%20%20print(f%22%20%20%E5%8A%9B%E9%81%93%20%E2%80%96%CE%94W%E2%80%96%20%3D%20%7B_mine%3A.4f%7D%20%20%EF%BC%88%E5%9F%BA%E6%BA%96%E7%9A%84%20%7B_mine%20%2F%20_base%3A.2f%7D%20%E5%80%8D%EF%BC%89%22)%0A%20%20%20%20print(f%22%20%20%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%20%3D%20%E5%9F%BA%E6%BA%96%E7%9A%84%20%7Bmy_rank%20%2F%2016%3A.2f%7D%20%E5%80%8D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%60r%20%3D%208%60%20%E2%86%92%20%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%20%602%20%C3%97%204096%20%C3%97%208%20%3D%2065%2C536%60%EF%BC%8C%E7%B8%AE%E5%B0%8F%20**256%20%E5%80%8D**%0A%20%20%20%20%EF%BC%88r%20%E6%B8%9B%E5%8D%8A%E3%80%81%E5%80%8D%E6%95%B8%E5%8A%A0%E5%80%8D%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%60d%20%3D%208192%60%20%E6%99%82%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF%E8%AE%8A%E6%88%90%20%608192%C2%B2%20%3D%2067%2C108%2C864%60%20%E5%80%8B%E5%8F%83%E6%95%B8%E3%80%81%0A%20%20%20%20%E6%A2%AF%E5%BA%A6%EF%BC%8B%E5%84%AA%E5%8C%96%E5%99%A8%E7%8B%80%E6%85%8B%E7%B4%84%20**768%20MiB**%E2%80%94%E2%80%94%E8%80%8C%20LoRA%EF%BC%88r%3D16%EF%BC%89%E5%8F%AA%E6%9C%89%20%602%20%C3%97%208192%20%C3%97%2016%20%3D%20262%2C144%60%20%E5%80%8B%E3%80%81%0A%20%20%20%20%E7%B4%84%203%20MiB%E3%80%82**%E6%A8%A1%E5%9E%8B%E8%B6%8A%E5%A4%A7%EF%BC%8C%E9%80%99%E5%80%8B%E6%AF%94%E4%BE%8B%E5%8F%AA%E6%9C%83%E8%B6%8A%E8%AA%87%E5%BC%B5%E3%80%82**%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E7%AD%94%E6%A1%88%E6%98%AF%20**%CE%B1%20%3D%2032%E3%80%81r%20%3D%2064**%E3%80%82%E8%B2%BC%E9%80%B2%E4%B8%8A%E9%9D%A2%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%EF%BC%9A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20my_alpha%20%3D%2032%0A%20%20%20%20my_rank%20%3D%2064%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%E5%8A%9B%E9%81%93%20%E2%89%88%20%E5%9F%BA%E6%BA%96%E7%9A%84%20**0.99%20%E5%80%8D**%EF%BC%88%E5%AF%A6%E8%B3%AA%E7%9B%B8%E5%90%8C%EF%BC%89%EF%BC%8C%E4%BD%86%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%E6%98%AF%E5%9F%BA%E6%BA%96%E7%9A%84%20**4%20%E5%80%8D**%E3%80%82%0A%0A%20%20%20%20%E5%8E%9F%E7%90%86%EF%BC%9A%E5%8A%9B%E9%81%93%E5%A4%A7%E7%B4%84%E9%9A%A8%20%60%CE%B1%20%2F%20%E2%88%9Ar%60%20%E8%B5%B0%EF%BC%8Cr%20%E5%BE%9E%2016%20%E8%AE%8A%2064%EF%BC%88%E2%88%9A%20%E8%AE%8A%202%20%E5%80%8D%EF%BC%89%EF%BC%8C%CE%B1%20%E4%B9%9F%E4%B9%98%202%20%E5%B0%B1%E6%8A%B5%E9%8A%B7%E5%9B%9E%E4%BE%86%EF%BC%9B%0A%20%20%20%20%E8%80%8C%E5%8F%83%E6%95%B8%E9%87%8F%E6%98%AF%20%602%C2%B7d%C2%B7r%60%EF%BC%8C%E7%9B%B4%E6%8E%A5%E8%B7%9F%E8%91%97%20r%20%E8%AE%8A%204%20%E5%80%8D%E3%80%82%0A%20%20%20%20**%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8C%E5%8F%83%E6%95%B8%E5%A4%9A%E4%B8%8D%E7%AD%89%E6%96%BC%E6%9B%B4%E6%96%B0%E7%8C%9B%E3%80%8D%E7%9A%84%E5%AF%A6%E9%9A%9B%E6%A8%A3%E5%AD%90**%E2%80%94%E2%80%94%E6%83%B3%E6%9B%B4%E7%94%A8%E5%8A%9B%E8%AB%8B%E8%AA%BF%20%CE%B1%EF%BC%8C%E4%B8%8D%E6%98%AF%E7%84%A1%E8%85%A6%E5%8A%A0%20r%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%96%B9%E5%90%91%EF%BC%9A%E6%8A%8A%203%EF%B8%8F%E2%83%A3%20%E5%BB%BA%E7%9F%A9%E9%99%A3%E9%82%A3%E6%A0%BC%E7%9A%84%20%60_w%20%3D%20%5B1.0%2C%200.55%2C%200.3%2C%200.15%5D%60%20%E6%94%B9%E6%88%90%20%60%5B1.0%2C%201.0%2C%201.0%2C%201.0%5D%60%EF%BC%8C%0A%20%20%20%20%E5%A5%87%E7%95%B0%E5%80%BC%E4%B8%8D%E5%86%8D%E5%BF%AB%E9%80%9F%E8%A1%B0%E6%B8%9B%EF%BC%8C%E5%89%8D%E5%B9%BE%E5%80%8B%E6%96%B9%E5%90%91%E5%90%83%E4%B8%8B%E7%9A%84%E8%83%BD%E9%87%8F%E8%AE%8A%E5%B0%91%EF%BC%9B%E6%8A%8A%E9%9B%9C%E8%A8%8A%E6%94%B9%E6%88%90%20%60(0.5%20%2F%2064)%60%20%E6%9B%B4%E6%98%8E%E9%A1%AF%E2%80%94%E2%80%94%0A%20%20%20%20%E9%9B%9C%E8%A8%8A%E6%9C%AC%E8%BA%AB%E6%98%AF%E6%BB%BF%E7%A7%A9%E7%9A%84%EF%BC%8C%E6%80%8E%E9%BA%BC%E5%A3%93%E9%83%BD%E5%A3%93%E4%B8%8D%E6%8E%89%E3%80%82%0A%0A%20%20%20%20**%E6%80%8E%E9%BA%BC%E9%A9%97%E8%AD%89%E4%BD%A0%E5%81%9A%E5%B0%8D%E4%BA%86**%EF%BC%9A%E7%9C%8B%E5%8F%B3%E5%9C%96%E6%A9%98%E7%B7%9A%E5%9C%A8%20r%3D4%20%E7%9A%84%E8%AA%A4%E5%B7%AE%E3%80%82%E5%8E%9F%E6%9C%AC%E7%B4%84%204.6%25%EF%BC%8C%E6%94%B9%E5%AE%8C%E6%87%89%E8%A9%B2%E6%98%8E%E9%A1%AF%E4%B8%8A%E5%8D%87%EF%BC%9B%0A%20%20%20%20%E5%A6%82%E6%9E%9C%E5%AE%83%E5%B9%BE%E4%B9%8E%E6%B2%92%E5%8B%95%EF%BC%8C%E4%BB%A3%E8%A1%A8%E4%BD%A0%E6%94%B9%E7%9A%84%E6%AC%8A%E9%87%8D%E6%B2%92%E6%9C%89%E7%9C%9F%E7%9A%84%E8%AE%93%E6%96%B9%E5%90%91%E8%AE%8A%E5%A4%9A%EF%BC%88%E4%BE%8B%E5%A6%82%E5%8F%AA%E6%94%B9%E4%BA%86%E9%9B%9C%E8%A8%8A%E5%8D%BB%E6%94%B9%E5%A4%AA%E5%B0%8F%EF%BC%89%E3%80%82%0A%0A%20%20%20%20**%E6%84%8F%E5%91%B3%E8%91%97%E4%BB%80%E9%BA%BC**%EF%BC%9A%CE%94W%20%E8%B6%8A%E3%80%8C%E4%B8%8D%E4%BD%8E%E7%A7%A9%E3%80%8D%EF%BC%8C%E5%90%8C%E6%A8%A3%E7%9A%84%20r%20%E5%B0%B1%E9%82%84%E5%8E%9F%E5%BE%97%E8%B6%8A%E5%B7%AE%20%E2%86%92%20%E4%BB%BB%E5%8B%99%E8%B6%8A%E6%98%AF%E8%A6%81%E6%A8%A1%E5%9E%8B%E5%AD%B8%E4%B8%80%E6%95%B4%E5%A5%97%E6%96%B0%E6%9D%B1%E8%A5%BF%EF%BC%8C%0A%20%20%20%20r%20%E5%B0%B1%E5%BE%97%E5%BE%80%E4%B8%8A%E5%8A%A0%EF%BC%88%E6%88%96%E6%94%B9%E7%94%A8%20%60all-linear%60%20%E8%AE%93%E5%8F%AF%E8%AA%BF%E7%A9%BA%E9%96%93%E8%AE%8A%E5%A4%A7%EF%BC%89%E3%80%82%E5%8F%8D%E9%81%8E%E4%BE%86%EF%BC%8C%E5%8F%AA%E6%98%AF%E8%AA%BF%E8%AA%9E%E6%B0%A3%E7%9A%84%E4%BB%BB%E5%8B%99%EF%BC%8C%0A%20%20%20%20r%3D8%20%E7%94%9A%E8%87%B3%E6%9B%B4%E5%B0%8F%E9%83%BD%E7%B6%BD%E7%B6%BD%E6%9C%89%E9%A4%98%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A