模型是怎麼練成的：預訓練到 RLHF（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E6%A8%A1%E5%9E%8B%E6%98%AF%E6%80%8E%E9%BA%BC%E7%B7%B4%E6%88%90%E7%9A%84%EF%BC%9A%E9%A0%90%E8%A8%93%E7%B7%B4%E5%88%B0%20RLHF%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E6%A8%A1%E5%9E%8B%E6%98%AF%E6%80%8E%E9%BA%BC%E7%B7%B4%E6%88%90%E7%9A%84%EF%BC%9A%E9%A0%90%E8%A8%93%E7%B7%B4%E5%88%B0%20RLHF%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%94%B9%E5%A3%9E%E4%BA%86%E4%B9%9F%E6%B2%92%E9%97%9C%E4%BF%82%EF%BC%9A%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E4%B8%80%E8%AA%B2%E6%9C%89%E4%B8%89%E7%AD%86%E5%B8%B3%E8%A6%81%E8%A6%AA%E6%89%8B%E7%AE%97%EF%BC%9A**%E5%BE%AE%E8%AA%BF%E7%9A%84%E5%8F%83%E6%95%B8%E5%B8%B3**%EF%BC%88LoRA%20%E7%82%BA%E4%BB%80%E9%BA%BC%E8%83%BD%E5%9C%A8%E6%B6%88%E8%B2%BB%E7%B4%9A%20GPU%20%E4%B8%8A%E8%B7%91%EF%BC%89%E3%80%81%0A%20%20%20%20**%E8%92%B8%E9%A4%BE%E7%9A%84%E6%BA%AB%E5%BA%A6**%EF%BC%88%E6%9A%97%E7%9F%A5%E8%AD%98%E6%98%AF%E6%80%8E%E9%BA%BC%E8%A2%AB%E8%92%B8%E5%87%BA%E4%BE%86%E7%9A%84%EF%BC%89%E3%80%81**GRPO%20%E7%9A%84%E7%BE%A4%E7%B5%84%E5%84%AA%E5%8B%A2**%0A%20%20%20%20%EF%BC%88DeepSeek-R1%20%E9%82%A3%E5%A5%97%20RL%20%E5%9C%A8%E7%AE%97%E4%BB%80%E9%BA%BC%EF%BC%89%E3%80%82%E4%B8%89%E7%AD%86%E9%83%BD%E6%98%AF%E7%9C%9F%E5%85%AC%E5%BC%8F%E7%9C%9F%E8%A8%88%E7%AE%97%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%B5%A6%E5%85%A8%20notebook%20%E7%94%A8%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E5%BE%AE%E8%AA%BF%E7%9A%84%E5%8F%83%E6%95%B8%E5%B8%B3%EF%BC%9A%E5%85%A8%E5%8F%83%E6%95%B8%20vs%20LoRA%0A%0A%20%20%20%20%E4%B8%80%E5%80%8B%20Transformer%20%E7%9A%84%E5%8F%83%E6%95%B8%E9%87%8F%E5%AE%8C%E5%85%A8%E7%94%B1%E6%9E%B6%E6%A7%8B%E6%B1%BA%E5%AE%9A%E3%80%82%E4%B8%8B%E9%9D%A2%E7%9A%84%E8%A8%88%E7%AE%97%E6%A9%9F%E7%94%A8%20Llama%203%20%E7%9A%84%E6%9E%B6%E6%A7%8B%E6%AF%94%E4%BE%8B%0A%20%20%20%20%EF%BC%88head%20%E7%B6%AD%E5%BA%A6%20128%E3%80%81GQA%204%3A1%E3%80%81MLP%20%E6%94%BE%E5%A4%A7%203.5%20%E5%80%8D%E3%80%81%E8%A9%9E%E8%A1%A8%20128%2C256%EF%BC%89%E2%80%94%E2%80%94%0A%20%20%20%20%E9%A0%90%E8%A8%AD%E5%80%BC%E5%B0%B1%E6%98%AF%20**Llama-3-8B%20%E6%9C%AC%E4%BA%BA**%EF%BC%88%E7%AE%97%E5%87%BA%E4%BE%86%208.03B%EF%BC%89%E3%80%82%0A%0A%20%20%20%20**LoRA**%20%E7%9A%84%E6%83%B3%E6%B3%95%EF%BC%9A%E5%BA%95%E6%A8%A1%E5%85%A8%E9%83%A8%E5%87%8D%E7%B5%90%EF%BC%8C%E5%8F%AA%E5%9C%A8%E6%AF%8F%E5%80%8B%E6%8A%95%E5%BD%B1%E7%9F%A9%E9%99%A3%E6%97%81%E9%82%8A%E6%8E%9B%E4%B8%80%E5%B0%8D%E4%BD%8E%E7%A7%A9%E5%B0%8F%E7%9F%A9%E9%99%A3%0A%20%20%20%20%EF%BC%88r%20%E5%B0%B1%E6%98%AF%E9%82%A3%E5%80%8B%E3%80%8C%E7%A7%A9%E3%80%8D%EF%BC%89%EF%BC%8C%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%E9%87%8F%20%EF%BC%9D%20r%20%C3%97%20(%E8%BC%B8%E5%85%A5%E7%B6%AD%E5%BA%A6%20%2B%20%E8%BC%B8%E5%87%BA%E7%B6%AD%E5%BA%A6)%EF%BC%8C%0A%20%20%20%20%E6%8E%9B%E6%BB%BF%E4%B8%83%E5%80%8B%E6%8A%95%E5%BD%B1%E4%B9%9F%E5%8F%AA%E6%9C%89%E5%85%A8%E5%8F%83%E6%95%B8%E7%9A%84%E9%9B%B6%E9%BB%9E%E5%B9%BE%20%25%E3%80%82%E8%A8%93%E7%B7%B4%E8%A8%98%E6%86%B6%E9%AB%94%E7%9A%84%E5%B8%B3%E4%B9%9F%E8%B7%9F%E8%91%97%E7%BF%BB%E7%9B%A4%EF%BC%9A%0A%20%20%20%20%E5%85%A8%E5%8F%83%E6%95%B8%E8%A6%81%E5%AD%98%E3%80%8C%E6%AC%8A%E9%87%8D%EF%BC%8B%E6%A2%AF%E5%BA%A6%EF%BC%8BAdam%20%E7%8B%80%E6%85%8B%E3%80%8D%EF%BC%88%E7%B4%84%2012%20bytes%2F%E5%8F%83%E6%95%B8%EF%BC%89%EF%BC%8C%0A%20%20%20%20LoRA%20%E5%BA%95%E6%A8%A1%E5%8F%AA%E8%A6%81%E6%94%BE%E6%AC%8A%E9%87%8D%EF%BC%882%20bytes%2F%E5%8F%83%E6%95%B8%EF%BC%89%EF%BC%8C%E6%A2%AF%E5%BA%A6%E8%88%87%E5%84%AA%E5%8C%96%E5%99%A8%E5%8F%AA%E4%BB%98%E5%B0%8F%E7%9F%A9%E9%99%A3%E7%9A%84%E9%8C%A2%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20hid%20%3D%20mo.ui.slider(start%3D1024%2C%20stop%3D8192%2C%20step%3D1024%2C%20value%3D4096%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22hidden%20size%EF%BC%88%E6%A8%A1%E5%9E%8B%E5%AF%AC%E5%BA%A6%EF%BC%89%22%2C%20show_value%3DTrue)%0A%20%20%20%20layers%20%3D%20mo.ui.slider(start%3D8%2C%20stop%3D80%2C%20step%3D4%2C%20value%3D32%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E5%B1%A4%E6%95%B8%22%2C%20show_value%3DTrue)%0A%20%20%20%20lora_r%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22r%20%3D%204%22%3A%204%2C%20%22r%20%3D%208%22%3A%208%2C%20%22r%20%3D%2016%EF%BC%88%E5%B8%B8%E7%94%A8%E9%A0%90%E8%A8%AD%EF%BC%89%22%3A%2016%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22r%20%3D%2032%22%3A%2032%2C%20%22r%20%3D%2064%22%3A%2064%2C%20%22r%20%3D%20256%22%3A%20256%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22r%20%3D%2016%EF%BC%88%E5%B8%B8%E7%94%A8%E9%A0%90%E8%A8%AD%EF%BC%89%22%2C%20label%3D%22LoRA%20%E7%A7%A9%20r%EF%BC%88%E6%8E%9B%E6%BB%BF%E4%B8%83%E5%80%8B%E6%8A%95%E5%BD%B1%EF%BC%89%22)%0A%20%20%20%20mo.vstack(%5Bhid%2C%20layers%2C%20lora_r%5D)%0A%20%20%20%20return%20hid%2C%20layers%2C%20lora_r%0A%0A%0A%40app.cell%0Adef%20_(hid%2C%20layers%2C%20lora_r)%3A%0A%20%20%20%20%23%20Llama%203%20%E6%9E%B6%E6%A7%8B%E6%AF%94%E4%BE%8B%EF%BC%9Ahead_dim%3D128%E3%80%81GQA%204%3A1%E3%80%81MLP%203.5x%E3%80%81%E8%A9%9E%E8%A1%A8%20128256%EF%BC%888B%20%E4%B8%8D%E7%B6%81%E5%AE%9A%20lm_head%EF%BC%89%0A%20%20%20%20VOCAB%2C%20HEAD_DIM%20%3D%20128256%2C%20128%0A%20%20%20%20H%2C%20L%2C%20R%20%3D%20hid.value%2C%20layers.value%2C%20lora_r.value%0A%20%20%20%20n_heads%20%3D%20H%20%2F%2F%20HEAD_DIM%0A%20%20%20%20n_kv%20%3D%20max(n_heads%20%2F%2F%204%2C%201)%0A%20%20%20%20inter%20%3D%20int(3.5%20*%20H)%0A%0A%20%20%20%20emb%20%3D%20VOCAB%20*%20H%0A%20%20%20%20attn%20%3D%20H%20*%20(n_heads%20*%20HEAD_DIM)%20%2B%202%20*%20H%20*%20(n_kv%20*%20HEAD_DIM)%20%2B%20(n_heads%20*%20HEAD_DIM)%20*%20H%0A%20%20%20%20mlp%20%3D%202%20*%20H%20*%20inter%20%2B%20inter%20*%20H%0A%20%20%20%20per_layer%20%3D%20attn%20%2B%20mlp%20%2B%202%20*%20H%0A%20%20%20%20total%20%3D%20emb%20%2B%20L%20*%20per_layer%20%2B%20H%20%2B%20VOCAB%20*%20H%0A%0A%20%20%20%20%23%20LoRA%20%E6%8E%9B%E4%B8%83%E5%80%8B%E6%8A%95%E5%BD%B1%EF%BC%9Aq%2Co%20%E5%90%84%20r*2H%EF%BC%9Bk%2Cv%20%E5%90%84%20r*(H%2BH%2F4)%EF%BC%9Bgate%2Cup%2Cdown%20%E5%90%84%20r*4.5H%20%E2%86%92%20%E5%90%88%E8%A8%88%20r*20H%2F%E5%B1%A4%0A%20%20%20%20lora%20%3D%20(2%20*%20R%20*%20(H%20%2B%20n_heads%20*%20HEAD_DIM)%20%2B%202%20*%20R%20*%20(H%20%2B%20n_kv%20*%20HEAD_DIM)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%202%20*%20R%20*%20(H%20%2B%20inter)%20%2B%20R%20*%20(inter%20%2B%20H))%20*%20L%0A%0A%20%20%20%20full_mem_gb%20%3D%20total%20*%2012%20%2F%201024**3%20%20%20%20%20%20%20%20%20%20%23%20bf16%20%E6%AC%8A%E9%87%8D2%20%2B%20%E6%A2%AF%E5%BA%A62%20%2B%20Adam%20fp32%208%0A%20%20%20%20lora_mem_gb%20%3D%20(total%20*%202%20%2B%20lora%20*%2012)%20%2F%201024**3%0A%20%20%20%20return%20full_mem_gb%2C%20lora%2C%20lora_mem_gb%2C%20total%0A%0A%0A%40app.cell%0Adef%20_(full_mem_gb%2C%20lora%2C%20lora_mem_gb%2C%20plt%2C%20total)%3A%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(7.4%2C%203.9))%0A%20%20%20%20_p%20%3D%20%5Btotal%20%2F%201e6%2C%20lora%20%2F%201e6%5D%0A%20%20%20%20_ax1.bar(%5B%22full%22%2C%20%22LoRA%22%5D%2C%20_p%2C%20color%3D%5B%22%23C44E52%22%2C%20%22%2355A868%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.1%2C%20zorder%3D3)%0A%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(_p)%3A%0A%20%20%20%20%20%20%20%20_lab%20%3D%20f%22%7B_v%2F1000%3A.2f%7DB%22%20if%20_v%20%3E%3D%201000%20else%20f%22%7B_v%3A.1f%7DM%22%0A%20%20%20%20%20%20%20%20_ax1.text(_i%2C%20_v%20*%201.25%2C%20_lab%2C%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax1.set_yscale(%22log%22)%0A%20%20%20%20_ax1.set_ylim(min(_p)%20*%200.2%2C%20max(_p)%20*%2012)%0A%20%20%20%20_ax1.set_ylabel(%22trainable%20params%20(M%2C%20log)%22)%0A%20%20%20%20_ax1.set_title(%22trainable%20parameters%22)%0A%20%20%20%20_ax1.grid(axis%3D%22y%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%0A%20%20%20%20_m%20%3D%20%5Bfull_mem_gb%2C%20lora_mem_gb%5D%0A%20%20%20%20_ax2.bar(%5B%22full%22%2C%20%22LoRA%22%5D%2C%20_m%2C%20color%3D%5B%22%23C44E52%22%2C%20%22%2355A868%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.1%2C%20zorder%3D3)%0A%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(_m)%3A%0A%20%20%20%20%20%20%20%20_ax2.text(_i%2C%20_v%20%2B%20max(_m)%20*%200.03%2C%20f%22%7B_v%3A.0f%7D%20GB%22%2C%20ha%3D%22center%22%2C%20fontsize%3D10%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax2.axhline(24%2C%20color%3D%22%234C72B0%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6%2C%20zorder%3D2)%0A%20%20%20%20_ax2.text(1.45%2C%2024%2C%20%22%20RTX%204090%20(24GB)%22%2C%20va%3D%22bottom%22%2C%20ha%3D%22right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D8.5%2C%20color%3D%22%234C72B0%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax2.set_ylim(0%2C%20max(max(_m)%20*%201.18%2C%2030))%0A%20%20%20%20_ax2.set_ylabel(%22training%20memory%20(GB)%22)%0A%20%20%20%20_ax2.set_title(%22weights%20%2B%20grads%20%2B%20Adam%20states%22)%0A%20%20%20%20_ax2.grid(axis%3D%22y%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(full_mem_gb%2C%20lora%2C%20lora_mem_gb%2C%20mo%2C%20total)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E7%9B%AE%E5%89%8D%E8%A8%AD%E5%AE%9A%EF%BC%9A%E5%85%A8%E5%8F%83%E6%95%B8%20**%7Btotal%2F1e9%3A.2f%7DB**%EF%BC%8C%E8%A8%93%E7%B7%B4%E8%A8%98%E6%86%B6%E9%AB%94%E7%B4%84%20**%7Bfull_mem_gb%3A.0f%7D%20GB**%EF%BC%9B%0A%20%20%20%20LoRA%20%E5%8F%AF%E8%A8%93%E7%B7%B4%20**%7Blora%2F1e6%3A.1f%7DM**%EF%BC%88%E4%BD%94%20%7Blora%2Ftotal*100%3A.2f%7D%25%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E8%A8%98%E6%86%B6%E9%AB%94%E6%8E%89%E5%88%B0%E7%B4%84%20**%7Blora_mem_gb%3A.0f%7D%20GB**%EF%BC%88%E7%9A%86%E6%9C%AA%E5%90%AB%20activation%EF%BC%9B%0A%20%20%20%20%E5%BA%95%E6%A8%A1%E5%86%8D%E7%94%A8%204-bit%20%E9%87%8F%E5%8C%96%E2%80%94%E2%80%94QLoRA%E2%80%94%E2%80%94%E9%82%84%E8%83%BD%E5%86%8D%E7%A0%8D%E4%B8%80%E5%A4%A7%E6%88%AA%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%E4%BD%94%E6%AF%94%200.5%25%20**%E4%B8%8D%E4%BB%A3%E8%A1%A8**%E8%A1%8C%E7%82%BA%E5%8F%AA%E6%94%B9%E8%AE%8A%200.5%25%EF%BC%9A%E4%BD%8E%E7%A7%A9%E6%9B%B4%E6%96%B0%E7%96%8A%E5%8A%A0%E5%9C%A8%E6%AF%8F%E4%B8%80%E5%B1%A4%E7%9A%84%0A%20%20%20%20%E6%B3%A8%E6%84%8F%E5%8A%9B%E8%88%87%20MLP%20%E4%B8%8A%EF%BC%8C%E6%94%B9%E9%A2%A8%E6%A0%BC%E3%80%81%E5%AD%B8%E4%BB%BB%E5%8B%99%E6%A0%BC%E5%BC%8F%E7%B6%BD%E7%B6%BD%E6%9C%89%E9%A4%98%E2%80%94%E2%80%94%E9%80%99%E6%98%AF%E6%A5%AD%E7%95%8C%E5%BE%AE%E8%AA%BF%E7%9A%84%E9%A0%90%E8%A8%AD%E8%B5%B7%E6%89%8B%E5%BC%8F%E3%80%82%0A%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E8%92%B8%E9%A4%BE%EF%BC%9A%E6%BA%AB%E5%BA%A6%E6%8A%8A%E6%9A%97%E7%9F%A5%E8%AD%98%E8%92%B8%E5%87%BA%E4%BE%86%0A%0A%20%20%20%20**%E7%9F%A5%E8%AD%98%E8%92%B8%E9%A4%BE**%EF%BC%9D%E5%A4%A7%E6%A8%A1%E5%9E%8B%EF%BC%88%E8%80%81%E5%B8%AB%EF%BC%89%E6%95%99%E5%B0%8F%E6%A8%A1%E5%9E%8B%EF%BC%88%E5%AD%B8%E7%94%9F%EF%BC%89%E3%80%82%E9%97%9C%E9%8D%B5%E4%B8%8D%E6%98%AF%E6%8A%84%E7%AD%94%E6%A1%88%EF%BC%8C%0A%20%20%20%20%E6%98%AF%E6%8A%84**%E7%AD%94%E6%A1%88%E7%9A%84%E5%88%86%E5%B8%83**%EF%BC%9A%E8%80%81%E5%B8%AB%E7%9C%8B%E4%B8%80%E5%BC%B5%E8%B2%93%E7%9A%84%E5%9C%96%EF%BC%8C%E8%BC%B8%E5%87%BA%E3%80%8C%E8%B2%93%2088%25%E3%80%81%E7%8B%97%208%25%E3%80%81%E8%80%81%E8%99%8E%204%25%E3%80%81%E6%B1%BD%E8%BB%8A%200.1%25%E3%80%8D%E2%80%94%E2%80%94%0A%20%20%20%20%E3%80%8C%E7%8B%97%E6%AF%94%E6%B1%BD%E8%BB%8A%E5%83%8F%E8%B2%93%2080%20%E5%80%8D%E3%80%8D%E9%80%99%E4%BB%B6%E4%BA%8B%E5%8F%AB**%E6%9A%97%E7%9F%A5%E8%AD%98%EF%BC%88dark%20knowledge%EF%BC%89**%EF%BC%8C%0A%20%20%20%20one-hot%20%E6%A8%99%E7%B1%A4%E8%A3%A1%E5%AE%8C%E5%85%A8%E6%B2%92%E6%9C%89%E3%80%82%0A%0A%20%20%20%20%E6%8A%8A%20softmax%20%E9%99%A4%E4%BB%A5%E6%BA%AB%E5%BA%A6%20T%20%E5%86%8D%E7%AE%97%EF%BC%8C%E5%88%86%E5%B8%83%E6%9C%83%E8%A2%AB%E3%80%8C%E8%92%B8%E8%BB%9F%E3%80%8D%EF%BC%8C%E6%9A%97%E7%9F%A5%E8%AD%98%E6%89%8D%E6%B5%AE%E5%BE%97%E5%87%BA%E4%BE%86%E3%80%82%0A%20%20%20%20%E6%8B%89%E6%8B%89%E7%9C%8B%EF%BC%88%E8%80%81%E5%B8%AB%20logits%20%E5%9B%BA%E5%AE%9A%E7%82%BA%20%5B5.0%2C%202.6%2C%201.8%2C%20%E2%88%922.0%5D%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20temp_t%20%3D%20mo.ui.slider(start%3D1.0%2C%20stop%3D10.0%2C%20step%3D0.5%2C%20value%3D4.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22%E8%92%B8%E9%A4%BE%E6%BA%AB%E5%BA%A6%20T%22%2C%20show_value%3DTrue)%0A%20%20%20%20temp_t%0A%20%20%20%20return%20(temp_t%2C)%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20temp_t)%3A%0A%20%20%20%20_logits%20%3D%20np.array(%5B5.0%2C%202.6%2C%201.8%2C%20-2.0%5D)%0A%20%20%20%20_classes%20%3D%20%5B%22cat%22%2C%20%22dog%22%2C%20%22tiger%22%2C%20%22car%22%5D%0A%0A%20%20%20%20def%20_softmax(z%2C%20t)%3A%0A%20%20%20%20%20%20%20%20e%20%3D%20np.exp(z%20%2F%20t%20-%20(z%20%2F%20t).max())%0A%20%20%20%20%20%20%20%20return%20e%20%2F%20e.sum()%0A%0A%20%20%20%20_p1%2C%20_pt%20%3D%20_softmax(_logits%2C%201.0)%2C%20_softmax(_logits%2C%20temp_t.value)%0A%20%20%20%20_x%20%3D%20np.arange(4)%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.0%2C%203.9))%0A%20%20%20%20_ax.bar(_x%20-%200.2%2C%20_p1%2C%20width%3D0.38%2C%20color%3D%22%239AA7AE%22%2C%20edgecolor%3D%22%231C2B33%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1.0%2C%20zorder%3D3%2C%20label%3D%22T%20%3D%201%20(hard-ish)%22)%0A%20%20%20%20_ax.bar(_x%20%2B%200.2%2C%20_pt%2C%20width%3D0.38%2C%20color%3D%22%23DD8452%22%2C%20edgecolor%3D%22%231C2B33%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1.0%2C%20zorder%3D3%2C%20label%3Df%22T%20%3D%20%7Btemp_t.value%3Ag%7D%20(soft)%22)%0A%20%20%20%20for%20_i%20in%20range(4)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%20%2B%200.2%2C%20_pt%5B_i%5D%20%2B%200.02%2C%20f%22%7B_pt%5B_i%5D%3A.2f%7D%22%2C%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%20fontweight%3D%22bold%22%2C%20color%3D%22%23B25C22%22)%0A%20%20%20%20_ax.set_xticks(_x%2C%20_classes)%0A%20%20%20%20_ax.set_ylabel(%22teacher%20probability%22)%0A%20%20%20%20_ax.set_ylim(0%2C%201.02)%0A%20%20%20%20_ax.set_title(%22temperature%20reveals%20dark%20knowledge%20(dog%20%3E%3E%20car)%22)%0A%20%20%20%20_ax.legend(fontsize%3D9)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20T%3D1%20%E6%99%82%E8%B2%93%E6%8B%BF%E8%B5%B0%200.883%EF%BC%8C%E5%85%B6%E4%BB%96%E9%A1%9E%E5%88%A5%E5%B9%BE%E4%B9%8E%E7%9C%8B%E4%B8%8D%E8%A6%8B%EF%BC%9BT%3D4%20%E6%99%82%E5%88%86%E5%B8%83%E8%AE%8A%E6%88%90%200.46%20%2F%200.25%20%2F%200.21%20%2F%200.08%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AD%A3%E8%A7%A3%E9%82%84%E6%98%AF%E7%AC%AC%E4%B8%80%E5%90%8D%EF%BC%8C%E4%BD%86%E3%80%8C%E7%8B%97%E3%80%81%E8%80%81%E8%99%8E%E6%AF%94%E6%B1%BD%E8%BB%8A%E5%83%8F%E8%B2%93%E3%80%8D%E7%9A%84%E6%8E%92%E5%BA%8F%E8%B3%87%E8%A8%8A%E8%A2%AB%E6%94%BE%E5%A4%A7%E5%88%B0%E5%AD%B8%E7%94%9F%E7%9C%8B%E5%BE%97%E8%A6%8B%E3%80%82%0A%20%20%20%20%E5%AD%B8%E7%94%9F%E5%90%8C%E6%99%82%E5%AD%B8%E5%85%A9%E5%80%8B%E7%9B%AE%E6%A8%99%EF%BC%9A**%E8%BB%9F%E6%A8%99%E7%B1%A4%E7%9A%84%20KL%20%E6%95%A3%E5%BA%A6**%EF%BC%88%E6%8A%84%E8%80%81%E5%B8%AB%E7%9A%84%E5%88%86%E5%B8%83%EF%BC%89%EF%BC%8B%0A%20%20%20%20**%E7%9C%9F%E6%A8%99%E7%B1%A4%E7%9A%84%E4%BA%A4%E5%8F%89%E7%86%B5**%EF%BC%88%E5%88%A5%E5%BF%98%E4%BA%86%E6%AD%A3%E8%A7%A3%EF%BC%89%EF%BC%8C%E9%80%99%E5%B0%B1%E6%98%AF%E8%92%B8%E9%A4%BE%20loss%20%E7%9A%84%E6%A8%99%E6%BA%96%E9%85%8D%E6%96%B9%E3%80%82%0A%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20GRPO%EF%BC%9A%E4%B8%80%E7%B5%84%E7%AD%94%E6%A1%88%EF%BC%8C%E6%AF%94%E5%87%BA%E5%84%AA%E5%8B%A2%0A%0A%20%20%20%20RLHF%20%E7%9A%84%E8%80%81%E8%B7%AF%EF%BC%88PPO%EF%BC%89%E8%A6%81%E5%A4%9A%E9%A4%8A%E4%B8%80%E5%80%8B%E8%B7%9F%E6%A8%A1%E5%9E%8B%E4%B8%80%E6%A8%A3%E5%A4%A7%E7%9A%84%20value%20model%20%E4%BE%86%E4%BC%B0%E3%80%8C%E9%80%99%E6%AD%A5%E5%80%BC%E5%A4%9A%E5%B0%91%E5%88%86%E3%80%8D%E3%80%82%0A%20%20%20%20**GRPO%EF%BC%88DeepSeek-R1%20%E7%94%A8%E7%9A%84%EF%BC%89**%20%E6%8A%8A%E5%AE%83%E6%95%B4%E5%80%8B%E7%A0%8D%E6%8E%89%EF%BC%9A%E5%90%8C%E4%B8%80%E9%A1%8C%E6%8A%BD%E4%B8%80**%E7%B5%84**%E7%AD%94%E6%A1%88%EF%BC%88%E4%BE%8B%E5%A6%82%208%20%E5%80%8B%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E5%B0%8D%E9%81%8E%E7%AD%94%E6%A1%88%E5%BE%8C%EF%BC%8C**%E7%B5%84%E5%85%A7%E6%A8%99%E6%BA%96%E5%8C%96**%E5%B0%B1%E6%98%AF%E6%AF%8F%E5%80%8B%E7%AD%94%E6%A1%88%E7%9A%84%E5%84%AA%E5%8B%A2%EF%BC%9A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20advantage%20%3D%20(reward%20%E2%88%92%20%E7%B5%84%E5%B9%B3%E5%9D%87)%20%2F%20%E7%B5%84%E6%A8%99%E6%BA%96%E5%B7%AE%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E7%AD%94%E5%B0%8D%E7%9A%84%E8%A2%AB%E6%8E%A8%E9%AB%98%E3%80%81%E7%AD%94%E9%8C%AF%E7%9A%84%E8%A2%AB%E5%A3%93%E4%BD%8E%EF%BC%8C%E5%85%A8%E7%B5%84%E7%9B%B8%E5%B0%8D%E6%AF%94%E8%BC%83%E3%80%81%E4%B8%8D%E7%94%A8%20value%20model%E2%80%94%E2%80%94%0A%20%20%20%20%E8%A8%98%E6%86%B6%E9%AB%94%E7%9B%B4%E6%8E%A5%E7%9C%81%E4%B8%80%E5%8D%8A%E3%80%82%E5%8B%BE%E5%8B%BE%E7%9C%8B%E5%93%AA%E4%BA%9B%E7%AD%94%E6%A1%88%E5%B0%8D%EF%BC%8C%E7%9C%8B%E5%84%AA%E5%8B%A2%E6%80%8E%E9%BA%BC%E8%AE%8A%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20grpo_checks%20%3D%20mo.ui.array(%0A%20%20%20%20%20%20%20%20%5Bmo.ui.checkbox(value%3D_v%2C%20label%3Df%22%E7%AD%94%E6%A1%88%7B_i%2B1%7D%22)%0A%20%20%20%20%20%20%20%20%20for%20_i%2C%20_v%20in%20enumerate(%5BTrue%2C%20False%2C%20False%2C%20True%2C%20False%2C%20False%2C%20False%2C%20True%5D)%5D%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(list(grpo_checks)%2C%20justify%3D%22start%22%2C%20gap%3D1.2)%0A%20%20%20%20return%20(grpo_checks%2C)%0A%0A%0A%40app.cell%0Adef%20_(grpo_checks%2C%20np%2C%20plt)%3A%0A%20%20%20%20_r%20%3D%20np.array(%5B1.0%20if%20_v%20else%200.0%20for%20_v%20in%20grpo_checks.value%5D)%0A%20%20%20%20_adv%20%3D%20(_r%20-%20_r.mean())%20%2F%20(_r.std()%20%2B%201e-8)%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.0%2C%203.7))%0A%20%20%20%20_colors%20%3D%20%5B%22%2355A868%22%20if%20_a%20%3E%200%20else%20%22%23C44E52%22%20if%20_a%20%3C%200%20else%20%22%239AA7AE%22%20for%20_a%20in%20_adv%5D%0A%20%20%20%20_ax.bar(%5Bf%22a%7B_i%2B1%7D%22%20for%20_i%20in%20range(8)%5D%2C%20_adv%2C%20color%3D_colors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%231C2B33%22%2C%20linewidth%3D1.0%2C%20zorder%3D3)%0A%20%20%20%20_ax.axhline(0%2C%20color%3D%22%231C2B33%22%2C%20linewidth%3D1.2)%0A%20%20%20%20_ax.set_ylabel(%22advantage%20(group-normalized)%22)%0A%20%20%20%20_ax.set_title(f%22%7Bint(_r.sum())%7D%2F8%20correct%20-%3E%20mean%20advantage%20is%20always%200%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3%2C%20zorder%3D0)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E8%A9%A6%E4%B8%80%E4%BB%B6%E9%87%8D%E8%A6%81%E7%9A%84%E4%BA%8B%EF%BC%9A**%E5%85%A8%E9%83%A8%E5%8B%BE%E5%B0%8D**%EF%BC%88%E6%88%96%E5%85%A8%E9%83%A8%E4%B8%8D%E5%8B%BE%EF%BC%89%E2%80%94%E2%80%94%E5%84%AA%E5%8B%A2%E7%9E%AC%E9%96%93%E5%85%A8%E8%AE%8A%200%EF%BC%8C%E9%80%99%E4%B8%80%E9%A1%8C%E5%B0%B1%E4%BB%80%E9%BA%BC%E9%83%BD%E6%95%99%E4%B8%8D%E4%BA%86%E3%80%82%0A%20%20%20%20GRPO%20%E8%A6%81%E5%AD%B8%E5%BE%97%E5%8B%95%EF%BC%8C%E9%A1%8C%E7%9B%AE%E9%9B%A3%E5%BA%A6%E5%BF%85%E9%A0%88%E8%90%BD%E5%9C%A8%E3%80%8C%E6%9C%89%E4%BA%BA%E5%B0%8D%E6%9C%89%E4%BA%BA%E9%8C%AF%E3%80%8D%E7%9A%84%E5%9C%B0%E5%B8%B6%EF%BC%9B%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%E7%82%BA%E4%BB%80%E9%BA%BC%20RL%20%E8%A8%93%E7%B7%B4%E7%9A%84%E8%B3%87%E6%96%99%E9%85%8D%E9%A1%8C%E6%AF%94%E6%BC%94%E7%AE%97%E6%B3%95%E6%9C%AC%E8%BA%AB%E9%82%84%E9%97%9C%E9%8D%B5%E3%80%82%0A%0A%20%20%20%20DeepSeek-R1%20%E7%9A%84%E9%A9%9A%E5%96%9C%E5%9C%A8%E6%96%BC%EF%BC%9A**%E5%8F%AA%E9%9D%A0%E9%80%99%E7%A8%AE%E3%80%8C%E7%AD%94%E6%A1%88%E5%B0%8D%E4%B8%8D%E5%B0%8D%E3%80%8D%E7%9A%84%20RL**%EF%BC%88%E4%B8%8D%E7%B5%A6%E4%BA%BA%E9%A1%9E%E7%A4%BA%E7%AF%84%E6%80%8E%E9%BA%BC%E6%8E%A8%E7%90%86%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E8%87%AA%E5%B7%B1%E9%95%B7%E5%87%BA%E3%80%8C%E7%AD%89%E7%AD%89%EF%BC%8C%E6%88%91%E9%87%8D%E6%96%B0%E6%AA%A2%E6%9F%A5%E4%B8%80%E9%81%8D%E3%80%8D%E7%9A%84%E5%8F%8D%E6%80%9D%E8%88%87%E5%9B%9E%E6%BA%AF%E2%80%94%E2%80%94%E8%AB%96%E6%96%87%E8%A3%A1%E6%8A%8A%E9%82%A3%E4%B8%80%E5%88%BB%E5%8F%AB%0A%20%20%20%20**Aha%20Moment**%E3%80%82%E9%80%99%E6%A2%9D%E3%80%8C%E7%B4%94%20RL%20%E6%B9%A7%E7%8F%BE%E6%8E%A8%E7%90%86%E3%80%8D%E7%9A%84%E8%B7%AF%E7%B7%9A%EF%BC%8C%E5%B0%B1%E6%98%AF%E7%AC%AC%204%20%E8%AA%B2%20reasoning%20model%20%E7%9A%84%E5%87%BA%E8%BA%AB%E3%80%82%0A%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E6%98%AF%E4%BD%A0%E7%9A%84%EF%BC%8C%E6%94%B9%E5%AE%8C%E6%8C%89%20%E2%96%B6%20%E9%87%8D%E8%B7%91%E3%80%82%E6%8C%91%E6%88%B0%E5%9C%A8%E5%B7%A6%E9%A0%81%E3%80%8C%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%E3%80%8D%EF%BC%8C%E5%81%9A%E5%AE%8C%E5%86%8D%E9%96%8B%E8%A7%A3%E7%AD%94%E5%B0%8D%E7%85%A7%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(full_mem_gb%2C%20lora%2C%20lora_mem_gb%2C%20np%2C%20total)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E4%B8%8A%E9%9D%A2%E6%BB%91%E6%A1%BF%E7%9A%84%E7%95%B6%E5%89%8D%E8%A8%AD%E5%AE%9A%E6%9C%83%E7%9B%B4%E6%8E%A5%E5%8F%8D%E6%98%A0%E5%9C%A8%E9%80%99%E8%A3%A1%EF%BC%88%E9%A0%90%E8%A8%AD%EF%BC%9DLlama-3-8B%EF%BC%89%0A%20%20%20%20print(f%22%E5%85%A8%E5%8F%83%E6%95%B8%3A%20%7Btotal%2F1e9%3A.2f%7DB%20%E5%8F%83%E6%95%B8%20%E2%86%92%20%E8%A8%93%E7%B7%B4%E8%A8%98%E6%86%B6%E9%AB%94%E7%B4%84%20%7Bfull_mem_gb%3A.0f%7D%20GB%22)%0A%20%20%20%20print(f%22LoRA%3A%20%7Blora%2F1e6%3A.1f%7DM%20%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%EF%BC%88%E4%BD%94%20%7Blora%2Ftotal*100%3A.2f%7D%25%EF%BC%89%E2%86%92%20%E7%B4%84%20%7Blora_mem_gb%3A.0f%7D%20GB%22)%0A%0A%20%20%20%20%23%20LEVEL%202%20%E8%B5%B7%E9%BB%9E%EF%BC%9A%E8%87%AA%E5%B7%B1%E7%AE%97%E4%B8%80%E6%AC%A1%E8%92%B8%E9%A4%BE%E8%BB%9F%E6%A8%99%E7%B1%A4%0A%20%20%20%20my_logits%20%3D%20np.array(%5B5.0%2C%202.6%2C%201.8%2C%20-2.0%5D)%0A%20%20%20%20my_T%20%3D%204.0%0A%20%20%20%20my_p%20%3D%20np.exp(my_logits%20%2F%20my_T)%20%2F%20np.exp(my_logits%20%2F%20my_T).sum()%0A%20%20%20%20print(%22%E8%BB%9F%E6%A8%99%E7%B1%A4%20T%3D4%3A%22%2C%20my_p.round(3)%2C%20%22%20%E7%8B%97%2F%E6%B1%BD%E8%BB%8A%20%3D%22%2C%20round(my_p%5B1%5D%20%2F%20my_p%5B3%5D%2C%201)%2C%20%22%E5%80%8D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E6%8A%8A%20LoRA%20%E7%9A%84%20r%20%E5%BE%9E%2016%20%E6%94%B9%E6%88%90%2064%EF%BC%9A%E5%8F%AF%E8%A8%93%E7%B7%B4%E5%8F%83%E6%95%B8%E5%BE%9E%2041.9M%20%E8%AE%8A%20**167.8M**%EF%BC%880.52%25%20%E2%86%92%202.09%25%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E8%A8%93%E7%B7%B4%E8%A8%98%E6%86%B6%E9%AB%94%E5%BE%9E%E7%B4%84%2015%20GB%20%E8%AE%8A%20**%E7%B4%84%2017%20GB**%E2%80%94%E2%80%94%E5%8F%83%E6%95%B8%E7%BF%BB%E4%BA%86%204%20%E5%80%8D%EF%BC%8C%E8%A8%98%E6%86%B6%E9%AB%94%E5%8F%AA%E5%A4%9A%E4%B8%80%E9%BB%9E%E9%BB%9E%EF%BC%8C%0A%20%20%20%20%E5%9B%A0%E7%82%BA%E5%A4%A7%E9%A0%AD%EF%BC%88%E5%BA%95%E6%A8%A1%E6%AC%8A%E9%87%8D%2015%20GB%EF%BC%89%E6%A0%B9%E6%9C%AC%E6%B2%92%E5%8B%95%E3%80%82%0A%0A%20%20%20%20%E4%BD%86%20r%20%E4%B8%8D%E6%98%AF%E8%B6%8A%E5%A4%A7%E8%B6%8A%E5%A5%BD%EF%BC%9A%E5%B8%B8%E7%94%A8%E8%B5%B7%E6%89%8B%E5%BC%8F%E5%B0%B1%E6%98%AF%20r%3D8%EF%BD%9E16%EF%BC%8C%E6%95%88%E6%9E%9C%E4%B8%8D%E5%A4%A0%E5%86%8D%E5%BE%80%E4%B8%8A%E8%AA%BF%EF%BC%9B%0A%20%20%20%20r%20%E6%8B%89%E5%A4%AA%E5%A4%A7%EF%BC%8C%E5%B0%8F%E8%B3%87%E6%96%99%E9%9B%86%E4%B8%8A%E5%8F%8D%E8%80%8C%E5%AE%B9%E6%98%93%E9%81%8E%E6%93%AC%E5%90%88%EF%BC%88%E8%A8%98%E4%BD%8F%E4%BA%86%E4%BD%A0%E7%9A%84%205%2C000%20%E7%AD%86%E5%B0%8D%E8%A9%B1%E7%9A%84%E6%8E%AA%E8%BE%AD%EF%BC%8C%0A%20%20%20%20%E8%80%8C%E4%B8%8D%E6%98%AF%E5%AD%B8%E5%88%B0%E9%A2%A8%E6%A0%BC%EF%BC%89%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E5%AF%A6%E9%A9%97%E5%8D%80%E5%8D%B0%E5%87%BA%20T%3D4%20%E7%9A%84%E8%BB%9F%E6%A8%99%E7%B1%A4%E6%98%AF%20%60%5B0.46%2C%200.253%2C%200.207%2C%200.08%5D%60%EF%BC%8C%E7%8B%97%2F%E6%B1%BD%E8%BB%8A%20%E2%89%88%20**3.2%20%E5%80%8D**%E2%80%94%E2%80%94%0A%20%20%20%20%E9%80%99%E5%80%8B%E3%80%8C%E7%8B%97%E6%AF%94%E6%B1%BD%E8%BB%8A%E5%83%8F%E8%B2%93%E3%80%8D%E7%9A%84%E6%8E%92%E5%BA%8F%E5%B0%B1%E6%98%AF%E6%9A%97%E7%9F%A5%E8%AD%98%E3%80%82T%3D1%20%E6%99%82%E6%AD%A3%E8%A7%A3%E7%8D%A8%E6%8B%BF%200.883%EF%BC%8C%0A%20%20%20%20%E5%AD%B8%E7%94%9F%E5%8F%AA%E5%AD%B8%E5%BE%97%E5%88%B0%E3%80%8C%E7%AD%94%E6%A1%88%E6%98%AF%E8%B2%93%E3%80%8D%EF%BC%9BT%20%E6%8B%89%E5%88%B0%204%20%E4%B9%8B%E5%BE%8C%EF%BC%8C%E9%A1%9E%E5%88%A5%E4%B9%8B%E9%96%93%E7%9A%84**%E7%9B%B8%E5%B0%8D%E9%97%9C%E4%BF%82**%E6%89%8D%E6%B5%AE%E5%87%BA%E4%BE%86%E3%80%82%0A%0A%20%20%20%20T%20%E4%B9%9F%E4%B8%8D%E6%98%AF%E8%B6%8A%E9%AB%98%E8%B6%8A%E5%A5%BD%EF%BC%9A%E6%8B%89%E5%88%B0%2010%20%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%E5%88%86%E5%B8%83%E8%B6%A8%E5%B9%B3%EF%BC%880.33%20%2F%200.26%20%2F%200.24%20%2F%200.17%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E6%9A%97%E7%9F%A5%E8%AD%98%E5%8F%88%E8%A2%AB%E3%80%8C%E8%92%B8%E9%81%8E%E9%A0%AD%E3%80%8D%E7%A8%80%E9%87%8B%E6%8E%89%E4%BA%86%E3%80%82%E5%AF%A6%E5%8B%99%E4%B8%8A%20T%3D2%EF%BD%9E4%20%E6%98%AF%E5%B8%B8%E8%A6%8B%E7%AF%84%E5%9C%8D%EF%BC%8C%0A%20%20%20%20%E8%80%8C%E4%B8%94%E5%AD%B8%E7%94%9F%20loss%20%E8%A6%81%E5%90%8C%E6%99%82%E4%BF%9D%E7%95%99%E4%B8%80%E4%BB%BD%E7%9C%9F%E6%A8%99%E7%B1%A4%E7%9A%84%E4%BA%A4%E5%8F%89%E7%86%B5%E7%95%B6%E9%8C%A8%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E5%85%A8%E9%83%A8%E5%8B%BE%E5%B0%8D%E4%B9%8B%E5%BE%8C%EF%BC%9A%60reward%20%E2%88%92%20mean%20%3D%200%60%EF%BC%8C%E5%84%AA%E5%8B%A2%E5%85%A8%E9%83%A8%E6%AD%B8%E9%9B%B6%E2%80%94%E2%80%94%0A%20%20%20%20%E9%80%99%E4%B8%80%E7%B5%84%E6%A8%A3%E6%9C%AC%E5%B0%8D%E6%A8%A1%E5%9E%8B%E5%8F%83%E6%95%B8%E7%9A%84%E6%9B%B4%E6%96%B0%E9%87%8F%E6%98%AF%20**0**%EF%BC%8C%E7%AD%89%E6%96%BC%E7%99%BD%E7%AE%97%E4%BA%86%E4%B8%80%E6%95%B4%E7%B5%84%E6%8E%A8%E7%90%86%E3%80%82%0A%20%20%20%20%E5%85%A8%E9%83%A8%E7%AD%94%E9%8C%AF%E4%B9%9F%E4%B8%80%E6%A8%A3%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E5%B0%8D%E6%87%89%E5%88%B0%20RL%20%E8%A8%93%E7%B7%B4%E5%AF%A6%E5%8B%99%E7%9A%84%E4%B8%80%E6%A2%9D%E9%90%B5%E5%BE%8B%EF%BC%9A**%E9%A1%8C%E7%9B%AE%E8%A6%81%E9%85%8D%E5%9C%A8%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%83%BD%E5%8A%9B%E9%82%8A%E7%B7%A3**%0A%20%20%20%20%EF%BC%88%E9%80%9A%E9%81%8E%E7%8E%87%E6%97%A2%E4%B8%8D%E6%98%AF%200%25%20%E4%B9%9F%E4%B8%8D%E6%98%AF%20100%25%20%E7%9A%84%E9%A1%8C%E7%9B%AE%E6%89%8D%E6%9C%89%E8%A8%8A%E8%99%9F%EF%BC%89%E3%80%82%0A%20%20%20%20%E8%A8%93%E7%B7%B4%E4%B8%AD%E6%A8%A1%E5%9E%8B%E8%AE%8A%E5%BC%B7%E5%BE%8C%EF%BC%8C%E5%8E%9F%E6%9C%AC%E3%80%8C%E6%9C%89%E4%BA%BA%E5%B0%8D%E6%9C%89%E4%BA%BA%E9%8C%AF%E3%80%8D%E7%9A%84%E9%A1%8C%E6%9C%83%E9%80%90%E6%BC%B8%E8%AE%8A%E6%88%90%E5%85%A8%E5%B0%8D%E2%80%94%E2%80%94%0A%20%20%20%20%E6%89%80%E4%BB%A5%E8%B3%87%E6%96%99%E9%9B%86%E8%A6%81%E9%9A%A8%E8%A8%93%E7%B7%B4%E9%80%B2%E7%A8%8B%E6%8F%9B%E9%9B%A3%E5%BA%A6%EF%BC%8C%E5%90%A6%E5%89%87%E6%9C%89%E6%95%88%E8%A8%8A%E8%99%9F%E8%B6%8A%E4%BE%86%E8%B6%8A%E7%A8%80%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A