SFT 微調實驗室

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22SFT%20%E5%BE%AE%E8%AA%BF%E5%AF%A6%E9%A9%97%E5%AE%A4%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%94%A7%20SFT%20%E5%BE%AE%E8%AA%BF%E5%AF%A6%E9%A9%97%E5%AE%A4%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%E3%80%82%E6%94%B9%E5%A3%9E%E4%BA%86%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E5%B0%B1%E5%BE%A9%E5%8E%9F%E3%80%82%0A%0A%20%20%20%20%E5%A3%93%E8%BB%B8%E6%98%AF%E7%AC%AC%206%EF%B8%8F%E2%83%A3%20%E7%AF%80%EF%BC%9A%E4%BD%A0%E6%9C%83%E5%9C%A8%E7%80%8F%E8%A6%BD%E5%99%A8%E8%A3%A1**%E8%A6%AA%E6%89%8B%20SFT%20%E4%B8%80%E5%80%8B%E8%BF%B7%E4%BD%A0%E8%AA%9E%E8%A8%80%E6%A8%A1%E5%9E%8B**%EF%BC%8C%0A%20%20%20%20%E7%9C%8B%E8%91%97%E5%AE%83%E5%BE%9E%E3%80%8C%E5%8F%AA%E6%9C%83%E7%9E%8E%E6%8E%A5%E8%A9%B1%E3%80%8D%E8%AE%8A%E6%88%90%E3%80%8C%E6%9C%83%E5%9B%9E%E7%AD%94%E5%95%8F%E9%A1%8C%E3%80%8D%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20SFT%20%E7%AB%99%E5%9C%A8%E8%A8%93%E7%B7%B4%E7%AE%A1%E7%B7%9A%E7%9A%84%E5%93%AA%E8%A3%A1%0A%0A%20%20%20%20%E4%B8%80%E5%80%8B%E8%81%8A%E5%A4%A9%E5%8A%A9%E7%90%86%E7%9A%84%E8%AA%95%E7%94%9F%E9%80%9A%E5%B8%B8%E5%88%86%E4%B8%89%E6%AD%A5%EF%BC%9A%0A%0A%20%20%20%201.%20**%E9%A0%90%E8%A8%93%E7%B7%B4%EF%BC%88Pretraining%EF%BC%89**%E2%80%94%E2%80%94%E6%B5%B7%E9%87%8F%E6%96%87%E6%9C%AC%E4%B8%8A%E5%AD%B8%E3%80%8C%E6%8E%A5%E4%B8%8B%E4%B8%80%E5%80%8B%E5%AD%97%E3%80%8D%E3%80%82%E7%94%A2%E7%89%A9%E6%98%AF%20base%20model%EF%BC%9A%0A%20%20%20%20%20%20%20%E7%9F%A5%E8%AD%98%E6%B7%B5%E5%8D%9A%EF%BC%8C%E4%BD%86%E5%8F%AA%E6%9C%83**%E7%BA%8C%E5%AF%AB**%EF%BC%8C%E4%B8%8D%E6%9C%83**%E5%B0%8D%E8%A9%B1**%E3%80%82%0A%20%20%20%202.%20**SFT%EF%BC%88Supervised%20Fine-Tuning%EF%BC%8C%E7%9B%A3%E7%9D%A3%E5%BC%8F%E5%BE%AE%E8%AA%BF%EF%BC%89**%E2%80%94%E2%80%94%E7%94%A8%E3%80%8C%E6%8C%87%E4%BB%A4%20%E2%86%92%20%E7%90%86%E6%83%B3%E5%9B%9E%E7%AD%94%E3%80%8D%E7%9A%84%0A%20%20%20%20%20%20%20%E7%A4%BA%E7%AF%84%E8%B3%87%E6%96%99%E7%B9%BC%E7%BA%8C%E8%A8%93%E7%B7%B4%EF%BC%8C%E6%95%99%E5%AE%83**%E8%81%BD%E6%87%82%E6%8C%87%E4%BB%A4%E3%80%81%E7%94%A8%E5%8A%A9%E7%90%86%E7%9A%84%E6%A0%BC%E5%BC%8F%E5%9B%9E%E8%A9%B1**%E3%80%82%E2%AC%85%20%E6%9C%AC%E8%AA%B2%E4%B8%BB%E8%A7%92%0A%20%20%20%203.%20**%E5%81%8F%E5%A5%BD%E5%B0%8D%E9%BD%8A%EF%BC%88RLHF%20%2F%20DPO%E2%80%A6%EF%BC%89**%E2%80%94%E2%80%94%E5%86%8D%E7%94%A8%E4%BA%BA%E9%A1%9E%E5%81%8F%E5%A5%BD%E6%8A%8A%E5%9B%9E%E7%AD%94%E8%AA%BF%E5%BE%97%E6%9B%B4%E5%A5%BD%E3%80%82%0A%0A%20%20%20%20%E9%97%9C%E9%8D%B5%E8%AA%8D%E7%9F%A5%EF%BC%9A**SFT%20%E4%B8%8D%E6%98%AF%E9%87%8D%E6%96%B0%E8%A8%93%E7%B7%B4%EF%BC%8C%E6%98%AF%E5%9C%A8%20base%20model%20%E4%B8%8A%E3%80%8C%E8%A3%9C%E8%AA%B2%E3%80%8D**%E2%80%94%E2%80%94%0A%20%20%20%20%E8%B3%87%E6%96%99%E9%87%8F%E5%B8%B8%E5%B8%B8%E5%8F%AA%E6%9C%89%E9%A0%90%E8%A8%93%E7%B7%B4%E7%9A%84%E7%99%BE%E8%90%AC%E5%88%86%E4%B9%8B%E4%B8%80%EF%BC%8C%E5%8D%BB%E8%83%BD%E5%BE%B9%E5%BA%95%E6%94%B9%E8%AE%8A%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%A1%8C%E7%82%BA%E6%96%B9%E5%BC%8F%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E6%8C%87%E4%BB%A4%E8%B3%87%E6%96%99%E9%95%B7%E4%BB%80%E9%BA%BC%E6%A8%A3%0A%0A%20%20%20%20SFT%20%E7%9A%84%E5%8E%9F%E6%96%99%E5%B0%B1%E6%98%AF%E4%B8%80%E5%A0%86%E3%80%8C%E6%80%8E%E9%BA%BC%E5%95%8F%E3%80%81%E8%A9%B2%E6%80%8E%E9%BA%BC%E7%AD%94%E3%80%8D%E7%9A%84%E7%A4%BA%E7%AF%84%E3%80%82%E4%B8%8B%E9%9D%A2%E6%98%AF%E6%9C%AC%E8%AA%B2%E8%87%AA%E5%B8%B6%E7%9A%84%E8%BF%B7%E4%BD%A0%E8%B3%87%E6%96%99%E9%9B%86%0A%20%20%20%20%EF%BC%88%E5%BE%85%E6%9C%83%E5%85%92%E7%AC%AC%206%EF%B8%8F%E2%83%A3%20%E7%AF%80%E5%B0%B1%E7%94%A8%E5%AE%83%E5%BE%AE%E8%AA%BF%E6%A8%A1%E5%9E%8B%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E8%BF%B7%E4%BD%A0%E6%8C%87%E4%BB%A4%E8%B3%87%E6%96%99%E9%9B%86%EF%BC%9Aq%20%3D%20%E6%8C%87%E4%BB%A4%20%2F%20a%20%3D%20%E7%90%86%E6%83%B3%E5%9B%9E%E7%AD%94%EF%BC%88%E5%85%A8%E5%B0%8F%E5%AF%AB%E8%8B%B1%E6%96%87%EF%BC%8C%E8%AE%93%E8%BF%B7%E4%BD%A0%E6%A8%A1%E5%9E%8B%E5%A5%BD%E5%AD%B8%EF%BC%89%0A%20%20%20%20sft_pairs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22what%20color%20is%20the%20sky%3F%22%2C%20%22blue.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20color%20is%20grass%3F%22%2C%20%22green.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20color%20is%20snow%3F%22%2C%20%22white.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20color%20is%20the%20sun%3F%22%2C%20%22yellow.%22)%2C%0A%20%20%20%20%20%20%20%20(%22how%20many%20legs%20has%20a%20cat%3F%22%2C%20%22four.%22)%2C%0A%20%20%20%20%20%20%20%20(%22how%20many%20legs%20has%20a%20bird%3F%22%2C%20%22two.%22)%2C%0A%20%20%20%20%20%20%20%20(%22how%20many%20days%20in%20a%20week%3F%22%2C%20%22seven.%22)%2C%0A%20%20%20%20%20%20%20%20(%22is%20fire%20hot%20or%20cold%3F%22%2C%20%22hot.%22)%2C%0A%20%20%20%20%20%20%20%20(%22is%20ice%20hot%20or%20cold%3F%22%2C%20%22cold.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20do%20cats%20say%3F%22%2C%20%22meow.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20do%20dogs%20say%3F%22%2C%20%22woof.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20do%20cows%20say%3F%22%2C%20%22moo.%22)%2C%0A%20%20%20%20%20%20%20%20(%22where%20do%20fish%20live%3F%22%2C%20%22in%20water.%22)%2C%0A%20%20%20%20%20%20%20%20(%22where%20do%20birds%20sleep%3F%22%2C%20%22in%20trees.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20shines%20at%20night%3F%22%2C%20%22the%20moon.%22)%2C%0A%20%20%20%20%20%20%20%20(%22what%20falls%20from%20clouds%3F%22%2C%20%22rain.%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20sft_pairs%0A%20%20%20%20return%20(sft_pairs%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E7%9C%9F%E5%AF%A6%E4%B8%96%E7%95%8C%E7%9A%84%20SFT%20%E8%B3%87%E6%96%99%E5%9C%A8%E8%A8%93%E7%B7%B4%E5%89%8D%E6%9C%83%E5%85%88%E5%A5%97%E4%B8%8A%20**chat%20template**%E2%80%94%E2%80%94%0A%20%20%20%20%E7%94%A8%E7%89%B9%E6%AE%8A%E8%A8%98%E8%99%9F%E6%A8%99%E5%87%BA%E8%AA%B0%E5%9C%A8%E8%AA%AA%E8%A9%B1%E3%80%82%E4%BB%A5%20Qwen%20%E7%B3%BB%E5%88%97%E7%82%BA%E4%BE%8B%EF%BC%8C%E4%B8%80%E7%AD%86%E8%B3%87%E6%96%99%E6%9C%83%E8%AE%8A%E6%88%90%EF%BC%9A%0A%0A%20%20%20%20%60%60%60text%0A%20%20%20%20%3C%7Cim_start%7C%3Euser%0A%20%20%20%20what%20color%20is%20the%20sky%3F%3C%7Cim_end%7C%3E%0A%20%20%20%20%3C%7Cim_start%7C%3Eassistant%0A%20%20%20%20blue.%3C%7Cim_end%7C%3E%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E5%AD%B8%E6%9C%83%E9%80%99%E5%A5%97%E6%A0%BC%E5%BC%8F%E5%BE%8C%EF%BC%8C%E6%8E%A8%E8%AB%96%E6%99%82%E5%8F%AA%E8%A6%81%E9%A4%B5%E5%88%B0%20%60%3C%7Cim_start%7C%3Eassistant%60%EF%BC%8C%0A%20%20%20%20%E5%AE%83%E5%B0%B1%E7%9F%A5%E9%81%93%E3%80%8C%E8%BC%AA%E5%88%B0%E6%88%91%E7%94%A8%E5%8A%A9%E7%90%86%E7%9A%84%E8%BA%AB%E5%88%86%E5%9B%9E%E8%A9%B1%E4%BA%86%E3%80%8D%E3%80%82%0A%20%20%20%20%E6%9C%AC%E8%AA%B2%E7%9A%84%E8%BF%B7%E4%BD%A0%E6%A8%A1%E5%9E%8B%E7%94%A8%E7%B0%A1%E5%8C%96%E7%89%88%E6%A8%A1%E6%9D%BF%20%60q%3A%20%E5%95%8F%E9%A1%8C%5Cna%3A%20%E5%9B%9E%E7%AD%94%5Cn%5Cn%60%E2%80%94%E2%80%94%E6%A6%82%E5%BF%B5%E5%AE%8C%E5%85%A8%E7%9B%B8%E5%90%8C%EF%BC%8C%0A%20%20%20%20%E5%8F%AA%E6%98%AF%E7%9F%AD%E5%88%B0%E5%AD%97%E5%85%83%E7%B4%9A%E5%B0%8F%E6%A8%A1%E5%9E%8B%E4%B9%9F%E5%AD%B8%E5%BE%97%E5%8B%95%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20Tokenization%EF%BC%9A%E6%A8%A1%E5%9E%8B%E7%9C%BC%E4%B8%AD%E6%B2%92%E6%9C%89%E3%80%8C%E5%AD%97%E3%80%8D%EF%BC%8C%E5%8F%AA%E6%9C%89%E7%B7%A8%E8%99%9F%0A%0A%20%20%20%20%E8%A8%93%E7%B7%B4%E5%89%8D%E6%96%87%E5%AD%97%E8%A6%81%E5%85%88%E5%88%87%E6%88%90%20token%20%E6%8F%9B%E6%88%90%E6%95%B4%E6%95%B8%E7%B7%A8%E8%99%9F%E3%80%82%E6%9C%AC%E8%AA%B2%E7%9A%84%E8%BF%B7%E4%BD%A0%E6%A8%A1%E5%9E%8B%E7%94%A8%E6%9C%80%E7%B0%A1%E5%96%AE%E7%9A%84%0A%20%20%20%20**%E5%AD%97%E5%85%83%E7%B4%9A**%E5%88%87%E6%B3%95%EF%BC%88%E4%B8%80%E5%80%8B%E5%AD%97%E5%85%83%20%3D%20%E4%B8%80%E5%80%8B%20token%EF%BC%89%EF%BC%9B%E7%9C%9F%E5%AF%A6%20LLM%20%E7%94%A8%20BPE%20%E5%AD%90%E8%A9%9E%0A%20%20%20%20%EF%BC%88%E5%B8%B8%E8%A6%8B%E5%AD%97%E6%95%B4%E5%A1%8A%E3%80%81%E7%BD%95%E8%A6%8B%E5%AD%97%E6%8B%86%E5%B0%8F%E5%A1%8A%EF%BC%8C%E8%A9%9E%E8%A1%A8%E6%95%B8%E8%90%AC%E5%88%B0%E6%95%B8%E5%8D%81%E8%90%AC%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E5%9C%A8%E4%B8%8B%E9%9D%A2%E8%BC%B8%E5%85%A5%E6%A1%86%E6%89%93%E5%AD%97%EF%BC%8C%E7%9C%8B%E6%96%87%E5%AD%97%E8%AE%8A%E6%88%90%E7%B7%A8%E8%99%9F%E2%80%94%E2%80%94**%E4%B8%8D%E5%9C%A8%E8%A9%9E%E8%A1%A8%E8%A3%A1%E7%9A%84%E5%AD%97%E5%85%83%E6%9C%83%E8%AE%8A%20%60%E2%9F%A8unk%E2%9F%A9%60**%0A%20%20%20%20%EF%BC%88%E8%A9%A6%E8%A9%A6%E6%89%93%E4%B8%AD%E6%96%87%EF%BC%9A%E8%BF%B7%E4%BD%A0%E8%A9%9E%E8%A1%A8%E5%8F%AA%E6%94%B6%E4%BA%86%E8%8B%B1%E6%96%87%E5%B0%8F%E5%AF%AB%EF%BC%8C%E9%80%99%E6%AD%A3%E6%98%AF%E3%80%8C%E8%A9%9E%E8%A1%A8%E8%A6%86%E8%93%8B%E7%8E%87%E3%80%8D%E5%95%8F%E9%A1%8C%E7%9A%84%E7%B8%AE%E5%BD%B1%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20tok_input%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D%22the%20sky%20is%20blue%22%2C%20label%3D%22%E6%83%B3%E7%B7%A8%E7%A2%BC%E7%9A%84%E6%96%87%E5%AD%97%22%2C%20full_width%3DTrue%0A%20%20%20%20)%0A%20%20%20%20tok_input%0A%20%20%20%20return%20(tok_input%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20tok_input%2C%20vocab)%3A%0A%20%20%20%20_chips%20%3D%20%5B%5D%0A%20%20%20%20for%20_ch%20in%20tok_input.value.lower()%3A%0A%20%20%20%20%20%20%20%20if%20_ch%20in%20vocab%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_chips.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22display%3Ainline-block%3Bmargin%3A2px%3Bpadding%3A3px%208px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'border-radius%3A6px%3Bbackground%3A%23EAF3EC%3Bborder%3A1px%20solid%20%2355A868%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'font-family%3Amonospace%22%3E%7B%22%E2%90%A3%22%20if%20_ch%20%3D%3D%20%22%20%22%20else%20_ch%7D'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Csub%20style%3D%22color%3A%2352646E%22%3E%20%7Bvocab%5B_ch%5D%7D%3C%2Fsub%3E%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_chips.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'%3Cspan%20style%3D%22display%3Ainline-block%3Bmargin%3A2px%3Bpadding%3A3px%208px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'border-radius%3A6px%3Bbackground%3A%23FBEFE8%3Bborder%3A1px%20solid%20%23C44E52%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'font-family%3Amonospace%22%3E%E2%9F%A8unk%E2%9F%A9%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(%22%3Cdiv%3E%22%20%2B%20%22%22.join(_chips)%20%2B%20%22%3C%2Fdiv%3E%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20Loss%20Masking%EF%BC%9A%E5%8F%AA%E5%9C%A8%E3%80%8C%E5%9B%9E%E7%AD%94%E3%80%8D%E4%B8%8A%E5%AD%B8%0A%0A%20%20%20%20SFT%20%E6%9C%80%E9%87%8D%E8%A6%81%E7%9A%84%E6%8A%80%E8%A1%93%E7%B4%B0%E7%AF%80%EF%BC%9A%E4%B8%80%E7%AD%86%E8%A8%93%E7%B7%B4%E8%B3%87%E6%96%99%E8%A3%A1**%E5%95%8F%E9%A1%8C%E5%92%8C%E5%9B%9E%E7%AD%94%E9%83%BD%E5%9C%A8**%EF%BC%8C%0A%20%20%20%20%E4%BD%86%E6%88%91%E5%80%91%E5%8F%AA%E5%B8%8C%E6%9C%9B%E6%A8%A1%E5%9E%8B%E5%AD%B8%E3%80%8C%E6%80%8E%E9%BA%BC%E5%9B%9E%E7%AD%94%E3%80%8D%EF%BC%8C%E4%B8%8D%E5%B8%8C%E6%9C%9B%E5%AE%83%E6%B5%AA%E8%B2%BB%E5%8A%9B%E6%B0%A3%E5%AD%B8%E3%80%8C%E6%80%8E%E9%BA%BC%E5%87%BA%E9%A1%8C%E3%80%8D%E3%80%82%0A%0A%20%20%20%20%E5%81%9A%E6%B3%95%EF%BC%9A%E7%AE%97%E6%90%8D%E5%A4%B1%EF%BC%88loss%EF%BC%89%E6%99%82%EF%BC%8C%E6%8A%8A**%E5%95%8F%E9%A1%8C%E9%83%A8%E5%88%86%E7%9A%84%20token%20%E9%81%AE%E8%B5%B7%E4%BE%86**%EF%BC%88mask%EF%BC%8C%E5%AF%A6%E5%8B%99%E4%B8%8A%E6%98%AF%E6%8A%8A%0A%20%20%20%20label%20%E8%A8%AD%E6%88%90%20-100%EF%BC%89%EF%BC%8C%E5%8F%AA%E6%9C%89**%E5%9B%9E%E7%AD%94%E9%83%A8%E5%88%86**%E7%9A%84%E9%A0%90%E6%B8%AC%E9%8C%AF%E8%AA%A4%E6%9C%83%E5%9B%9E%E5%82%B3%E6%A2%AF%E5%BA%A6%E3%80%82%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%8A%8A%E4%B8%80%E7%AD%86%E8%B3%87%E6%96%99%E7%9A%84%E6%AF%8F%E5%80%8B%E5%AD%97%E5%85%83%E8%91%97%E8%89%B2%E2%80%94%E2%80%94%E7%81%B0%E8%89%B2%E4%B8%8D%E7%AE%97%20loss%E3%80%81%E7%B6%A0%E8%89%B2%E6%89%8D%E7%AE%97%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20sft_pairs)%3A%0A%20%20%20%20_q%2C%20_a%20%3D%20sft_pairs%5B0%5D%0A%20%20%20%20_formatted%20%3D%20f%22q%3A%20%7B_q%7D%5Cna%3A%20%7B_a%7D%5Cn%22%0A%20%20%20%20_answer_start%20%3D%20_formatted.index(%22a%3A%20%22)%20%2B%203%0A%20%20%20%20_chips%20%3D%20%5B%5D%0A%20%20%20%20for%20_i%2C%20_ch%20in%20enumerate(_formatted)%3A%0A%20%20%20%20%20%20%20%20_shown%20%3D%20%7B%22%20%22%3A%20%22%E2%90%A3%22%2C%20%22%5Cn%22%3A%20%22%E2%8F%8E%22%7D.get(_ch%2C%20_ch)%0A%20%20%20%20%20%20%20%20if%20_i%20%3E%3D%20_answer_start%20and%20_ch%20!%3D%20%22%5Cn%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_style%20%3D%20%22background%3A%23EAF3EC%3Bborder%3A1.5px%20solid%20%2355A868%3Bcolor%3A%231C2B33%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_style%20%3D%20%22background%3A%23F0F0F0%3Bborder%3A1px%20solid%20%23C8C8C8%3Bcolor%3A%239AA3A8%22%0A%20%20%20%20%20%20%20%20_chips.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22display%3Ainline-block%3Bmargin%3A2px%3Bpadding%3A3px%207px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'border-radius%3A6px%3Bfont-family%3Amonospace%3B%7B_style%7D%22%3E%7B_shown%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%3Cdiv%3E%22%20%2B%20%22%22.join(_chips)%20%2B%20%22%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20'%3Cp%20style%3D%22font-size%3A13px%3Bcolor%3A%2352646E%22%3E%E7%81%B0%EF%BC%9Dmasked%EF%BC%88%E4%B8%8D%E7%AE%97%20loss%EF%BC%89%C2%B7'%0A%20%20%20%20%20%20%20%20%22%E7%B6%A0%EF%BC%9D%E8%A8%88%E7%AE%97%20loss%20%E7%9A%84%E7%9B%AE%E6%A8%99%EF%BC%88%E6%A8%A1%E5%9E%8B%E7%9C%9F%E6%AD%A3%E5%9C%A8%E5%AD%B8%E7%9A%84%E9%83%A8%E5%88%86%EF%BC%89%3C%2Fp%3E%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E7%AC%AC%206%EF%B8%8F%E2%83%A3%20%E7%AF%80%E7%9A%84%E5%AF%A6%E9%A9%97%E6%9C%89%E4%B8%80%E5%80%8B%E3%80%8C**%E9%81%AE%E4%B8%8D%E9%81%AE%E5%95%8F%E9%A1%8C**%E3%80%8D%E7%9A%84%E9%96%8B%E9%97%9C%EF%BC%8C%E4%BD%A0%E5%8F%AF%E4%BB%A5%E8%A6%AA%E8%87%AA%E9%A9%97%E8%AD%89%E9%80%99%E4%BB%B6%E4%BA%8B%E7%9A%84%E5%BD%B1%E9%9F%BF%E3%80%82%0A%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20LoRA%EF%BC%9A%E4%B8%8D%E5%8B%95%E5%8E%9F%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%A4%96%E6%8E%9B%E5%B0%8F%E8%A3%9C%E4%B8%81%0A%0A%20%20%20%20%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF%E8%A6%81%E6%9B%B4%E6%96%B0**%E6%89%80%E6%9C%89**%E6%AC%8A%E9%87%8D%E2%80%94%E2%80%940.5B%20%E6%A8%A1%E5%9E%8B%E5%B0%B1%E6%98%AF%205%20%E5%84%84%E5%80%8B%E6%95%B8%E5%AD%97%EF%BC%8C%E9%A1%AF%E5%8D%A1%E5%90%83%E4%B8%8D%E6%B6%88%E3%80%82%0A%20%20%20%20**LoRA**%20%E7%9A%84%E8%A7%A3%E6%B3%95%EF%BC%9A%E5%8E%9F%E6%AC%8A%E9%87%8D%20%24W%24%20%E5%87%8D%E7%B5%90%E4%B8%8D%E5%8B%95%EF%BC%8C%E6%97%81%E9%82%8A%E6%8E%9B%E4%B8%80%E5%B0%8D%E5%B0%8F%E7%9F%A9%E9%99%A3%20%24B%20%5Ccdot%20A%24%0A%20%20%20%20%EF%BC%88%E7%A7%A9%E7%82%BA%20%24r%24%EF%BC%89%EF%BC%8C%E5%8F%AA%E8%A8%93%E7%B7%B4%E9%80%99%E5%B0%8D%E5%B0%8F%E7%9F%A9%E9%99%A3%EF%BC%9A%0A%0A%20%20%20%20%24%24W'%20%3D%20W%20%2B%20B%20%5Ccdot%20A%2C%5Cquad%20B%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bd%20%5Ctimes%20r%7D%2C%5C%20A%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Br%20%5Ctimes%20d%7D%2C%5C%20r%20%5Cll%20d%24%24%0A%0A%20%20%20%20%E6%8B%89%E5%8B%95%20%24r%24%EF%BC%8C%E7%9C%8B%200.5B%20%E7%B4%9A%E6%A8%A1%E5%9E%8B%EF%BC%88%E4%BB%A5%20Qwen2.5-0.5B%20%E7%9A%84%E5%B0%BA%E5%AF%B8%E7%82%BA%E4%BE%8B%EF%BC%89%E8%A6%81%E8%A8%93%E7%B7%B4%E7%9A%84%E5%8F%83%E6%95%B8%E9%87%8F%E5%B7%AE%E5%A4%9A%E5%B0%91%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20lora_rank%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D64%2C%20step%3D1%2C%20value%3D16%2C%20label%3D%22LoRA%20rank%20r%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20lora_rank%0A%20%20%20%20return%20(lora_rank%2C)%0A%0A%0A%40app.cell%0Adef%20_(lora_rank%2C%20plt)%3A%0A%20%20%20%20%23%20Qwen2.5-0.5B%20%E9%87%8F%E7%B4%9A%EF%BC%9Ad_model%3D896%E3%80%8124%20%E5%B1%A4%EF%BC%8C%E5%B0%8D%20q%2Fk%2Fv%2Fo%20%E5%9B%9B%E5%80%8B%E6%8A%95%E5%BD%B1%E6%8E%9B%20LoRA%0A%20%20%20%20_d%2C%20_layers%2C%20_proj%20%3D%20896%2C%2024%2C%204%0A%20%20%20%20full_trainable%20%3D%20494_000_000%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF%EF%BC%88%E6%95%B4%E5%80%8B%E6%A8%A1%E5%9E%8B%EF%BC%89%0A%20%20%20%20lora_trainable%20%3D%202%20*%20_d%20*%20lora_rank.value%20*%20_proj%20*%20_layers%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203))%0A%20%20%20%20_bars%20%3D%20_ax.barh(%0A%20%20%20%20%20%20%20%20%5B%22full%20fine-tune%22%2C%20f%22LoRA%20(r%3D%7Blora_rank.value%7D)%22%5D%2C%0A%20%20%20%20%20%20%20%20%5Bfull_trainable%2C%20lora_trainable%5D%2C%20color%3D%5B%22%23C8C8C8%22%2C%20%22%2355A868%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.set_xscale(%22log%22)%0A%20%20%20%20_ax.set_xlabel(%22trainable%20parameters%20(log%20scale)%22)%0A%20%20%20%20for%20_b%2C%20_v%20in%20zip(_bars%2C%20%5Bfull_trainable%2C%20lora_trainable%5D)%3A%0A%20%20%20%20%20%20%20%20_ax.text(_v%20*%201.3%2C%20_b.get_y()%20%2B%20_b.get_height()%20%2F%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_v%3A%2C%7D%22%2C%20va%3D%22center%22%2C%20fontsize%3D9)%0A%20%20%20%20_ax.set_xlim(1e5%2C%205e9)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20full_trainable%2C%20lora_trainable%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(full_trainable%2C%20lora_trainable%2C%20mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22LoRA%20%E5%8F%AA%E9%9C%80%E8%A8%93%E7%B7%B4%20**%7Blora_trainable%3A%2C%7D**%20%E5%80%8B%E5%8F%83%E6%95%B8%EF%BC%8C%E6%98%AF%E5%85%A8%E5%8F%83%E6%95%B8%E5%BE%AE%E8%AA%BF%E7%9A%84%20%22%0A%20%20%20%20%20%20%20%20f%22**%7Blora_trainable%20%2F%20full_trainable%3A.2%25%7D**%E2%80%94%E2%80%94%22%0A%20%20%20%20%20%20%20%20%22%E9%80%99%E5%B0%B1%E6%98%AF%E7%AD%86%E9%9B%BB%E7%AD%89%E7%B4%9A%E7%9A%84%E5%8D%A1%E4%B9%9F%E8%83%BD%E5%BE%AE%E8%AA%BF%20LLM%20%E7%9A%84%E5%8E%9F%E5%9B%A0%E3%80%82%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt)%3A%0A%20%20%20%20%23%20%E7%82%BA%E4%BB%80%E9%BA%BC%E4%BD%8E%E7%A7%A9%E5%A4%A0%E7%94%A8%EF%BC%9F%E2%80%94%E2%80%94%E5%B0%8D%E4%B8%80%E5%80%8B%E3%80%8C%E6%9C%AC%E8%B3%AA%E4%B8%8A%E4%BD%8E%E7%A7%A9%E3%80%8D%E7%9A%84%E6%9B%B4%E6%96%B0%E7%9F%A9%E9%99%A3%EF%BC%8C%E5%B0%8F%20r%20%E5%B0%B1%E8%83%BD%E9%87%8D%E5%BB%BA%E5%BE%97%E5%BE%88%E5%A5%BD%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(0)%0A%20%20%20%20_true_rank%20%3D%208%0A%20%20%20%20_dW%20%3D%20(_rng.normal(size%3D(64%2C%20_true_rank))%20%40%20_rng.normal(size%3D(_true_rank%2C%2064)))%0A%20%20%20%20_u%2C%20_s%2C%20_vt%20%3D%20np.linalg.svd(_dW)%0A%20%20%20%20_ranks%20%3D%20np.arange(1%2C%2033)%0A%20%20%20%20_errs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20float(np.linalg.norm(_dW%20-%20(_u%5B%3A%2C%20%3Ar%5D%20*%20_s%5B%3Ar%5D)%20%40%20_vt%5B%3Ar%2C%20%3A%5D)%20%2F%20np.linalg.norm(_dW))%0A%20%20%20%20%20%20%20%20for%20r%20in%20_ranks%0A%20%20%20%20%5D%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203.2))%0A%20%20%20%20_ax.plot(_ranks%2C%20_errs%2C%20%22o-%22%2C%20color%3D%22%234C72B0%22)%0A%20%20%20%20_ax.axvline(_true_rank%2C%20color%3D%22%23C44E52%22%2C%20ls%3D%22--%22%2C%20lw%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22true%20rank%20%3D%20%7B_true_rank%7D%22)%0A%20%20%20%20_ax.set_xlabel(%22LoRA%20rank%20r%22)%0A%20%20%20%20_ax.set_ylabel(%22reconstruction%20error%22)%0A%20%20%20%20_ax.set_title(%22Low-rank%20is%20enough%20(if%20the%20update%20is%20low-rank)%22)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E7%B4%85%E7%B7%9A%E8%99%95%E8%AA%A4%E5%B7%AE%E6%AD%B8%E9%9B%B6%EF%BC%9A%E6%9B%B4%E6%96%B0%E7%9F%A9%E9%99%A3%E7%9A%84%E3%80%8C%E6%9C%AC%E8%B3%AA%E7%A7%A9%E3%80%8D%E5%8F%AA%E6%9C%89%208%EF%BC%8C%24r%20%5Cgeq%208%24%20%E5%B0%B1%E8%83%BD%E5%AE%8C%E6%95%B4%E9%87%8D%E5%BB%BA%E3%80%82%0A%20%20%20%20SFT%20%E8%A6%81%E6%95%99%E7%9A%84%E8%A1%8C%E7%82%BA%E6%94%B9%E8%AE%8A%EF%BC%88%E6%A0%BC%E5%BC%8F%E3%80%81%E8%AA%9E%E6%B0%A3%E3%80%81%E8%81%BD%E6%8C%87%E4%BB%A4%EF%BC%89%E7%B6%93%E9%A9%97%E4%B8%8A%E5%B0%B1%E6%98%AF%E4%BD%8E%E7%A7%A9%E7%9A%84%E2%80%94%E2%80%94%0A%20%20%20%20%E6%89%80%E4%BB%A5%E5%B0%8F%E5%B0%8F%E7%9A%84%20%24r%24%20%E9%80%9A%E5%B8%B8%E5%A4%A0%E7%94%A8%E3%80%82%0A%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E6%8B%9B%E7%89%8C%E5%AF%A6%E9%A9%97%EF%BC%9A%E8%A6%AA%E6%89%8B%20SFT%20%E4%B8%80%E5%80%8B%E8%BF%B7%E4%BD%A0%E8%AA%9E%E8%A8%80%E6%A8%A1%E5%9E%8B%0A%0A%20%20%20%20%E6%8E%A5%E4%B8%8B%E4%BE%86%E7%9A%84%E6%A8%A1%E5%9E%8B**%E5%AE%8C%E5%85%A8%E5%9C%A8%E4%BD%A0%E7%9A%84%E7%80%8F%E8%A6%BD%E5%99%A8%E8%A3%A1**%E7%94%A8%20numpy%20%E8%A8%93%E7%B7%B4%EF%BC%88%E7%B4%84%201.1%20%E8%90%AC%E5%80%8B%E5%8F%83%E6%95%B8%E3%80%81%0A%20%20%20%20%E5%AD%97%E5%85%83%E7%B4%9A%E3%80%818%20%E5%AD%97%E5%85%83%E4%B8%8A%E4%B8%8B%E6%96%87%E7%9A%84%E5%B0%8F%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF%EF%BC%89%E3%80%82%E6%B5%81%E7%A8%8B%E5%AE%8C%E5%85%A8%E5%B0%8D%E6%87%89%E7%9C%9F%E5%AF%A6%20LLM%EF%BC%9A%0A%0A%20%20%20%201.%20**%E9%A0%90%E8%A8%93%E7%B7%B4**%EF%BC%9A%E5%9C%A8%E4%B8%80%E6%AE%B5%E9%80%9A%E7%94%A8%E8%8B%B1%E6%96%87%E7%9F%AD%E5%8F%A5%E8%AA%9E%E6%96%99%E4%B8%8A%E5%AD%B8%E3%80%8C%E6%8E%A5%E4%B8%8B%E4%B8%80%E5%80%8B%E5%AD%97%E3%80%8D%EF%BC%88%E8%BC%89%E5%85%A5%E6%99%82%E5%B7%B2%E8%87%AA%E5%8B%95%E8%B7%91%E5%AE%8C%EF%BC%89%0A%20%20%20%202.%20**SFT**%EF%BC%9A%E5%BE%9E%E9%A0%90%E8%A8%93%E7%B7%B4%E6%AC%8A%E9%87%8D%E5%87%BA%E7%99%BC%EF%BC%8C%E5%9C%A8%E7%AC%AC%202%EF%B8%8F%E2%83%A3%20%E7%AF%80%E9%82%A3%2016%20%E7%AD%86%20QA%20%E8%B3%87%E6%96%99%E4%B8%8A%E5%BE%AE%E8%AA%BF%0A%20%20%20%203.%20**%E5%B0%8D%E6%AF%94**%EF%BC%9A%E5%90%8C%E4%B8%80%E5%80%8B%E5%95%8F%E9%A1%8C%EF%BC%8C%E7%9C%8B%20base%20%E6%A8%A1%E5%9E%8B%20vs%20SFT%20%E5%BE%8C%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%9B%9E%E6%87%89%0A%0A%20%20%20%20%E5%85%88%E7%9C%8B%E9%A0%90%E8%A8%93%E7%B7%B4%E7%9A%84%E6%88%90%E6%9E%9C%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(sft_pairs)%3A%0A%20%20%20%20%23%20%E8%AA%9E%E6%96%99%EF%BC%9A%E9%A0%90%E8%A8%93%E7%B7%B4%20%3D%20%E9%80%9A%E7%94%A8%E7%9F%AD%E5%8F%A5%EF%BC%9BSFT%20%3D%20%E6%A8%A1%E6%9D%BF%E5%8C%96%20QA%EF%BC%88q%3A%2Fa%3A%20%E6%A0%BC%E5%BC%8F%EF%BC%89%0A%20%20%20%20pretrain_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%22the%20sun%20is%20bright%20and%20the%20sky%20is%20wide.%20%22%0A%20%20%20%20%20%20%20%20%22a%20cat%20sat%20on%20the%20warm%20stone%20and%20the%20dog%20ran%20in%20the%20grass.%20%22%0A%20%20%20%20%20%20%20%20%22rain%20falls%20on%20the%20trees%20and%20the%20river%20runs%20to%20the%20sea.%20%22%0A%20%20%20%20%20%20%20%20%22birds%20sing%20in%20the%20morning%20and%20the%20moon%20shines%20at%20night.%20%22%0A%20%20%20%20%20%20%20%20%22the%20fish%20swim%20in%20cold%20water%20and%20the%20wind%20moves%20the%20clouds.%20%22%0A%20%20%20%20%20%20%20%20%22we%20walk%20on%20the%20road%20and%20see%20the%20green%20hills%20far%20away.%20%22%0A%20%20%20%20%20%20%20%20%22fire%20is%20hot%20and%20ice%20is%20cold.%20snow%20is%20white%20and%20grass%20is%20green.%20%22%0A%20%20%20%20%20%20%20%20%22the%20little%20bird%20has%20two%20legs%20and%20the%20old%20cat%20has%20four%20legs.%20%22%0A%20%20%20%20%20%20%20%20%22seven%20days%20make%20a%20week%20and%20the%20sun%20rises%20every%20day.%20%22%0A%20%20%20%20%20%20%20%20%22the%20water%20in%20the%20sea%20is%20deep%20and%20the%20light%20of%20the%20sun%20is%20warm.%20%22%0A%20%20%20%20)%20*%203%0A%0A%20%20%20%20sft_text%20%3D%20%22%22.join(f%22q%3A%20%7Bq%7D%5Cna%3A%20%7Ba%7D%5Cn%5Cn%22%20for%20q%2C%20a%20in%20sft_pairs)%20*%206%0A%0A%20%20%20%20%23%20%E7%AD%94%E6%A1%88%E9%81%AE%E7%BD%A9%EF%BC%9A%E5%8F%AA%E6%9C%89%20%22a%3A%20%22%20%E4%B9%8B%E5%BE%8C%EF%BC%88%E5%90%AB%E6%8F%9B%E8%A1%8C%E5%89%8D%EF%BC%89%E7%9A%84%E5%AD%97%E5%85%83%E6%98%AF%E3%80%8C%E8%A6%81%E5%AD%B8%E7%9A%84%E7%9B%AE%E6%A8%99%E3%80%8D%0A%20%20%20%20answer_mask%20%3D%20%5B%5D%0A%20%20%20%20_in_answer%20%3D%20False%0A%20%20%20%20_i%20%3D%200%0A%20%20%20%20while%20_i%20%3C%20len(sft_text)%3A%0A%20%20%20%20%20%20%20%20if%20sft_text%5B_i%20%3A%20_i%20%2B%203%5D%20%3D%3D%20%22a%3A%20%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer_mask%20%2B%3D%20%5BFalse%2C%20False%2C%20False%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_in_answer%20%3D%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20_i%20%2B%3D%203%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20if%20sft_text%5B_i%5D%20%3D%3D%20%22%5Cn%22%20and%20_in_answer%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E5%9B%9E%E5%90%88%E7%B5%90%E6%9D%9F%E7%AC%A6%EF%BC%88%E6%8F%9B%E8%A1%8C%EF%BC%89%E4%B9%9F%E8%A6%81%E7%AE%97%20loss%E2%80%94%E2%80%94%E5%B0%8D%E6%87%89%E7%9C%9F%E5%AF%A6%20SFT%20%E6%8A%8A%20%3C%7Cim_end%7C%3E%20%E7%B4%8D%E5%85%A5%E7%9B%AE%E6%A8%99%EF%BC%8C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E5%90%A6%E5%89%87%E6%A8%A1%E5%9E%8B%E5%AD%B8%E6%9C%83%E5%9B%9E%E7%AD%94%E5%8D%BB%E5%AD%B8%E4%B8%8D%E6%9C%83%E3%80%8C%E5%81%9C%E3%80%8D%0A%20%20%20%20%20%20%20%20%20%20%20%20answer_mask.append(True)%0A%20%20%20%20%20%20%20%20%20%20%20%20_in_answer%20%3D%20False%0A%20%20%20%20%20%20%20%20%20%20%20%20_i%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20answer_mask.append(_in_answer)%0A%20%20%20%20%20%20%20%20_i%20%2B%3D%201%0A%20%20%20%20return%20answer_mask%2C%20pretrain_text%2C%20sft_text%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pretrain_text%2C%20sft_text)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20%E8%BF%B7%E4%BD%A0%E5%AD%97%E5%85%83%E7%B4%9A%E8%AA%9E%E8%A8%80%E6%A8%A1%E5%9E%8B%EF%BC%88%E7%B4%94%20numpy%EF%BC%89%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20CTX%20%3D%2016%20%20%20%20%20%20%20%20%20%20%20%23%20%E4%B8%8A%E4%B8%8B%E6%96%87%E9%95%B7%E5%BA%A6%EF%BC%9A%E7%9C%8B%E5%89%8D%2016%20%E5%80%8B%E5%AD%97%E5%85%83%EF%BC%88%E8%A6%81%E8%A3%9D%E5%BE%97%E4%B8%8B%E5%95%8F%E9%A1%8C%E7%9A%84%E9%97%9C%E9%8D%B5%E5%AD%97%EF%BC%89%0A%20%20%20%20EMB%2C%20HID%20%3D%2016%2C%2064%20%20%23%20%E5%B5%8C%E5%85%A5%E7%B6%AD%E5%BA%A6%20%2F%20%E9%9A%B1%E8%97%8F%E5%B1%A4%E5%AF%AC%E5%BA%A6%0A%0A%20%20%20%20chars%20%3D%20sorted(set(pretrain_text%20%2B%20sft_text))%0A%20%20%20%20vocab%20%3D%20%7Bc%3A%20i%20for%20i%2C%20c%20in%20enumerate(chars)%7D%0A%20%20%20%20V%20%3D%20len(chars)%0A%0A%20%20%20%20def%20encode(s)%3A%0A%20%20%20%20%20%20%20%20return%20%5Bvocab%5Bc%5D%20for%20c%20in%20s.lower()%20if%20c%20in%20vocab%5D%0A%0A%20%20%20%20def%20init_params(seed%3D1)%3A%0A%20%20%20%20%20%20%20%20r%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22E%22%3A%20r.normal(0%2C%200.08%2C%20(V%2C%20EMB))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22W1%22%3A%20r.normal(0%2C%200.08%2C%20(CTX%20*%20EMB%2C%20HID))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b1%22%3A%20np.zeros(HID)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22W2%22%3A%20r.normal(0%2C%200.08%2C%20(HID%2C%20V))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b2%22%3A%20np.zeros(V)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20forward(p%2C%20X)%3A%0A%20%20%20%20%20%20%20%20e%20%3D%20p%5B%22E%22%5D%5BX%5D.reshape(len(X)%2C%20-1)%20%20%20%20%20%20%20%20%20%20%23%20%5BB%2C%20CTX*EMB%5D%0A%20%20%20%20%20%20%20%20h%20%3D%20np.tanh(e%20%40%20p%5B%22W1%22%5D%20%2B%20p%5B%22b1%22%5D)%20%20%20%20%20%20%20%20%20%23%20%5BB%2C%20HID%5D%0A%20%20%20%20%20%20%20%20logits%20%3D%20h%20%40%20p%5B%22W2%22%5D%20%2B%20p%5B%22b2%22%5D%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%5BB%2C%20V%5D%0A%20%20%20%20%20%20%20%20return%20e%2C%20h%2C%20logits%0A%0A%20%20%20%20def%20train(p%2C%20text%2C%20steps%2C%20lr%3D0.35%2C%20batch%3D64%2C%20seed%3D2%2C%20target_mask%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22SGD%20%E8%A8%93%E7%B7%B4%EF%BC%9Btarget_mask%5Bi%5D%3DFalse%20%E7%9A%84%E4%BD%8D%E7%BD%AE%E4%B8%8D%E8%A8%88%20loss%EF%BC%88%3D%20loss%20masking%EF%BC%89%22%22%22%0A%20%20%20%20%20%20%20%20p%20%3D%20%7Bk%3A%20v.copy()%20for%20k%2C%20v%20in%20p.items()%7D%0A%20%20%20%20%20%20%20%20ids%20%3D%20np.array(%5Bvocab%5Bc%5D%20for%20c%20in%20text%5D)%0A%20%20%20%20%20%20%20%20ok%20%3D%20np.arange(CTX%2C%20len(ids))%0A%20%20%20%20%20%20%20%20if%20target_mask%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20ok%5Bnp.array(target_mask)%5BCTX%3A%5D%5D%20%20%20%23%20%E5%8F%AA%E5%9C%A8%E7%AD%94%E6%A1%88%E5%AD%97%E5%85%83%E4%B8%8A%E5%AD%B8%0A%20%20%20%20%20%20%20%20r%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20losses%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(steps)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20pos%20%3D%20r.choice(ok%2C%20size%3Dbatch)%0A%20%20%20%20%20%20%20%20%20%20%20%20X%20%3D%20np.stack(%5Bids%5Bi%20-%20CTX%20%3A%20i%5D%20for%20i%20in%20pos%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20y%20%3D%20ids%5Bpos%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20e%2C%20h%2C%20logits%20%3D%20forward(p%2C%20X)%0A%20%20%20%20%20%20%20%20%20%20%20%20z%20%3D%20logits%20-%20logits.max(1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20probs%20%3D%20np.exp(z)%20%2F%20np.exp(z).sum(1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20losses.append(float(-np.log(probs%5Bnp.arange(batch)%2C%20y%5D%20%2B%201e-9).mean()))%0A%20%20%20%20%20%20%20%20%20%20%20%20d%20%3D%20probs%0A%20%20%20%20%20%20%20%20%20%20%20%20d%5Bnp.arange(batch)%2C%20y%5D%20-%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20d%20%2F%3D%20batch%0A%20%20%20%20%20%20%20%20%20%20%20%20gW2%20%3D%20h.T%20%40%20d%0A%20%20%20%20%20%20%20%20%20%20%20%20gb2%20%3D%20d.sum(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20dh%20%3D%20(d%20%40%20p%5B%22W2%22%5D.T)%20*%20(1%20-%20h%20*%20h)%0A%20%20%20%20%20%20%20%20%20%20%20%20gW1%20%3D%20e.T%20%40%20dh%0A%20%20%20%20%20%20%20%20%20%20%20%20gb1%20%3D%20dh.sum(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20de%20%3D%20(dh%20%40%20p%5B%22W1%22%5D.T).reshape(batch%2C%20CTX%2C%20EMB)%0A%20%20%20%20%20%20%20%20%20%20%20%20p%5B%22W2%22%5D%20-%3D%20lr%20*%20gW2%0A%20%20%20%20%20%20%20%20%20%20%20%20p%5B%22b2%22%5D%20-%3D%20lr%20*%20gb2%0A%20%20%20%20%20%20%20%20%20%20%20%20p%5B%22W1%22%5D%20-%3D%20lr%20*%20gW1%0A%20%20%20%20%20%20%20%20%20%20%20%20p%5B%22b1%22%5D%20-%3D%20lr%20*%20gb1%0A%20%20%20%20%20%20%20%20%20%20%20%20np.add.at(p%5B%22E%22%5D%2C%20X.reshape(-1)%2C%20-lr%20*%20de.reshape(-1%2C%20EMB))%0A%20%20%20%20%20%20%20%20return%20p%2C%20losses%0A%0A%20%20%20%20def%20generate(p%2C%20prompt%2C%20n%3D60%2C%20temp%3D0.6%2C%20seed%3D7)%3A%0A%20%20%20%20%20%20%20%20r%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20ids%20%3D%20encode(prompt)%0A%20%20%20%20%20%20%20%20ids%20%3D%20(%5Bvocab%5B%22%20%22%5D%5D%20*%20CTX%20%2B%20ids)%5B-max(CTX%2C%20len(ids)%20%2B%20CTX)%3A%5D%0A%20%20%20%20%20%20%20%20out%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(n)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20X%20%3D%20np.array(%5Bids%5B-CTX%3A%5D%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_%2C%20_%2C%20logits%20%3D%20forward(p%2C%20X)%0A%20%20%20%20%20%20%20%20%20%20%20%20z%20%3D%20logits%5B0%5D%20%2F%20temp%0A%20%20%20%20%20%20%20%20%20%20%20%20z%20-%3D%20z.max()%0A%20%20%20%20%20%20%20%20%20%20%20%20probs%20%3D%20np.exp(z)%20%2F%20np.exp(z).sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20nxt%20%3D%20int(r.choice(len(probs)%2C%20p%3Dprobs))%0A%20%20%20%20%20%20%20%20%20%20%20%20ids.append(nxt)%0A%20%20%20%20%20%20%20%20%20%20%20%20out.append(chars%5Bnxt%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20chars%5Bnxt%5D%20%3D%3D%20%22%5Cn%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%20%20%23%20%E5%9B%9E%E5%90%88%E7%B5%90%E6%9D%9F%E7%AC%A6%EF%BC%9D%E8%BF%B7%E4%BD%A0%E7%89%88%20%3C%7Cim_end%7C%3E%0A%20%20%20%20%20%20%20%20return%20%22%22.join(out)%0A%0A%20%20%20%20return%20encode%2C%20generate%2C%20init_params%2C%20train%2C%20vocab%0A%0A%0A%40app.cell%0Adef%20_(init_params%2C%20plt%2C%20pretrain_text%2C%20train)%3A%0A%20%20%20%20%23%20%E9%A0%90%E8%A8%93%E7%B7%B4%EF%BC%9A%E9%80%9A%E7%94%A8%E8%AA%9E%E6%96%99%E3%80%81%E4%B8%8D%E9%81%AE%E7%BD%A9%EF%BC%88%E6%AF%8F%E5%80%8B%E5%AD%97%E5%85%83%E9%83%BD%E6%98%AF%E5%AD%B8%E7%BF%92%E7%9B%AE%E6%A8%99%EF%BC%89%0A%20%20%20%20params_base%2C%20pretrain_losses%20%3D%20train(%0A%20%20%20%20%20%20%20%20init_params()%2C%20pretrain_text%2C%20steps%3D1500%2C%20seed%3D3%0A%20%20%20%20)%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203))%0A%20%20%20%20_ax.plot(pretrain_losses%2C%20color%3D%22%234C72B0%22%2C%20lw%3D1)%0A%20%20%20%20_ax.set_xlabel(%22pretraining%20step%22)%0A%20%20%20%20_ax.set_ylabel(%22cross-entropy%20loss%22)%0A%20%20%20%20_ax.set_title(%22Pretraining%3A%20learning%20to%20predict%20the%20next%20character%22)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20(params_base%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20loss%20%E6%9C%89%E4%B8%8B%E9%99%8D%20%3D%20%E6%A8%A1%E5%9E%8B%E5%AD%B8%E6%9C%83%E4%BA%86%E9%80%99%E6%89%B9%E8%AA%9E%E6%96%99%E7%9A%84%E7%B5%B1%E8%A8%88%E8%A6%8F%E5%BE%8B%E3%80%82%E7%8F%BE%E5%9C%A8%E5%81%9A%20SFT%E2%80%94%E2%80%94%0A%20%20%20%20%E5%85%A9%E5%80%8B%E6%97%8B%E9%88%95%E9%83%BD%E6%9C%83**%E5%8D%B3%E6%99%82%E9%87%8D%E6%96%B0%E8%A8%93%E7%B7%B4**%EF%BC%88%E5%9C%A8%E4%BD%A0%E7%9A%84%E7%80%8F%E8%A6%BD%E5%99%A8%E8%A3%A1%EF%BC%8C%E7%B4%84%201%E2%80%932%20%E7%A7%92%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%20-%20**SFT%20%E6%AD%A5%E6%95%B8**%EF%BC%9A%E6%8B%89%E5%88%B0%200%20%3D%20%E5%AE%8C%E5%85%A8%E6%B2%92%E5%BE%AE%E8%AA%BF%E7%9A%84%20base%20%E6%A8%A1%E5%9E%8B%0A%20%20%20%20-%20**Loss%20masking**%EF%BC%9A%E9%97%9C%E6%8E%89%E5%AE%83%EF%BC%8C%E6%A8%A1%E5%9E%8B%E6%9C%83%E6%8A%8A%E5%8A%9B%E6%B0%A3%E5%88%86%E5%8E%BB%E5%AD%B8%E3%80%8C%E6%80%8E%E9%BA%BC%E5%87%BA%E9%A1%8C%E3%80%8D%EF%BC%88%E7%AC%AC%204%EF%B8%8F%E2%83%A3%20%E7%AF%80%E7%9A%84%E6%A6%82%E5%BF%B5%E9%A9%97%E8%AD%89%EF%BC%89%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20sft_steps%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D1200%2C%20step%3D100%2C%20value%3D800%2C%20label%3D%22SFT%20%E6%AD%A5%E6%95%B8%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mask_on%20%3D%20mo.ui.switch(value%3DTrue%2C%20label%3D%22Loss%20masking%EF%BC%88%E5%8F%AA%E5%9C%A8%E5%9B%9E%E7%AD%94%E4%B8%8A%E7%AE%97%20loss%EF%BC%89%22)%0A%20%20%20%20mo.hstack(%5Bsft_steps%2C%20mask_on%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20mask_on%2C%20sft_steps%0A%0A%0A%40app.cell%0Adef%20_(answer_mask%2C%20mask_on%2C%20mo%2C%20params_base%2C%20plt%2C%20sft_steps%2C%20sft_text%2C%20train)%3A%0A%20%20%20%20if%20sft_steps.value%20%3E%200%3A%0A%20%20%20%20%20%20%20%20params_sft%2C%20sft_losses%20%3D%20train(%0A%20%20%20%20%20%20%20%20%20%20%20%20params_base%2C%20sft_text%2C%20steps%3Dsft_steps.value%2C%20lr%3D0.25%2C%20seed%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20target_mask%3Danswer_mask%20if%20mask_on.value%20else%20None%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203))%0A%20%20%20%20%20%20%20%20_ax.plot(sft_losses%2C%20color%3D%22%2355A868%22%2C%20lw%3D1)%0A%20%20%20%20%20%20%20%20_ax.set_xlabel(%22SFT%20step%22)%0A%20%20%20%20%20%20%20%20_ax.set_ylabel(%22cross-entropy%20loss%22)%0A%20%20%20%20%20%20%20%20_ax.set_title(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22SFT%20(%7Bsft_steps.value%7D%20steps%2C%20masking%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'ON'%20if%20mask_on.value%20else%20'OFF'%7D)%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20%20%20%20%20_fig.tight_layout()%0A%20%20%20%20%20%20%20%20_out%20%3D%20_fig%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20params_sft%20%3D%20params_base%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22SFT%20%E6%AD%A5%E6%95%B8%20%3D%200%EF%BC%9A%E5%8F%B3%E9%82%8A%E7%9A%84%E3%80%8CSFT%20%E5%BE%8C%E3%80%8D%E5%B0%B1%E6%98%AF%E5%8E%9F%E5%A7%8B%20base%20%E6%A8%A1%E5%9E%8B%E3%80%82%22)%0A%20%20%20%20_out%0A%20%20%20%20return%20(params_sft%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**%E8%A6%8B%E8%AD%89%E6%99%82%E5%88%BB**%E2%80%94%E2%80%94%E5%90%8C%E4%B8%80%E5%80%8B%E5%95%8F%E9%A1%8C%EF%BC%8Cbase%20vs%20SFT%20%E5%BE%8C%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20ask%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D%22what%20color%20is%20the%20sky%3F%22%2C%20label%3D%22%E4%BD%A0%E7%9A%84%E5%95%8F%E9%A1%8C%EF%BC%88%E8%8B%B1%E6%96%87%E5%B0%8F%E5%AF%AB%EF%BC%89%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20ask%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell%0Adef%20_(ask%2C%20generate%2C%20mo%2C%20params_base%2C%20params_sft)%3A%0A%20%20%20%20_prompt%20%3D%20f%22q%3A%20%7Bask.value%7D%5Cna%3A%20%22%0A%20%20%20%20_before%20%3D%20generate(params_base%2C%20_prompt%2C%20n%3D50)%0A%20%20%20%20_after%20%3D%20generate(params_sft%2C%20_prompt%2C%20n%3D50)%0A%0A%20%20%20%20def%20_panel(title%2C%20text%2C%20color)%3A%0A%20%20%20%20%20%20%20%20return%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22border%3A2px%20solid%20%7Bcolor%7D%3Bborder-radius%3A10px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'padding%3A10px%2014px%3Bmin-height%3A90px%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-weight%3A800%3Bcolor%3A%7Bcolor%7D%3Bfont-size%3A13px%22%3E%7Btitle%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cpre%20style%3D%22margin%3A6px%200%200%3Bwhite-space%3Apre-wrap%3Bfont-size%3A13px%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22q%3A%20%7Bask.value%7D%5Cna%3A%20%7Btext%7D%3C%2Fpre%3E%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_panel(%22BASE%EF%BC%88%E5%8F%AA%E6%9C%83%E7%BA%8C%E5%AF%AB%EF%BC%89%22%2C%20_before%2C%20%22%239AA3A8%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_panel(%22SFT%20%E5%BE%8C%EF%BC%88%E5%AD%B8%E6%9C%83%E5%9B%9E%E7%AD%94%EF%BC%89%22%2C%20_after%2C%20%22%2355A868%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%20gap%3D1%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E5%B9%BE%E5%80%8B%E5%80%BC%E5%BE%97%E5%8B%95%E6%89%8B%E9%A9%97%E8%AD%89%E7%9A%84%E8%A7%80%E5%AF%9F%EF%BC%9A%0A%0A%20%20%20%20-%20%E5%95%8F**%E8%A8%93%E7%B7%B4%E9%81%8E**%E7%9A%84%E5%95%8F%E9%A1%8C%EF%BC%88%E5%A6%82%20%60what%20color%20is%20grass%3F%60%EF%BC%89%EF%BC%9ASFT%20%E5%BE%8C%E5%B9%BE%E4%B9%8E%E6%AF%8F%E6%AC%A1%E7%AD%94%E5%B0%8D%0A%20%20%20%20-%20%E5%95%8F**%E6%B2%92%E8%A8%93%E7%B7%B4%E9%81%8E%E4%BD%86%E5%90%8C%E6%A0%BC%E5%BC%8F**%E7%9A%84%E5%95%8F%E9%A1%8C%EF%BC%88%E5%A6%82%20%60what%20color%20is%20the%20sea%3F%60%EF%BC%89%EF%BC%9A%E5%AE%83%E6%9C%83%E7%94%A8%E6%AD%A3%E7%A2%BA%0A%20%20%20%20%20%20%E6%A0%BC%E5%BC%8F%E7%AD%94%EF%BC%8C%E4%BD%86%E5%85%A7%E5%AE%B9%E5%8F%AF%E8%83%BD%E4%BA%82%E6%8E%B0%E2%80%94%E2%80%94**SFT%20%E6%95%99%E7%9A%84%E6%98%AF%E3%80%8C%E8%A1%8C%E7%82%BA%E3%80%8D%EF%BC%8C%E4%B8%8D%E6%98%AF%E3%80%8C%E7%9F%A5%E8%AD%98%E3%80%8D**%EF%BC%8C%0A%20%20%20%20%20%20%E7%9F%A5%E8%AD%98%E4%B8%BB%E8%A6%81%E4%BE%86%E8%87%AA%E9%A0%90%E8%A8%93%E7%B7%B4%E3%80%82%E9%80%99%E4%B9%9F%E6%98%AF%E5%B9%BB%E8%A6%BA%EF%BC%88hallucination%EF%BC%89%E7%9A%84%E7%B8%AE%E5%BD%B1%0A%20%20%20%20-%20SFT%20%E5%BE%8C%E7%9A%84%E6%A8%A1%E5%9E%8B**%E7%AD%94%E5%AE%8C%E6%9C%83%E8%87%AA%E5%B7%B1%E5%81%9C**%E2%80%94%E2%80%94%E5%9B%A0%E7%82%BA%E6%88%91%E5%80%91%E6%8A%8A%E3%80%8C%E7%AD%94%E6%A1%88%E5%BE%8C%E7%9A%84%E6%8F%9B%E8%A1%8C%E3%80%8D%E4%B9%9F%E7%AE%97%E9%80%B2%20loss%EF%BC%8C%0A%20%20%20%20%20%20%E5%AE%83%E5%B0%B1%E6%98%AF%E8%BF%B7%E4%BD%A0%E7%89%88%E7%9A%84%20%60%3C%7Cim_end%7C%3E%60%20%E7%B5%90%E6%9D%9F%E7%AC%A6%E3%80%82%E6%B2%92%E5%AD%B8%E7%B5%90%E6%9D%9F%E7%AC%A6%E7%9A%84%E6%A8%A1%E5%9E%8B%E6%9C%83%E7%AD%94%E5%B0%8D%E7%84%B6%E5%BE%8C%E4%B8%80%E8%B7%AF%E7%9E%8E%E8%AC%9B%0A%20%20%20%20%20%20%EF%BC%88%E9%80%99%E6%98%AF%E7%9C%9F%E5%AF%A6%20SFT%20%E5%B8%B8%E8%A6%8B%E7%9A%84%20bug%EF%BC%8C%E6%9C%AC%E8%AA%B2%E9%96%8B%E7%99%BC%E6%99%82%E4%B9%9F%E8%B8%A9%E4%BA%86%E4%B8%80%E6%AC%A1%EF%BC%89%0A%20%20%20%20-%20%E6%8A%8A%20**SFT%20%E6%AD%A5%E6%95%B8%E6%8B%89%E5%88%B0%200**%EF%BC%9A%E5%8F%B3%E6%AC%84%E9%80%80%E5%8C%96%E6%88%90%E7%9E%8E%E6%8E%A5%E8%A9%B1%E7%9A%84%20base%20%E6%A8%A1%E5%9E%8B%0A%20%20%20%20-%20%E9%97%9C%E6%8E%89%20**loss%20masking**%20%E5%86%8D%E7%9C%8B%EF%BC%9A%E6%A8%A1%E5%9E%8B%E6%9C%83%E9%96%8B%E5%A7%8B%E8%87%AA%E5%B7%B1%E3%80%8C%E5%87%BA%E9%A1%8C%E3%80%8D%EF%BC%8C%E5%9B%A0%E7%82%BA%E5%AE%83%E6%8A%8A%E5%AD%B8%E7%BF%92%E5%8A%9B%0A%20%20%20%20%20%20%E5%88%86%E7%B5%A6%E4%BA%86%E5%95%8F%E9%A1%8C%E9%83%A8%E5%88%86%0A%0A%20%20%20%20%23%23%207%EF%B8%8F%E2%83%A3%20%E7%B7%B4%E7%BF%92%EF%BC%9A%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%201.%20%E5%9C%A8%E7%AC%AC%202%EF%B8%8F%E2%83%A3%20%E7%AF%80%E7%9A%84%20%60sft_pairs%60%20%E5%8A%A0%203%E2%80%935%20%E7%AD%86%E4%BD%A0%E8%87%AA%E5%B7%B1%E7%9A%84%20QA%EF%BC%88%E8%A8%98%E5%BE%97%E7%94%A8%E5%B0%8F%E5%AF%AB%E8%8B%B1%E6%96%87%EF%BC%89%EF%BC%8C%0A%20%20%20%20%20%20%20%E9%87%8D%E8%B7%91%E5%BE%8C%E6%B8%AC%E8%A9%A6%E6%A8%A1%E5%9E%8B%E5%AD%B8%E4%B8%8D%E5%AD%B8%E5%BE%97%E6%9C%83%0A%20%20%20%202.%20%E6%8A%8A%20SFT%20%E7%9A%84%E5%AD%B8%E7%BF%92%E7%8E%87%20%60lr%3D0.25%60%20%E6%94%B9%E5%A4%A7%EF%BC%88%E5%A6%82%201.0%EF%BC%89%E8%A7%80%E5%AF%9F%20loss%20%E6%9B%B2%E7%B7%9A%E6%9C%83%E7%99%BC%E7%94%9F%E4%BB%80%E9%BA%BC%E4%BA%8B%0A%20%20%20%203.%20%E6%80%9D%E8%80%83%E9%A1%8C%EF%BC%9A%E5%A6%82%E6%9E%9C%20SFT%20%E8%B3%87%E6%96%99%E8%A3%A1%E6%B7%B7%E9%80%B2%E4%BA%86%E9%8C%AF%E8%AA%A4%E7%AD%94%E6%A1%88%EF%BC%88%E5%A6%82%20%60the%20sky%20is%20green.%60%EF%BC%89%EF%BC%8C%0A%20%20%20%20%20%20%20%E6%A8%A1%E5%9E%8B%E6%9C%83%E6%80%8E%E6%A8%A3%EF%BC%9F%E2%80%94%E2%80%94%E9%80%99%E5%B0%B1%E6%98%AF%E7%82%BA%E4%BB%80%E9%BA%BC%20SFT%20%E8%B3%87%E6%96%99%E5%93%81%E8%B3%AA%E6%AF%94%E6%95%B8%E9%87%8F%E9%87%8D%E8%A6%81%0A%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%23%20%F0%9F%9A%80%20%E6%83%B3%E8%B7%91%E7%9C%9F%E7%9A%84%EF%BC%9FGPU%20%E8%BB%8C%E9%81%93%0A%0A%20%20%20%20%E9%80%99%E8%A3%A1%E7%9A%84%E8%BF%B7%E4%BD%A0%E6%A8%A1%E5%9E%8B%E6%98%AF%E6%A6%82%E5%BF%B5%E6%95%99%E5%85%B7%E3%80%82**%E7%9C%9F%E5%AF%A6%E7%89%88**%EF%BC%88transformers%20%2B%20peft%E3%80%810.5B%20%E6%A8%A1%E5%9E%8B%E3%80%81%0A%20%20%20%20LoRA%E3%80%81%E7%9C%9F%E7%9A%84%20loss%20masking%EF%BC%89%E5%9C%A8%E6%9C%AC%E8%AA%B2%E7%9A%84%20GPU%20notebook%20%60sft_gpu.py%60%E2%80%94%E2%80%94%0A%20%20%20%20%E5%9B%9E%E5%88%B0%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E9%A0%81%E6%9C%80%E5%BE%8C%E4%B8%80%E7%AF%80%EF%BC%8C%E8%B7%9F%E8%91%97%E6%AD%A5%E9%A9%9F%E5%9C%A8%20molab%20%E7%94%A8%E9%9B%B2%E7%AB%AF%20GPU%20%E8%B7%91%E4%B8%80%E9%81%8D%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(encode%2C%20generate%2C%20params_sft)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E4%BE%8B%EF%BC%9A%E7%9B%B4%E6%8E%A5%E7%94%A8%E7%A8%8B%E5%BC%8F%E5%91%BC%E5%8F%AB%20SFT%20%E5%BE%8C%E7%9A%84%E6%A8%A1%E5%9E%8B%0A%20%20%20%20my_prompt%20%3D%20%22q%3A%20what%20do%20cats%20say%3F%5Cna%3A%20%22%0A%20%20%20%20print(my_prompt%20%2B%20generate(params_sft%2C%20my_prompt%2C%20n%3D40))%0A%20%20%20%20print(f%22(%E8%A9%9E%E8%A1%A8%E5%A4%A7%E5%B0%8F%20%3D%20%7Blen(encode('abcdefghijklmnopqrstuvwxyz%20.%3F%3A%2C'))%7D%20%E5%80%8B%E5%B7%B2%E7%9F%A5%E5%AD%97%E5%85%83)%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A