取樣參數：模型怎麼挑下一個字（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E5%8F%96%E6%A8%A3%E5%8F%83%E6%95%B8%EF%BC%9A%E6%A8%A1%E5%9E%8B%E6%80%8E%E9%BA%BC%E6%8C%91%E4%B8%8B%E4%B8%80%E5%80%8B%E5%AD%97%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E5%8F%96%E6%A8%A3%E5%8F%83%E6%95%B8%EF%BC%9A%E6%A8%A1%E5%9E%8B%E6%80%8E%E9%BA%BC%E6%8C%91%E4%B8%8B%E4%B8%80%E5%80%8B%E5%AD%97%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%94%B9%E5%A3%9E%E4%BA%86%E4%B9%9F%E6%B2%92%E9%97%9C%E4%BF%82%EF%BC%9A%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E8%A3%A1%E6%B2%92%E6%9C%89%E7%9C%9F%E7%9A%84%E8%AA%9E%E8%A8%80%E6%A8%A1%E5%9E%8B%EF%BC%9A%E6%9C%AC%E8%AA%B2%E7%9A%84%E9%87%8D%E9%BB%9E%E6%98%AF**%E5%8F%96%E6%A8%A3%E9%82%A3%E4%B8%80%E5%B1%A4**%EF%BC%8C%0A%20%20%20%20%E5%AE%83%E6%8B%BF%E5%88%B0%E7%9A%84%E5%8F%AA%E6%98%AF%E4%B8%80%E6%8E%92%E6%95%B8%E5%AD%97%EF%BC%88logits%EF%BC%89%E3%80%82%E6%89%80%E4%BB%A5%E6%88%91%E5%80%91%E7%9B%B4%E6%8E%A5%E7%B5%A6%E4%B8%80%E6%8E%92%E6%95%B8%E5%AD%97%EF%BC%8C%0A%20%20%20%20%E6%8A%8A%20%60temperature%60%EF%BC%8F%60top_p%60%EF%BC%8F%60penalty%60%20%E7%9A%84%E5%85%AC%E5%BC%8F**%E5%8E%9F%E5%B0%81%E4%B8%8D%E5%8B%95%E7%AE%97%E7%B5%A6%E4%BD%A0%E7%9C%8B**%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%B5%A6%E5%85%A8%20notebook%20%E7%94%A8%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20%E2%94%80%E2%94%80%20%E5%85%A8%20notebook%20%E5%85%B1%E7%94%A8%E7%9A%84%E5%B8%B8%E6%95%B8%E8%88%87%E5%94%AF%E4%B8%80%E7%9A%84%E6%A0%B8%E5%BF%83%E5%87%BD%E5%BC%8F%20%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%E2%94%80%0A%20%20%20%20%23%20%E3%80%8C%E4%BB%8A%E5%A4%A9%E5%A4%A9%E6%B0%A3%E7%9C%9F___%E3%80%8D%E7%9A%84%E4%BA%94%E5%80%8B%E5%80%99%E9%81%B8%E5%AD%97%E3%80%82%0A%20%20%20%20%23%20%E5%9C%96%E8%A1%A8%E6%A8%99%E7%B1%A4%E4%B8%80%E5%BE%8B%E8%8B%B1%E6%96%87%EF%BC%88%E7%80%8F%E8%A6%BD%E5%99%A8%E8%A3%A1%E7%9A%84%20matplotlib%20%E6%B2%92%E6%9C%89%E4%B8%AD%E6%96%87%E5%AD%97%E5%9E%8B%EF%BC%89%EF%BC%9A%0A%20%20%20%20%23%20%20%20good%3D%E5%A5%BD%E3%80%80not%20bad%3D%E4%B8%8D%E9%8C%AF%E3%80%80hot%3D%E7%86%B1%E3%80%80cold%3D%E5%86%B7%E3%80%80quantum%3D%E9%87%8F%E5%AD%90%0A%20%20%20%20TOKENS%20%3D%20%5B%22good%22%2C%20%22not%20bad%22%2C%20%22hot%22%2C%20%22cold%22%2C%20%22quantum%22%5D%0A%0A%20%20%20%20%23%20%E6%A8%A1%E5%9E%8B%E7%9C%9F%E6%AD%A3%E5%90%90%E5%87%BA%E4%BE%86%E7%9A%84%E6%98%AF%20logit%EF%BC%88%E6%9C%AA%E6%AD%A3%E8%A6%8F%E5%8C%96%E7%9A%84%E5%88%86%E6%95%B8%EF%BC%8C%E5%8F%AF%E6%AD%A3%E5%8F%AF%E8%B2%A0%EF%BC%89%E3%80%82%0A%20%20%20%20%23%20%E9%80%99%E8%A3%A1%E6%8C%91%E4%B8%80%E7%B5%84%20logit%EF%BC%8C%E8%AE%93%20T%3D1%20%E6%99%82%E7%9A%84%E6%A9%9F%E7%8E%87%E8%90%BD%E5%9C%A8%2047%25%20%2F%2026%25%20%2F%2016%25%20%2F%2010%25%20%2F%200.5%25%E3%80%82%0A%20%20%20%20LOGITS%20%3D%20np.log(np.array(%5B0.45%2C%200.25%2C%200.15%2C%200.10%2C%200.005%5D))%0A%0A%20%20%20%20%23%20%E8%AA%9E%E7%BE%A9%E8%89%B2%EF%BC%9A%E8%97%8D%EF%BC%9D%E6%A8%A1%E5%9E%8B%E5%8E%9F%E5%A7%8B%E5%88%86%E4%BD%88%E3%80%81%E6%A9%98%EF%BC%9D%E8%A2%AB%E5%8F%83%E6%95%B8%E6%94%B9%E9%81%8E%E7%9A%84%E5%88%86%E4%BD%88%E3%80%81%E7%B6%A0%EF%BC%9D%E7%95%99%E4%B8%8B%E4%BE%86%E7%9A%84%E3%80%81%E7%B4%85%EF%BC%9D%E8%A2%AB%E7%A0%8D%2F%E8%A2%AB%E7%BD%B0%E7%9A%84%0A%20%20%20%20BLUE%2C%20ORANGE%2C%20GREEN%2C%20RED%20%3D%20%22%234C72B0%22%2C%20%22%23DD8452%22%2C%20%22%2355A868%22%2C%20%22%23C44E52%22%0A%0A%0A%20%20%20%20def%20softmax_t(logits%2C%20temperature)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E6%8A%8A%20logits%20%E8%AE%8A%E6%88%90%E6%A9%9F%E7%8E%87%EF%BC%9AP(token)%20%E2%88%9D%20exp(logit%20%2F%20T)%E3%80%82T%20%E5%9C%A8%E5%88%86%E6%AF%8D%EF%BC%8C%E9%80%99%E6%98%AF%E6%95%B4%E5%A0%82%E8%AA%B2%E7%9A%84%E9%97%9C%E9%8D%B5%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20z%20%3D%20logits%20%2F%20max(temperature%2C%201e-6)%0A%20%20%20%20%20%20%20%20z%20%3D%20z%20-%20z.max()%20%20%23%20%E6%95%B4%E6%8E%92%E5%B9%B3%E7%A7%BB%E4%B8%8D%E6%94%B9%E8%AE%8A%E7%B5%90%E6%9E%9C%EF%BC%8C%E5%8F%AA%E6%98%AF%E9%81%BF%E5%85%8D%20exp%20%E7%88%86%E6%8E%89%0A%20%20%20%20%20%20%20%20p%20%3D%20np.exp(z)%0A%20%20%20%20%20%20%20%20return%20p%20%2F%20p.sum()%0A%0A%20%20%20%20return%20BLUE%2C%20GREEN%2C%20LOGITS%2C%20ORANGE%2C%20RED%2C%20TOKENS%2C%20softmax_t%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E4%B8%80%E9%A1%86%E4%B8%8D%E5%85%AC%E5%B9%B3%E7%9A%84%E9%AA%B0%E5%AD%90%0A%0A%20%20%20%20%E6%A8%A1%E5%9E%8B%E7%9C%8B%E5%88%B0%E3%80%8C%E4%BB%8A%E5%A4%A9%E5%A4%A9%E6%B0%A3%E7%9C%9F%E3%80%8D%E4%B9%8B%E5%BE%8C%EF%BC%8C**%E4%B8%8D%E6%9C%83%E6%8C%91%E4%B8%80%E5%80%8B%E5%AD%97**%E2%80%94%E2%80%94%E5%AE%83%E7%B5%A6%E6%AF%8F%E5%80%8B%E5%80%99%E9%81%B8%E5%AD%97%E4%B8%80%E5%80%8B%E6%A9%9F%E7%8E%87%E3%80%82%0A%20%20%20%20%E7%9C%9F%E6%AD%A3%E6%8C%91%E5%AD%97%E7%9A%84%E6%98%AF%E5%BE%8C%E9%9D%A2%E9%82%A3%E4%B8%80%E6%AD%A5%EF%BC%9A**%E7%85%A7%E9%80%99%E7%B5%84%E6%A9%9F%E7%8E%87%E6%93%B2%E4%B8%80%E6%AC%A1%E9%AA%B0%E5%AD%90**%E3%80%82%0A%0A%20%20%20%20%E9%80%99%E9%A1%86%E9%AA%B0%E5%AD%90%E4%BA%94%E5%80%8B%E9%9D%A2%EF%BC%8C%E4%BD%86%E9%9D%A2%E7%A9%8D%E5%B7%AE%E5%BE%88%E5%A4%9A%EF%BC%9A%60good%60%20%E4%BD%94%2047%25%EF%BC%8C%60quantum%60%20%E5%8F%AA%E4%BD%94%200.52%25%E3%80%82%0A%20%20%20%20%E6%8B%89%E5%8B%95%E4%B8%8B%E9%9D%A2%E7%9A%84%E6%AC%A1%E6%95%B8%EF%BC%8C%E7%9C%8B%E7%9C%8B%E6%93%B2%E5%87%BA%E4%BE%86%E7%9A%84%E5%AF%A6%E9%9A%9B%E6%AC%A1%E6%95%B8%E6%80%8E%E9%BA%BC%E6%85%A2%E6%85%A2%E8%B2%BC%E8%BF%91%E7%90%86%E8%AB%96%E6%A9%9F%E7%8E%87%E2%80%94%E2%80%94%0A%20%20%20%20%E9%A0%86%E4%BE%BF%E7%9B%AF%E8%91%97%20%60quantum%60%EF%BC%9A**%E6%93%B2%20200%20%E6%AC%A1%E5%8F%AF%E8%83%BD%E4%B8%80%E6%AC%A1%E9%83%BD%E4%B8%8D%E5%87%BA%E7%8F%BE%EF%BC%8C%E6%93%B2%202000%20%E6%AC%A1%E5%AE%83%E5%B0%B1%E6%9C%83%E5%86%92%E5%87%BA%E4%BE%86%E5%8D%81%E5%B9%BE%E6%AC%A1**%E3%80%82%0A%20%20%20%20%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8C%E6%A8%A1%E5%9E%8B%E5%81%B6%E7%88%BE%E8%AC%9B%E6%80%AA%E8%A9%B1%E3%80%8D%E7%9A%84%E4%BE%86%E6%BA%90%EF%BC%9A%E6%A9%9F%E7%8E%87%E5%B0%8F%E4%B8%8D%E7%AD%89%E6%96%BC%E4%B8%8D%E6%9C%83%E7%99%BC%E7%94%9F%EF%BC%8C%E5%8F%AA%E6%98%AF%E8%A6%81%E7%AD%89%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n_draws%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D100%2C%20stop%3D3000%2C%20step%3D100%2C%20value%3D200%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E6%93%B2%E5%B9%BE%E6%AC%A1%E9%AA%B0%E5%AD%90%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20n_draws%0A%20%20%20%20return%20(n_draws%2C)%0A%0A%0A%40app.cell%0Adef%20_(BLUE%2C%20LOGITS%2C%20ORANGE%2C%20TOKENS%2C%20n_draws%2C%20np%2C%20plt%2C%20softmax_t)%3A%0A%20%20%20%20_p%20%3D%20softmax_t(LOGITS%2C%201.0)%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(42)%0A%20%20%20%20_draws%20%3D%20_rng.choice(len(TOKENS)%2C%20size%3Dn_draws.value%2C%20p%3D_p)%0A%20%20%20%20_counts%20%3D%20np.bincount(_draws%2C%20minlength%3Dlen(TOKENS))%0A%20%20%20%20_emp%20%3D%20_counts%20%2F%20n_draws.value%0A%0A%20%20%20%20_x%20%3D%20np.arange(len(TOKENS))%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.4%2C%204.0))%0A%20%20%20%20_ax.bar(_x%20-%200.2%2C%20_p%2C%20width%3D0.4%2C%20color%3DBLUE%2C%20label%3D%22model%20probability%22)%0A%20%20%20%20_ax.bar(_x%20%2B%200.2%2C%20_emp%2C%20width%3D0.4%2C%20color%3DORANGE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22observed%20in%20%7Bn_draws.value%7D%20rolls%22)%0A%20%20%20%20for%20_i%20in%20_x%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%20-%200.2%2C%20_p%5B_i%5D%20%2B%200.006%2C%20f%22%7B_p%5B_i%5D%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D8.5%2C%20color%3DBLUE)%0A%20%20%20%20%20%20%20%20_ax.text(_i%20%2B%200.2%2C%20_emp%5B_i%5D%20%2B%200.006%2C%20str(_counts%5B_i%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D8.5%2C%20color%3DORANGE)%0A%20%20%20%20_ax.set_xticks(_x)%0A%20%20%20%20_ax.set_xticklabels(TOKENS)%0A%20%20%20%20_ax.set_ylabel(%22probability%20%2F%20share%22)%0A%20%20%20%20_ax.set_title(%22An%20unfair%205-sided%20die%3A%20theory%20vs%20actual%20rolls%22)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20right%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20temperature%EF%BC%9A%E6%8A%8A%E9%AA%B0%E5%AD%90%E5%A3%93%E5%B0%96%E6%88%96%E5%A3%93%E5%B9%B3%0A%0A%20%20%20%20%E5%8F%AA%E6%9C%89%E4%B8%80%E6%A2%9D%E5%85%AC%E5%BC%8F%EF%BC%8C%E8%A8%98%E4%BD%8F%20**T%20%E5%9C%A8%E5%88%86%E6%AF%8D**%E5%B0%B1%E5%A4%A0%E4%BA%86%EF%BC%9A%0A%0A%20%20%20%20%24%24P(%5Ctext%7Btoken%7D)%20%5C%3B%5Cpropto%5C%3B%20%5Cexp%5C!%5Cleft(%5Cfrac%7B%5Ctext%7Blogit%7D%7D%7BT%7D%5Cright)%24%24%0A%0A%20%20%20%20-%20**T%20%E5%B0%8F**%20%E2%87%92%20logit%20%E5%B7%AE%E8%B7%9D%E8%A2%AB**%E6%94%BE%E5%A4%A7**%20%E2%87%92%20%E5%88%86%E4%BD%88%E8%AE%8A%E5%B0%96%20%E2%87%92%20%E5%B9%BE%E4%B9%8E%E5%8F%AA%E9%81%B8%E7%AC%AC%E4%B8%80%E5%90%8D%EF%BC%88%E4%BF%9D%E5%AE%88%E3%80%81%E5%8F%AF%E9%87%8D%E7%8F%BE%EF%BC%89%0A%20%20%20%20-%20**T%20%E5%A4%A7**%20%E2%87%92%20logit%20%E5%B7%AE%E8%B7%9D%E8%A2%AB**%E6%8A%B9%E5%B9%B3**%20%E2%87%92%20%E5%88%86%E4%BD%88%E8%AE%8A%E5%B9%B3%20%E2%87%92%20%E5%86%B7%E9%96%80%E5%AD%97%E4%B9%9F%E6%9C%89%E6%A9%9F%E6%9C%83%EF%BC%88%E6%9C%89%E5%89%B5%E6%84%8F%E3%80%81%E6%AF%8F%E6%AC%A1%E4%B8%8D%E5%90%8C%EF%BC%89%0A%0A%20%20%20%20%E6%8B%89%E6%A1%BF%E5%9C%A8%E4%B8%8B%E9%9D%A2%E3%80%82%E7%81%B0%E8%89%B2%E8%99%9B%E7%B7%9A%E6%98%AF%20T%3D1%20%E7%9A%84%E5%8E%9F%E5%A7%8B%E5%88%86%E4%BD%88%EF%BC%8C%E6%A9%98%E8%89%B2%E6%98%AF%E7%8F%BE%E5%9C%A8%E9%80%99%E5%80%8B%20T%E2%80%94%E2%80%94%0A%20%20%20%20%E7%9C%8B%E7%9A%84%E6%98%AF**%E5%90%8C%E4%B8%80%E7%B5%84%20logit**%EF%BC%8C%E5%8F%AA%E6%98%AF%E8%A2%AB%E5%90%8C%E4%B8%80%E5%80%8B%E5%88%86%E6%AF%8D%E9%99%A4%E9%81%8E%E3%80%82%E4%B8%89%E5%80%8B%E5%80%BC%E4%B8%80%E5%AE%9A%E8%A6%81%E6%8B%89%E5%8E%BB%E7%9C%8B%EF%BC%9A%0A%0A%20%20%20%20%7C%20T%20%7C%20%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%20%7C%20%E9%81%A9%E5%90%88%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%200.2%20%7C%20%60good%60%20%E5%90%83%E6%8E%89%2094.6%25%EF%BC%8C%E5%85%B6%E4%BB%96%E5%B9%BE%E4%B9%8E%E6%AD%B8%E9%9B%B6%20%7C%20%E6%8A%BD%E5%8F%96%E3%80%81%E5%88%86%E9%A1%9E%E3%80%81%E5%AF%AB%E7%A8%8B%E5%BC%8F%20%7C%0A%20%20%20%20%7C%201.0%20%7C%20%E6%A8%A1%E5%9E%8B%E5%8E%9F%E6%9C%AC%E7%9A%84%E6%83%B3%E6%B3%95%20%7C%20%E4%B8%80%E8%88%AC%E5%B0%8D%E8%A9%B1%20%7C%0A%20%20%20%20%7C%202.0%20%7C%20%60quantum%60%20%E5%BE%9E%200.5%25%20%E7%88%AC%E5%88%B0%203.6%25%EF%BC%88%E4%B8%83%E5%80%8D%EF%BC%89%20%7C%20%E5%89%B5%E4%BD%9C%E3%80%81%E8%85%A6%E5%8A%9B%E6%BF%80%E7%9B%AA%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20temperature%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.05%2C%20stop%3D2.0%2C%20step%3D0.05%2C%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22temperature%20(T)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20temperature%0A%20%20%20%20return%20(temperature%2C)%0A%0A%0A%40app.cell%0Adef%20_(BLUE%2C%20LOGITS%2C%20ORANGE%2C%20TOKENS%2C%20np%2C%20plt%2C%20softmax_t%2C%20temperature)%3A%0A%20%20%20%20_p1%20%3D%20softmax_t(LOGITS%2C%201.0)%0A%20%20%20%20_pt%20%3D%20softmax_t(LOGITS%2C%20temperature.value)%0A%0A%20%20%20%20_x%20%3D%20np.arange(len(TOKENS))%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.4%2C%204.0))%0A%20%20%20%20_ax.bar(_x%2C%20_p1%2C%20width%3D0.62%2C%20facecolor%3D%22none%22%2C%20edgecolor%3DBLUE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%20linewidth%3D1.4%2C%20label%3D%22T%20%3D%201.0%20(original)%22)%0A%20%20%20%20_ax.bar(_x%2C%20_pt%2C%20width%3D0.44%2C%20color%3DORANGE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22T%20%3D%20%7Btemperature.value%3A.2f%7D%22)%0A%20%20%20%20for%20_i%20in%20_x%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%2C%20_pt%5B_i%5D%20%2B%200.012%2C%20f%22%7B_pt%5B_i%5D%3A.1%25%7D%22%2C%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%20color%3DORANGE%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_ax.set_xticks(_x)%0A%20%20%20%20_ax.set_xticklabels(TOKENS)%0A%20%20%20%20_ax.set_ylim(0%2C%201.05)%0A%20%20%20%20_ax.set_ylabel(%22probability%22)%0A%20%20%20%20_ax.set_title(f%22softmax(logit%20%2F%20T)%20%20%E2%80%94%20%20top-1%20%3D%20%7B_pt.max()%3A.1%25%7D%22)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20right%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20top_p%EF%BC%9A%E6%8A%8A%E9%95%B7%E5%B0%BE%E7%9B%B4%E6%8E%A5%E7%A0%8D%E6%8E%89%0A%0A%20%20%20%20temperature%20%E6%98%AF**%E6%94%B9%E6%A9%9F%E7%8E%87**%EF%BC%8C%60top_p%60%EF%BC%88%E6%A0%B8%E6%8E%A1%E6%A8%A3%20%2F%20nucleus%20sampling%EF%BC%89%E6%98%AF**%E6%94%B9%E5%90%8D%E5%96%AE**%EF%BC%9A%0A%0A%20%20%20%201.%20%E6%8A%8A%E5%80%99%E9%81%B8%E5%AD%97**%E7%85%A7%E6%A9%9F%E7%8E%87%E7%94%B1%E5%A4%A7%E5%88%B0%E5%B0%8F%E6%8E%92%E5%BA%8F**%0A%20%20%20%202.%20%E4%B8%80%E8%B7%AF**%E7%B4%AF%E5%8A%A0**%EF%BC%8C%E7%B4%AF%E7%A9%8D%E6%A9%9F%E7%8E%87**%E7%AC%AC%E4%B8%80%E6%AC%A1%E8%B7%A8%E9%81%8E%20p**%20%E7%9A%84%E9%82%A3%E5%80%8B%E5%AD%97%E7%82%BA%E6%AD%A2%E9%83%BD%E7%95%99%E8%91%97%0A%20%20%20%203.%20%E5%90%8D%E5%96%AE%E5%A4%96%E7%9A%84%E5%AD%97**%E4%B8%9F%E6%A3%84**%EF%BC%88%E6%A9%9F%E7%8E%87%E8%AE%8A%E6%88%90%200%EF%BC%8C%E4%B8%8D%E6%98%AF%E8%AE%8A%E5%B0%8F%E2%80%94%E2%80%94%E6%98%AF%E6%8A%BD%E4%B8%8D%E5%88%B0%E4%BA%86%EF%BC%89%0A%20%20%20%204.%20%E7%95%99%E4%B8%8B%E4%BE%86%E7%9A%84%E9%87%8D%E6%96%B0%E6%AD%B8%E4%B8%80%E5%8C%96%EF%BC%8C%E5%9C%A8%E9%80%99%E5%80%8B%E3%80%8C%E6%A0%B8%E3%80%8D%E8%A3%A1%E9%9D%A2%E6%93%B2%E9%AA%B0%E5%AD%90%0A%0A%20%20%20%20T%3D1%20%E6%99%82%E7%B4%AF%E7%A9%8D%E6%98%AF%20%600.471%20%E2%86%92%200.733%20%E2%86%92%200.890%20%E2%86%92%200.995%20%E2%86%92%201.0%60%E3%80%82%E6%89%80%E4%BB%A5%20%60top_p%3D0.9%60%20%E6%9C%83%E7%95%99%E4%B8%8B%0A%20%20%20%20good%20%2F%20not%20bad%20%2F%20hot%20%2F%20cold%20%E5%9B%9B%E5%80%8B%EF%BC%8C**%60quantum%60%20%E5%87%BA%E5%B1%80**%E3%80%82%E6%B3%A8%E6%84%8F%20%60hot%60%20%E7%B4%AF%E7%A9%8D%E5%88%B0%200.890%0A%20%20%20%20%E5%8F%AA%E5%B7%AE%200.01%20%E5%B0%B1%E8%B7%A8%E9%81%8E%E9%96%80%E6%AA%BB%E2%80%94%E2%80%94%E6%8A%8A%20top_p%20%E6%8B%89%E5%88%B0%200.88%EF%BC%8C%E9%80%A3%20%60cold%60%20%E9%83%BD%E6%9C%83%E8%A2%AB%E7%A0%8D%E6%8E%89%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E7%B5%A6%E4%BD%A0**%E5%85%A9%E6%A0%B9**%E6%8B%89%E6%A1%BF%EF%BC%8C%E6%AD%A3%E6%98%AF%E7%82%BA%E4%BA%86%E8%AE%93%E4%BD%A0%E8%A6%AA%E7%9C%BC%E7%9C%8B%E5%88%B0%E9%82%A3%E5%8F%A5%E5%AF%A6%E5%8B%99%E5%BB%BA%E8%AD%B0%E7%9A%84%E9%81%93%E7%90%86%EF%BC%9A%0A%20%20%20%20**temperature%20%E5%92%8C%20top_p%20%E6%93%87%E4%B8%80%E8%AA%BF%E5%B0%B1%E5%A5%BD**%E3%80%82%E5%85%A9%E5%80%8B%E9%83%BD%E5%8B%95%EF%BC%8C%E5%BE%88%E9%9B%A3%E9%A0%90%E6%B8%AC%E7%B5%90%E6%9E%9C%E2%80%94%E2%80%94%0A%20%20%20%20T%20%E6%8B%89%E9%AB%98%E8%AE%93%20%60quantum%60%20%E8%AE%8A%E5%A4%A7%EF%BC%8Ctop_p%20%E5%8F%88%E7%AB%8B%E5%88%BB%E6%8A%8A%E5%AE%83%E7%A0%8D%E6%8E%89%EF%BC%8C%E5%85%A9%E5%80%8B%E5%8F%83%E6%95%B8%E5%9C%A8%E4%BA%92%E7%9B%B8%E6%8A%B5%E9%8A%B7%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20t_nuc%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.05%2C%20stop%3D2.0%2C%20step%3D0.05%2C%20value%3D1.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22temperature%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20top_p%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.30%2C%20stop%3D1.0%2C%20step%3D0.01%2C%20value%3D0.9%2C%0A%20%20%20%20%20%20%20%20label%3D%22top_p%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bt_nuc%2C%20top_p%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20t_nuc%2C%20top_p%0A%0A%0A%40app.cell%0Adef%20_(GREEN%2C%20LOGITS%2C%20RED%2C%20TOKENS%2C%20np%2C%20plt%2C%20softmax_t%2C%20t_nuc%2C%20top_p)%3A%0A%20%20%20%20_p%20%3D%20softmax_t(LOGITS%2C%20t_nuc.value)%0A%20%20%20%20_order%20%3D%20np.argsort(_p)%5B%3A%3A-1%5D%0A%20%20%20%20_sorted_p%20%3D%20_p%5B_order%5D%0A%20%20%20%20_cum%20%3D%20np.cumsum(_sorted_p)%0A%20%20%20%20%23%20%E7%B4%AF%E7%A9%8D%E7%AC%AC%E4%B8%80%E6%AC%A1%E8%B7%A8%E9%81%8E%20top_p%20%E7%9A%84%E4%BD%8D%E7%BD%AE%E4%B9%9F%E8%A6%81%E7%95%99%E4%B8%8B%20%E2%86%92%20%E4%BF%9D%E7%95%99%20k%20%E5%80%8B%0A%20%20%20%20_k%20%3D%20int(np.searchsorted(_cum%2C%20top_p.value)%20%2B%201)%0A%20%20%20%20_k%20%3D%20min(_k%2C%20len(_p))%0A%0A%20%20%20%20_kept%20%3D%20np.zeros(len(_p)%2C%20dtype%3Dbool)%0A%20%20%20%20_kept%5B%3A_k%5D%20%3D%20True%0A%20%20%20%20_renorm%20%3D%20np.where(_kept%2C%20_sorted_p%20%2F%20_sorted_p%5B%3A_k%5D.sum()%2C%200.0)%0A%20%20%20%20_labels%20%3D%20%5BTOKENS%5Bi%5D%20for%20i%20in%20_order%5D%0A%20%20%20%20_colors%20%3D%20%5BGREEN%20if%20_kept%5Bi%5D%20else%20RED%20for%20i%20in%20range(len(_p))%5D%0A%20%20%20%20_x%20%3D%20np.arange(len(_p))%0A%0A%20%20%20%20_fig%2C%20(_a1%2C%20_a2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(9.6%2C%204.0))%0A%20%20%20%20_a1.bar(_x%2C%20_sorted_p%2C%20color%3D_colors%2C%20width%3D0.55)%0A%20%20%20%20_a1.plot(_x%2C%20_cum%2C%20color%3D%22%2352646E%22%2C%20marker%3D%22o%22%2C%20linewidth%3D1.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20markersize%3D5%2C%20label%3D%22cumulative%22)%0A%20%20%20%20_a1.axhline(top_p.value%2C%20color%3DRED%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22top_p%20%3D%20%7Btop_p.value%3A.2f%7D%22)%0A%20%20%20%20for%20_i%20in%20_x%3A%0A%20%20%20%20%20%20%20%20_a1.text(_i%2C%20_cum%5B_i%5D%20%2B%200.035%2C%20f%22%7B_cum%5B_i%5D%3A.3f%7D%22%2C%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D8%2C%20color%3D%22%2352646E%22)%0A%20%20%20%20_a1.set_xticks(_x)%0A%20%20%20%20_a1.set_xticklabels(_labels%2C%20rotation%3D18%2C%20ha%3D%22right%22)%0A%20%20%20%20_a1.set_ylim(0%2C%201.18)%0A%20%20%20%20_a1.set_ylabel(%22probability%22)%0A%20%20%20%20_a1.set_title(f%22sorted%20%2B%20cumulative%20%20(keep%20%7B_k%7D%20of%20%7Blen(_p)%7D)%22)%0A%20%20%20%20_a1.legend(loc%3D%22lower%20right%22%2C%20fontsize%3D8.5)%0A%20%20%20%20_a1.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%0A%20%20%20%20_a2.bar(_x%2C%20_renorm%2C%20color%3D_colors%2C%20width%3D0.55)%0A%20%20%20%20for%20_i%20in%20_x%3A%0A%20%20%20%20%20%20%20%20_a2.text(_i%2C%20_renorm%5B_i%5D%20%2B%200.02%2C%20f%22%7B_renorm%5B_i%5D%3A.1%25%7D%22%2C%20ha%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D8.5)%0A%20%20%20%20_a2.set_xticks(_x)%0A%20%20%20%20_a2.set_xticklabels(_labels%2C%20rotation%3D18%2C%20ha%3D%22right%22)%0A%20%20%20%20_a2.set_ylim(0%2C%201.05)%0A%20%20%20%20_a2.set_title(%22what%20you%20actually%20roll%20(renormalized)%22)%0A%20%20%20%20_a2.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20penalty%EF%BC%9A%E5%9C%A8%20logit%20%E4%B8%8A%E7%9B%B4%E6%8E%A5%E6%89%A3%E5%88%86%0A%0A%20%20%20%20%E5%89%8D%E5%85%A9%E5%80%8B%E5%8F%83%E6%95%B8%E5%8F%AA%E7%9C%8B%E3%80%8C%E9%80%99%E4%B8%80%E6%AD%A5%E3%80%8D%E3%80%82penalty%20%E6%98%AF%E5%94%AF%E4%B8%80**%E6%9C%83%E5%9B%9E%E9%A0%AD%E7%9C%8B%E5%B7%B2%E7%B6%93%E5%AF%AB%E9%81%8E%E4%BB%80%E9%BA%BC**%E7%9A%84%E5%8F%83%E6%95%B8%EF%BC%9A%0A%0A%20%20%20%20%24%24%5Ctext%7Blogit%7D'%20%3D%20%5Ctext%7Blogit%7D%20%5C%3B-%5C%3B%20%5Ctext%7Bfreq%5C_penalty%7D%20%5Ctimes%20(%5Ctext%7B%E5%87%BA%E7%8F%BE%E6%AC%A1%E6%95%B8%7D)%20%5C%3B-%5C%3B%20%5Ctext%7Bpres%5C_penalty%7D%20%5Ctimes%20(%5Ctext%7B%E5%87%BA%E7%8F%BE%E9%81%8E%E5%97%8E%EF%BC%8C0%20%E6%88%96%201%7D)%24%24%0A%0A%20%20%20%20%E6%8F%9B%E4%B8%80%E5%80%8B%E5%A0%B4%E6%99%AF%EF%BC%9A%E6%A8%A1%E5%9E%8B%E6%AD%A3%E5%9C%A8%E5%AF%AB%E9%A4%90%E5%BB%B3%E8%A9%95%E8%AB%96%EF%BC%8C%E5%85%AB%E5%80%8B%E5%80%99%E9%81%B8%E8%A9%9E%EF%BC%8C%E5%B7%B2%E7%B6%93%E5%AF%AB%E5%87%BA%0A%20%20%20%20**%E3%80%8C%E5%BE%88%E6%A3%92%E3%80%8D%C3%973%E3%80%81%E3%80%8C%E4%B8%8D%E9%8C%AF%E3%80%8D%C3%971%E3%80%81%E3%80%8C%E6%8E%A8%E8%96%A6%E3%80%8D%C3%971**%EF%BC%88%E5%9C%96%E4%B8%8A%E6%A8%99%E6%88%90%20%60(x3)%60%EF%BC%89%E3%80%82%E5%85%A9%E7%A8%AE%E6%89%A3%E6%B3%95%E5%B7%AE%E5%9C%A8%E5%93%AA%EF%BC%9A%0A%0A%20%20%20%20-%20**frequency_penalty**%EF%BC%9A%E6%8C%89**%E6%AC%A1%E6%95%B8**%E7%B4%AF%E5%8A%A0%E3%80%82%E3%80%8C%E5%BE%88%E6%A3%92%E3%80%8D%E5%87%BA%E7%8F%BE%203%20%E6%AC%A1%20%E2%86%92%20%E6%89%A3%20%603%20%C3%97%20penalty%60%E3%80%82%0A%20%20%20%20%20%20%E5%87%BA%E7%8F%BE%E8%B6%8A%E5%A4%9A%E6%AC%A1%E6%89%A3%E8%B6%8A%E9%87%8D%EF%BC%8C**%E5%B0%88%E6%B2%BB%E8%A4%87%E8%AE%80%E6%A9%9F**%E3%80%82%E5%B8%B8%E7%94%A8%200.3%20~%200.7%E3%80%82%0A%20%20%20%20-%20**presence_penalty**%EF%BC%9A%E5%87%BA%E7%8F%BE%E9%81%8E%E5%B0%B1%E6%89%A3**%E4%B8%80%E6%AC%A1**%EF%BC%880%2F1%EF%BC%89%E3%80%82%E5%87%BA%E7%8F%BE%201%20%E6%AC%A1%E5%92%8C%2010%20%E6%AC%A1**%E6%89%A3%E4%B8%80%E6%A8%A3%E5%A4%9A**%E3%80%82%0A%20%20%20%20%20%20%E5%AE%83%E9%BC%93%E5%8B%B5%E7%9A%84%E6%98%AF%E3%80%8C%E6%8F%9B%E6%B2%92%E8%AC%9B%E9%81%8E%E7%9A%84%E8%A9%9E%E3%80%8D%EF%BC%8C%E4%B8%8D%E6%98%AF%E6%87%B2%E7%BD%B0%E6%AC%A1%E6%95%B8%E3%80%82%E5%B8%B8%E7%94%A8%200.3%20~%200.6%EF%BC%8C%E9%A0%90%E8%A8%AD%200%E3%80%82%0A%0A%20%20%20%20%E6%8A%8A%20frequency%20%E6%8B%89%E5%88%B0%200.5%EF%BC%8C%E3%80%8C%E5%BE%88%E6%A3%92%E3%80%8D%E5%BE%9E%2042.0%25%20%E6%8E%89%E5%88%B0%2016.6%25%EF%BC%9B%E6%94%B9%E6%88%90%20presence%200.5%EF%BC%8C%0A%20%20%20%20%E5%8F%AA%E6%8E%89%E5%88%B0%2035.2%25%E2%80%94%E2%80%94**%E5%90%8C%E6%A8%A3%E7%9A%84%E6%95%B8%E5%AD%97%EF%BC%8C%E6%89%A3%E6%B3%95%E4%B8%8D%E5%90%8C%EF%BC%8C%E5%8A%9B%E9%81%93%E5%B7%AE%E4%B8%80%E5%80%8D%E4%BB%A5%E4%B8%8A**%E3%80%82%0A%20%20%20%20%E5%86%8D%E6%8A%8A%20frequency%20%E6%8B%89%E5%88%B0%202.0%20%E7%9C%8B%E7%9C%8B%EF%BC%9A%E3%80%8C%E5%BE%88%E6%A3%92%E3%80%8D%E5%89%A9%200.3%25%EF%BC%8C%60tasty%60%EF%BC%8F%60good%20service%60%0A%20%20%20%20%E9%80%99%E4%BA%9B%E6%9C%AC%E4%BE%86%E5%86%B7%E9%96%80%E7%9A%84%E8%A9%9E%E7%A1%AC%E8%A2%AB%E6%8E%A8%E4%B8%8A%E7%AC%AC%E4%B8%80%E2%80%94%E2%80%94%E9%80%99%E5%B0%B1%E6%98%AF%E3%80%8Cpenalty%20%E9%96%8B%E5%A4%AA%E9%AB%98%E6%9C%83%E9%96%8B%E5%A7%8B%E8%AA%AA%E6%80%AA%E8%A9%B1%E3%80%8D%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20%E9%A4%90%E5%BB%B3%E8%A9%95%E8%AB%96%E7%9A%84%E5%85%AB%E5%80%8B%E5%80%99%E9%81%B8%E8%A9%9E%EF%BC%88%E5%9C%96%E8%A1%A8%E7%94%A8%E8%8B%B1%E6%96%87%EF%BC%9Bvery%20good%3D%E5%BE%88%E6%A3%92%20nice%3D%E4%B8%8D%E9%8C%AF%20recommend%3D%E6%8E%A8%E8%96%A6%0A%20%20%20%20%23%20tasty%3D%E5%A5%BD%E5%90%83%20good%20service%3D%E6%9C%8D%E5%8B%99%E5%A5%BD%20nice%20place%3D%E7%92%B0%E5%A2%83%E4%BD%B3%20good%20value%3D%E5%83%B9%E6%A0%BC%E5%AF%A6%E6%83%A0%20will%20return%3D%E6%9C%83%E5%86%8D%E4%BE%86%EF%BC%89%0A%20%20%20%20GEN_TOKENS%20%3D%20%5B%22very%20good%22%2C%20%22nice%22%2C%20%22recommend%22%2C%20%22tasty%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22good%20service%22%2C%20%22nice%20place%22%2C%20%22good%20value%22%2C%20%22will%20return%22%5D%0A%20%20%20%20GEN_BASE%20%3D%20np.array(%5B0.42%2C%200.16%2C%200.12%2C%200.10%2C%200.08%2C%200.06%2C%200.04%2C%200.02%5D)%0A%20%20%20%20GEN_LOGITS%20%3D%20np.log(GEN_BASE)%0A%20%20%20%20%23%20%E5%B7%B2%E7%B6%93%E5%AF%AB%E9%81%8E%E7%9A%84%E6%AD%B7%E5%8F%B2%EF%BC%9A%E5%BE%88%E6%A3%92%20x3%E3%80%81%E4%B8%8D%E9%8C%AF%20x1%E3%80%81%E6%8E%A8%E8%96%A6%20x1%0A%20%20%20%20HISTORY%20%3D%20np.array(%5B3.0%2C%201.0%2C%201.0%2C%200.0%2C%200.0%2C%200.0%2C%200.0%2C%200.0%5D)%0A%20%20%20%20return%20GEN_BASE%2C%20GEN_LOGITS%2C%20GEN_TOKENS%2C%20HISTORY%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20freq_pen%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D2.0%2C%20step%3D0.1%2C%20value%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22frequency_penalty%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20pres_pen%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D2.0%2C%20step%3D0.1%2C%20value%3D0.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22presence_penalty%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bfreq_pen%2C%20pres_pen%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20freq_pen%2C%20pres_pen%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20BLUE%2C%0A%20%20%20%20GEN_BASE%2C%0A%20%20%20%20GEN_LOGITS%2C%0A%20%20%20%20GEN_TOKENS%2C%0A%20%20%20%20HISTORY%2C%0A%20%20%20%20ORANGE%2C%0A%20%20%20%20freq_pen%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20pres_pen%2C%0A%20%20%20%20softmax_t%2C%0A)%3A%0A%20%20%20%20_penalized%20%3D%20(%0A%20%20%20%20%20%20%20%20GEN_LOGITS%0A%20%20%20%20%20%20%20%20-%20freq_pen.value%20*%20HISTORY%0A%20%20%20%20%20%20%20%20-%20pres_pen.value%20*%20(HISTORY%20%3E%200)%0A%20%20%20%20)%0A%20%20%20%20_p_after%20%3D%20softmax_t(_penalized%2C%201.0)%0A%0A%20%20%20%20_labels%20%3D%20%5B%0A%20%20%20%20%20%20%20%20f%22%7Bt%7D%5Cn(x%7Bint(c)%7D)%22%20if%20c%20%3E%200%20else%20t%0A%20%20%20%20%20%20%20%20for%20t%2C%20c%20in%20zip(GEN_TOKENS%2C%20HISTORY)%0A%20%20%20%20%5D%0A%20%20%20%20_x%20%3D%20np.arange(len(GEN_TOKENS))%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(9.6%2C%204.2))%0A%20%20%20%20_ax.bar(_x%20-%200.2%2C%20GEN_BASE%2C%20width%3D0.4%2C%20color%3DBLUE%2C%20label%3D%22before%20penalty%22)%0A%20%20%20%20_ax.bar(_x%20%2B%200.2%2C%20_p_after%2C%20width%3D0.4%2C%20color%3DORANGE%2C%20label%3D%22after%20penalty%22)%0A%20%20%20%20for%20_i%20in%20_x%3A%0A%20%20%20%20%20%20%20%20_ax.text(_i%20-%200.2%2C%20GEN_BASE%5B_i%5D%20%2B%200.006%2C%20f%22%7BGEN_BASE%5B_i%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D8%2C%20color%3DBLUE)%0A%20%20%20%20%20%20%20%20_ax.text(_i%20%2B%200.2%2C%20_p_after%5B_i%5D%20%2B%200.006%2C%20f%22%7B_p_after%5B_i%5D%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ha%3D%22center%22%2C%20fontsize%3D8%2C%20color%3DORANGE)%0A%20%20%20%20_ax.set_xticks(_x)%0A%20%20%20%20_ax.set_xticklabels(_labels%2C%20fontsize%3D8.5)%0A%20%20%20%20_ax.set_ylabel(%22probability%22)%0A%20%20%20%20_ax.set_title(%0A%20%20%20%20%20%20%20%20f%22logit'%20%3D%20logit%20-%20%7Bfreq_pen.value%3A.1f%7D*count%20-%20%7Bpres_pen.value%3A.1f%7D*seen%22%0A%20%20%20%20%20%20%20%20f%22%20%20%20%7C%20%20%20'very%20good'%3A%20%7BGEN_BASE%5B0%5D%3A.1%25%7D%20-%3E%20%7B_p_after%5B0%5D%3A.1%25%7D%22%0A%20%20%20%20)%0A%20%20%20%20_ax.legend(loc%3D%22upper%20right%22)%0A%20%20%20%20_ax.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20%E7%9C%9F%E7%9A%84%E5%AF%AB%E4%B8%80%E6%AE%B5%EF%BC%9A%E8%A4%87%E8%AE%80%E6%A9%9F%E4%BF%AE%E5%A5%BD%E4%BA%86%E5%97%8E%0A%0A%20%20%20%20%E4%B8%8A%E4%B8%80%E7%AF%80%E5%8F%AA%E7%AE%97%E4%BA%86%E3%80%8C%E4%B8%8B%E4%B8%80%E6%AD%A5%E3%80%8D%E3%80%82penalty%20%E7%9A%84%E5%A8%81%E5%8A%9B%E8%A6%81**%E9%80%A3%E7%BA%8C%E5%AF%AB%E4%B8%8B%E5%8E%BB**%E6%89%8D%E7%9C%8B%E5%BE%97%E5%87%BA%E4%BE%86%E2%80%94%E2%80%94%0A%20%20%20%20%E5%9B%A0%E7%82%BA%E5%87%BA%E7%8F%BE%E6%AC%A1%E6%95%B8%E6%9C%83%E4%B8%80%E7%9B%B4%E7%B4%AF%E7%A9%8D%EF%BC%8C%E6%89%A3%E5%88%86%E4%B9%9F%E4%B8%80%E7%9B%B4%E8%AE%8A%E9%87%8D%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E7%9C%9F%E7%9A%84%E8%B7%91%E7%94%9F%E6%88%90%E8%BF%B4%E5%9C%88%EF%BC%9A%E6%AF%8F%E4%B8%80%E6%AD%A5%E7%85%A7%20penalty%20%E5%BE%8C%E7%9A%84%E5%88%86%E4%BD%88%E6%8A%BD%E4%B8%80%E5%80%8B%E8%A9%9E%E3%80%81%E6%8A%8A%E6%AC%A1%E6%95%B8%E5%8A%A0%E4%B8%8A%E5%8E%BB%E3%80%81%0A%20%20%20%20%E5%86%8D%E7%AE%97%E4%B8%8B%E4%B8%80%E6%AD%A5%E3%80%82%E5%90%8C%E6%99%82%E8%B7%91%20**200%20%E6%A2%9D%E9%95%B7%E5%BA%A6%2020%20%E7%9A%84%E5%BA%8F%E5%88%97**%E5%8F%96%E5%B9%B3%E5%9D%87%EF%BC%8C%E7%9C%8B%E5%85%A9%E5%80%8B%E6%8C%87%E6%A8%99%EF%BC%9A%0A%0A%20%20%20%20-%20**%E6%9C%80%E5%B8%B8%E5%87%BA%E7%8F%BE%E5%AD%97%E4%BD%94%E6%AF%94**%EF%BC%9A20%20%E5%80%8B%E8%A9%9E%E8%A3%A1%EF%BC%8C%E6%9C%80%E6%84%9B%E7%94%A8%E7%9A%84%E9%82%A3%E5%80%8B%E8%A9%9E%E4%BD%94%E5%B9%BE%E6%88%90%20%E2%86%92%20**%E8%B6%8A%E4%BD%8E%E8%B6%8A%E4%B8%8D%E8%B7%B3%E9%87%9D**%0A%20%20%20%20-%20**%E7%9B%B8%E7%95%B0%E7%94%A8%E5%AD%97%E6%95%B8**%EF%BC%9A%E5%85%AB%E5%80%8B%E8%A9%9E%E7%94%A8%E5%88%B0%E5%B9%BE%E5%80%8B%20%E2%86%92%20**%E8%B6%8A%E9%AB%98%E7%94%A8%E8%A9%9E%E8%B6%8A%E5%A4%9A%E6%A8%A3**%0A%0A%20%20%20%20%E5%9B%9B%E7%A8%AE%E8%A8%AD%E5%AE%9A%E5%90%8C%E6%99%82%E8%B7%91%EF%BC%88frequency%20%2F%20presence%20%E7%94%A8%E4%BD%A0%E4%B8%8A%E9%9D%A2%E9%82%A3%E5%85%A9%E6%A0%B9%E6%8B%89%E6%A1%BF%E7%9A%84%E5%80%BC%EF%BC%89%E3%80%82%0A%20%20%20%20%E9%A0%90%E8%A8%AD%E5%80%BC%EF%BC%88%E5%90%84%200.5%EF%BC%89%E8%B7%91%E5%87%BA%E4%BE%86%E5%A4%A7%E6%A6%82%E6%98%AF%E9%80%99%E6%A8%A3%E2%80%94%E2%80%94**%E6%B3%A8%E6%84%8F%20frequency%20%E5%92%8C%20presence%20%E5%A3%93%E7%9A%84%E4%B8%8D%E6%98%AF%E5%90%8C%E4%B8%80%E4%BB%B6%E4%BA%8B**%EF%BC%9A%0A%0A%20%20%20%20%7C%20%E8%A8%AD%E5%AE%9A%20%7C%20%E6%9C%80%E5%B8%B8%E5%87%BA%E7%8F%BE%E5%AD%97%E4%BD%94%E6%AF%94%20%7C%20%E7%9B%B8%E7%95%B0%E7%94%A8%E5%AD%97%E6%95%B8%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20%E7%84%A1%20penalty%20%7C%20%E7%B4%84%200.43%20%7C%20%E7%B4%84%206.2%20%2F%208%20%7C%0A%20%20%20%20%7C%20frequency%200.5%20%7C%20**%E7%B4%84%200.26**%20%7C%20%E7%B4%84%207.4%20%2F%208%20%7C%0A%20%20%20%20%7C%20presence%200.5%20%7C%20%E7%B4%84%200.40%EF%BC%88%E5%B9%BE%E4%B9%8E%E6%B2%92%E5%8B%95%EF%BC%89%20%7C%20%E7%B4%84%206.8%20%2F%208%20%7C%0A%20%20%20%20%7C%20%E5%85%A9%E5%80%8B%E9%83%BD%E9%96%8B%200.5%20%7C%20%E7%B4%84%200.25%20%7C%20%E7%B4%84%207.7%20%2F%208%20%7C%0A%0A%20%20%20%20frequency%20%E6%8A%8A%E3%80%8C%E6%9C%80%E6%84%9B%E7%94%A8%E7%9A%84%E8%A9%9E%E3%80%8D%E5%A3%93%E6%8E%89%E5%9B%9B%E6%88%90%EF%BC%9Bpresence%20%E5%B9%BE%E4%B9%8E%E6%B2%92%E7%A2%B0%E5%AE%83%EF%BC%8C%E4%BD%86%E6%8A%8A%E7%94%A8%E5%AD%97%E6%92%90%E9%96%8B%E4%BA%86%E3%80%82%0A%20%20%20%20%E9%80%99%E6%AD%A3%E6%98%AF%E8%AA%B2%E6%9C%AC%E9%82%A3%E5%85%A9%E5%8F%A5%E8%A9%B1%E7%9A%84%E5%AF%A6%E9%9A%9B%E9%95%B7%E7%9B%B8%EF%BC%9A**frequency%20%E5%B0%88%E6%B2%BB%E8%A4%87%E8%AE%80%E6%A9%9F%EF%BC%8Cpresence%20%E9%BC%93%E5%8B%B5%E6%8F%9B%E8%A9%B1%E9%A1%8C%E3%80%82**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(GEN_LOGITS%2C%20np)%3A%0A%20%20%20%20def%20run_generation(freq_penalty%2C%20presence_penalty%2C%20temperature%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20n_seq%3D200%2C%20n_step%3D20%2C%20seed%3D7)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E7%9C%9F%E7%9A%84%E8%B7%91%E7%94%9F%E6%88%90%E8%BF%B4%E5%9C%88%EF%BC%9An_seq%20%E6%A2%9D%E5%BA%8F%E5%88%97%E5%90%8C%E6%99%82%E5%BE%80%E5%89%8D%E8%B5%B0%EF%BC%88%E5%90%91%E9%87%8F%E5%8C%96%EF%BC%8C%E7%80%8F%E8%A6%BD%E5%99%A8%E8%A3%A1%E6%89%8D%E5%A4%A0%E5%BF%AB%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%20%20%20%20%E6%AF%8F%E4%B8%80%E6%AD%A5%EF%BC%9Alogit'%20%3D%20logit%20-%20freq*count%20-%20pres*(count%3E0)%20%E2%86%92%20softmax%20%E2%86%92%20%E6%8A%BD%E4%B8%80%E5%80%8B%E8%A9%9E%E3%80%82%0A%20%20%20%20%20%20%20%20%E5%9B%9E%E5%82%B3%20(%E5%BA%8F%E5%88%97%E7%9F%A9%E9%99%A3%2C%20%E6%AC%A1%E6%95%B8%E7%9F%A9%E9%99%A3)%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20vocab%20%3D%20len(GEN_LOGITS)%0A%20%20%20%20%20%20%20%20counts%20%3D%20np.zeros((n_seq%2C%20vocab))%0A%20%20%20%20%20%20%20%20seqs%20%3D%20np.zeros((n_seq%2C%20n_step)%2C%20dtype%3Dint)%0A%20%20%20%20%20%20%20%20for%20step%20in%20range(n_step)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20GEN_LOGITS%5BNone%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20freq_penalty%20*%20counts%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20presence_penalty%20*%20(counts%20%3E%200)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20z%20%3D%20lg%20%2F%20max(temperature%2C%201e-6)%0A%20%20%20%20%20%20%20%20%20%20%20%20z%20%3D%20z%20-%20z.max(axis%3D1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20p%20%3D%20np.exp(z)%0A%20%20%20%20%20%20%20%20%20%20%20%20p%20%2F%3D%20p.sum(axis%3D1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E6%AF%8F%E4%B8%80%E5%88%97%E7%94%A8%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A9%9F%E7%8E%87%E6%8A%BD%E4%B8%80%E5%80%8B%EF%BC%9A%E7%B4%AF%E7%A9%8D%E6%A9%9F%E7%8E%87%20%2B%20%E4%B8%80%E5%80%8B%E4%BA%82%E6%95%B8%EF%BC%8C%E5%85%A8%E9%83%A8%E5%90%91%E9%87%8F%E5%8C%96%0A%20%20%20%20%20%20%20%20%20%20%20%20pick%20%3D%20np.minimum((np.cumsum(p%2C%20axis%3D1)%20%3C%20rng.random((n_seq%2C%201))).sum(axis%3D1)%2C%20vocab%20-%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20seqs%5B%3A%2C%20step%5D%20%3D%20pick%0A%20%20%20%20%20%20%20%20%20%20%20%20counts%5Bnp.arange(n_seq)%2C%20pick%5D%20%2B%3D%201%0A%20%20%20%20%20%20%20%20return%20seqs%2C%20counts%0A%0A%0A%20%20%20%20def%20gen_stats(seqs%2C%20counts)%3A%0A%20%20%20%20%20%20%20%20%22%22%22(%E6%9C%80%E5%B8%B8%E5%87%BA%E7%8F%BE%E5%AD%97%E4%BD%94%E6%AF%94%2C%20%E7%9B%B8%E7%95%B0%E7%94%A8%E5%AD%97%E6%95%B8)%20%E7%9A%84%E5%B9%B3%E5%9D%87%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20n_step%20%3D%20seqs.shape%5B1%5D%0A%20%20%20%20%20%20%20%20return%20counts.max(axis%3D1).mean()%20%2F%20n_step%2C%20(counts%20%3E%200).sum(axis%3D1).mean()%0A%0A%20%20%20%20return%20gen_stats%2C%20run_generation%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20BLUE%2C%0A%20%20%20%20GREEN%2C%0A%20%20%20%20ORANGE%2C%0A%20%20%20%20RED%2C%0A%20%20%20%20freq_pen%2C%0A%20%20%20%20gen_stats%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20pres_pen%2C%0A%20%20%20%20run_generation%2C%0A)%3A%0A%20%20%20%20_setups%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22no%20penalty%22%2C%200.0%2C%200.0%2C%20BLUE)%2C%0A%20%20%20%20%20%20%20%20(f%22frequency%20%7Bfreq_pen.value%3A.1f%7D%22%2C%20freq_pen.value%2C%200.0%2C%20ORANGE)%2C%0A%20%20%20%20%20%20%20%20(f%22presence%20%7Bpres_pen.value%3A.1f%7D%22%2C%200.0%2C%20pres_pen.value%2C%20GREEN)%2C%0A%20%20%20%20%20%20%20%20(%22both%22%2C%20freq_pen.value%2C%20pres_pen.value%2C%20RED)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_shares%2C%20_distincts%2C%20_names%2C%20_cols%20%3D%20%5B%5D%2C%20%5B%5D%2C%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20for%20_name%2C%20_fp%2C%20_pp%2C%20_col%20in%20_setups%3A%0A%20%20%20%20%20%20%20%20_s%2C%20_c%20%3D%20run_generation(_fp%2C%20_pp)%0A%20%20%20%20%20%20%20%20_share%2C%20_dist%20%3D%20gen_stats(_s%2C%20_c)%0A%20%20%20%20%20%20%20%20_shares.append(_share)%0A%20%20%20%20%20%20%20%20_distincts.append(_dist)%0A%20%20%20%20%20%20%20%20_names.append(_name)%0A%20%20%20%20%20%20%20%20_cols.append(_col)%0A%0A%20%20%20%20_x%20%3D%20np.arange(len(_setups))%0A%20%20%20%20_fig%2C%20(_a1%2C%20_a2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(9.6%2C%204.0))%0A%20%20%20%20_a1.bar(_x%2C%20_shares%2C%20color%3D_cols%2C%20width%3D0.6)%0A%20%20%20%20for%20_i%20in%20_x%3A%0A%20%20%20%20%20%20%20%20_a1.text(_i%2C%20_shares%5B_i%5D%20%2B%200.008%2C%20f%22%7B_shares%5B_i%5D%3A.3f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9)%0A%20%20%20%20_a1.axhline(_shares%5B0%5D%2C%20color%3DBLUE%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.2)%0A%20%20%20%20_a1.set_xticks(_x)%0A%20%20%20%20_a1.set_xticklabels(_names%2C%20rotation%3D14%2C%20ha%3D%22right%22%2C%20fontsize%3D8.5)%0A%20%20%20%20_a1.set_ylim(0%2C%200.55)%0A%20%20%20%20_a1.set_ylabel(%22share%20of%20most-used%20word%22)%0A%20%20%20%20_a1.set_title(%22repetition%20(lower%20%3D%20less%20broken%20record)%22)%0A%20%20%20%20_a1.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%0A%20%20%20%20_a2.bar(_x%2C%20_distincts%2C%20color%3D_cols%2C%20width%3D0.6)%0A%20%20%20%20for%20_i%20in%20_x%3A%0A%20%20%20%20%20%20%20%20_a2.text(_i%2C%20_distincts%5B_i%5D%20%2B%200.06%2C%20f%22%7B_distincts%5B_i%5D%3A.2f%7D%22%2C%20ha%3D%22center%22%2C%20fontsize%3D9)%0A%20%20%20%20_a2.axhline(_distincts%5B0%5D%2C%20color%3DBLUE%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.2)%0A%20%20%20%20_a2.set_xticks(_x)%0A%20%20%20%20_a2.set_xticklabels(_names%2C%20rotation%3D14%2C%20ha%3D%22right%22%2C%20fontsize%3D8.5)%0A%20%20%20%20_a2.set_ylim(0%2C%208.6)%0A%20%20%20%20_a2.set_ylabel(%22distinct%20words%20used%20(of%208)%22)%0A%20%20%20%20_a2.set_title(%22variety%20(higher%20%3D%20more%20diverse)%22)%0A%20%20%20%20_a2.grid(axis%3D%22y%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20%E6%8E%83%E4%B8%80%E9%81%8D%EF%BC%9A%E5%85%A9%E7%A8%AE%E6%89%A3%E6%B3%95%E7%9A%84%E5%8A%9B%E9%81%93%E5%B7%AE%E5%A4%9A%E5%B0%91%0A%0A%20%20%20%20%E4%B8%8A%E9%9D%A2%E6%98%AF%E4%B8%89%E5%80%8B%E9%BB%9E%EF%BC%8C%E4%B8%8B%E9%9D%A2%E6%98%AF%E6%8A%8A%20penalty%20%E5%BE%9E%200%20%E6%8E%83%E5%88%B0%201.5%20%E7%9A%84%E5%AE%8C%E6%95%B4%E6%9B%B2%E7%B7%9A%E3%80%82%0A%20%20%20%20%E5%B7%A6%E5%9C%96%E7%9C%8B%E5%BE%97%E6%9C%80%E6%B8%85%E6%A5%9A%EF%BC%9A**frequency%20%E4%B8%80%E8%B7%AF%E5%BE%80%E4%B8%8B%E4%BF%AF%E8%A1%9D%E3%80%81presence%20%E5%B9%BE%E4%B9%8E%E6%98%AF%E6%A2%9D%E6%B0%B4%E5%B9%B3%E7%B7%9A**%E3%80%82%0A%20%20%20%20%E5%9B%A0%E7%82%BA%20presence%20%E5%B0%8D%E3%80%8C%E5%B7%B2%E7%B6%93%E5%87%BA%E7%8F%BE%E9%81%8E%E7%9A%84%E5%AD%97%E3%80%8D%E9%80%9A%E9%80%9A%E5%8F%AA%E6%89%A3%E4%B8%80%E6%AC%A1%EF%BC%8C%0A%20%20%20%20%E5%AF%AB%E5%BE%97%E8%B6%8A%E9%95%B7%E3%80%81%E5%A4%A7%E5%AE%B6%E9%83%BD%E5%87%BA%E7%8F%BE%E9%81%8E%E4%B9%8B%E5%BE%8C%EF%BC%8C%E5%AE%83%E5%B0%B1%E7%AD%89%E6%96%BC%E6%B2%92%E6%89%A3%E2%80%94%E2%80%94%E9%80%99%E4%B9%9F%E6%98%AF%E7%82%BA%E4%BB%80%E9%BA%BC%E5%AE%83%E4%B8%8D%E6%98%AF%E6%B2%BB%E8%B7%B3%E9%87%9D%E7%9A%84%E8%97%A5%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(GREEN%2C%20ORANGE%2C%20gen_stats%2C%20np%2C%20plt%2C%20run_generation)%3A%0A%20%20%20%20_pens%20%3D%20np.arange(0.0%2C%201.51%2C%200.15)%0A%20%20%20%20_f_share%2C%20_f_dist%2C%20_p_share%2C%20_p_dist%20%3D%20%5B%5D%2C%20%5B%5D%2C%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20for%20_pen%20in%20_pens%3A%0A%20%20%20%20%20%20%20%20_s1%2C%20_c1%20%3D%20run_generation(float(_pen)%2C%200.0)%0A%20%20%20%20%20%20%20%20_s2%2C%20_c2%20%3D%20run_generation(0.0%2C%20float(_pen))%0A%20%20%20%20%20%20%20%20_a%2C%20_b%20%3D%20gen_stats(_s1%2C%20_c1)%0A%20%20%20%20%20%20%20%20_c%2C%20_d%20%3D%20gen_stats(_s2%2C%20_c2)%0A%20%20%20%20%20%20%20%20_f_share.append(_a)%0A%20%20%20%20%20%20%20%20_f_dist.append(_b)%0A%20%20%20%20%20%20%20%20_p_share.append(_c)%0A%20%20%20%20%20%20%20%20_p_dist.append(_d)%0A%0A%20%20%20%20_fig%2C%20(_a1%2C%20_a2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(9.6%2C%203.9))%0A%20%20%20%20_a1.plot(_pens%2C%20_f_share%2C%20color%3DORANGE%2C%20marker%3D%22o%22%2C%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22frequency_penalty%22)%0A%20%20%20%20_a1.plot(_pens%2C%20_p_share%2C%20color%3DGREEN%2C%20marker%3D%22s%22%2C%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22presence_penalty%22)%0A%20%20%20%20_a1.axvspan(0.3%2C%200.7%2C%20color%3DORANGE%2C%20alpha%3D0.10)%0A%20%20%20%20_a1.set_xlabel(%22penalty%20value%22)%0A%20%20%20%20_a1.set_ylabel(%22share%20of%20most-used%20word%22)%0A%20%20%20%20_a1.set_title(%22repetition%20(shaded%20%3D%20common%20range%200.3-0.7)%22)%0A%20%20%20%20_a1.set_ylim(0.1%2C%200.48)%0A%20%20%20%20_a1.legend(fontsize%3D9)%0A%20%20%20%20_a1.grid(alpha%3D0.3)%0A%0A%20%20%20%20_a2.plot(_pens%2C%20_f_dist%2C%20color%3DORANGE%2C%20marker%3D%22o%22%2C%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22frequency_penalty%22)%0A%20%20%20%20_a2.plot(_pens%2C%20_p_dist%2C%20color%3DGREEN%2C%20marker%3D%22s%22%2C%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22presence_penalty%22)%0A%20%20%20%20_a2.set_xlabel(%22penalty%20value%22)%0A%20%20%20%20_a2.set_ylabel(%22distinct%20words%20used%20(of%208)%22)%0A%20%20%20%20_a2.set_title(%22variety%22)%0A%20%20%20%20_a2.set_ylim(5.8%2C%208.2)%0A%20%20%20%20_a2.legend(fontsize%3D9)%0A%20%20%20%20_a2.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E9%80%9F%E6%9F%A5%E8%A1%A8%20%EF%BC%8B%20%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%20%E4%B8%80%E5%8F%A5%E8%A9%B1%E7%B8%BD%E7%B5%90%E6%95%B4%E5%A0%82%E8%AA%B2%EF%BC%9A**%E6%A8%A1%E5%9E%8B%E8%BC%B8%E5%87%BA%E7%9A%84%E6%98%AF%E6%A9%9F%E7%8E%87%E5%88%86%E4%BD%88%EF%BC%8C%E5%9B%9B%E5%80%8B%E5%8F%83%E6%95%B8%E9%83%BD%E5%8F%AA%E6%98%AF%E5%9C%A8%E6%94%B9%E9%80%99%E9%A1%86%E9%AA%B0%E5%AD%90%E7%9A%84%E6%8C%91%E6%B3%95%E3%80%82**%0A%0A%20%20%20%20%7C%20%E5%8F%83%E6%95%B8%20%7C%20%E6%94%B9%E7%9A%84%E6%98%AF%20%7C%20%E5%B8%B8%E7%94%A8%E5%80%BC%20%7C%20%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E8%AA%BF%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20%60temperature%60%20%7C%20%E6%A9%9F%E7%8E%87%EF%BC%88%E5%88%86%E4%BD%88%E5%A3%93%E5%B0%96%EF%BC%8F%E5%A3%93%E5%B9%B3%EF%BC%89%20%7C%200%EF%BC%9A%E6%8A%BD%E5%8F%96%EF%BC%8F%E5%88%86%E9%A1%9E%EF%BC%8F%E7%A8%8B%E5%BC%8F%3Cbr%3E0.7~1.0%EF%BC%9A%E5%89%B5%E4%BD%9C%20%7C%20%E5%B9%BE%E4%B9%8E%E6%AF%8F%E5%80%8B%E4%BB%BB%E5%8B%99%E9%83%BD%E5%85%88%E8%A8%AD%E5%AE%83%20%7C%0A%20%20%20%20%7C%20%60top_p%60%20%7C%20%E5%90%8D%E5%96%AE%EF%BC%88%E7%A0%8D%E6%8E%89%E9%95%B7%E5%B0%BE%E5%80%99%E9%81%B8%E5%AD%97%EF%BC%89%20%7C%20%E9%A0%90%E8%A8%AD%E5%8D%B3%E5%8F%AF%EF%BC%880.9~1.0%EF%BC%89%20%7C%20%E8%88%87%20temperature%20%E6%93%87%E4%B8%80%E8%AA%BF%EF%BC%8C%E5%88%A5%E5%90%8C%E6%99%82%E5%A4%A7%E6%94%B9%20%7C%0A%20%20%20%20%7C%20%60frequency_penalty%60%20%7C%20logit%EF%BC%88%E6%8C%89%E5%87%BA%E7%8F%BE%E6%AC%A1%E6%95%B8%E7%B4%AF%E5%8A%A0%E6%89%A3%E5%88%86%EF%BC%89%20%7C%200.3%20~%200.7%20%7C%20%E9%95%B7%E6%96%87%E8%A4%87%E8%AE%80%E3%80%81%E8%B7%B3%E9%87%9D%E6%99%82%E5%86%8D%E9%96%8B%20%7C%0A%20%20%20%20%7C%20%60presence_penalty%60%20%7C%20logit%EF%BC%88%E5%87%BA%E7%8F%BE%E9%81%8E%E5%B0%B1%E6%89%A3%E4%B8%80%E6%AC%A1%EF%BC%89%20%7C%200.3%20~%200.6%20%7C%20%E5%B8%8C%E6%9C%9B%E8%A9%B1%E9%A1%8C%EF%BC%8F%E7%94%A8%E8%A9%9E%E6%9B%B4%E5%A4%9A%E5%85%83%E6%99%82%20%7C%0A%0A%20%20%20%20---%0A%0A%20%20%20%20%23%23%23%20%E6%8C%91%E6%88%B0%EF%BC%88%E7%94%B1%E6%98%93%E5%88%B0%E9%9B%A3%EF%BC%89%0A%0A%20%20%20%20**LEVEL%201**%EF%BC%9A%E6%8A%8A%E4%B8%8B%E9%9D%A2%E5%AF%A6%E9%A9%97%E5%8D%80%E7%9A%84%20%60my_T%60%20%E6%94%B9%E6%88%90%20%600.05%60%20%E5%92%8C%20%602.0%60%EF%BC%8C%0A%20%20%20%20%E5%90%84%E8%A8%98%E4%B8%8B%20%60quantum%60%20%E7%9A%84%E6%A9%9F%E7%8E%87%E3%80%82%E5%B7%AE%E5%B9%BE%E5%80%8B%E6%95%B8%E9%87%8F%E7%B4%9A%EF%BC%9F%0A%0A%20%20%20%20**LEVEL%202**%EF%BC%9A%E5%AF%AB%E4%B8%80%E5%80%8B%20%60nucleus(probs%2C%20p)%60%20%E5%87%BD%E5%BC%8F%EF%BC%8C%E5%9B%9E%E5%82%B3%20top_p%20%E6%88%AA%E6%96%B7%E4%B8%A6%E9%87%8D%E6%96%B0%E6%AD%B8%E4%B8%80%E5%8C%96%E5%BE%8C%E7%9A%84%E5%88%86%E4%BD%88%E3%80%82%0A%20%20%20%20%E7%94%A8%20T%3D1%20%E7%9A%84%E5%88%86%E4%BD%88%E9%A9%97%E8%AD%89%EF%BC%9A%60top_p%3D0.9%60%20%E6%99%82%20%60quantum%60%20%E6%87%89%E8%A9%B2**%E6%81%B0%E5%A5%BD%E6%98%AF%200**%EF%BC%8C%E5%85%B6%E9%A4%98%E5%9B%9B%E5%80%8B%E7%9B%B8%E5%8A%A0%E7%82%BA%201%E3%80%82%0A%0A%20%20%20%20**LEVEL%203**%EF%BC%9A%E9%A9%97%E8%AD%89%E3%80%8Cpresence%20penalty%20%E5%AF%AB%E8%B6%8A%E9%95%B7%E8%B6%8A%E7%84%A1%E6%95%88%E3%80%8D%E3%80%82%0A%20%20%20%20%E6%8A%8A%20%60run_generation%60%20%E7%9A%84%20%60n_step%60%20%E5%BE%9E%2020%20%E6%8B%89%E5%88%B0%2080%EF%BC%8C%E5%88%86%E5%88%A5%E7%AE%97**%E5%89%8D%2020%20%E6%AD%A5**%E8%88%87**%E5%BE%8C%2060%20%E6%AD%A5**%E7%9A%84%0A%20%20%20%20%E6%9C%80%E5%B8%B8%E5%87%BA%E7%8F%BE%E5%AD%97%E4%BD%94%E6%AF%94%E3%80%82%E5%85%88%E7%8C%9C%EF%BC%9A%E5%93%AA%E4%B8%80%E7%A8%AE%20penalty%20%E7%9A%84%E5%85%A9%E5%80%8B%E6%95%B8%E5%AD%97%E6%9C%83%E5%B9%BE%E4%B9%8E%E4%B8%80%E6%A8%A3%EF%BC%9F%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E8%A8%98%E5%BE%97%EF%BC%9A**%E9%BB%9E%E5%8F%B3%E4%B8%8A%E8%A7%92%E4%B8%8B%E8%BC%89%E6%8C%89%E9%88%95%EF%BC%88%E6%88%96%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E9%A0%81%E7%9A%84%E3%80%8C%E4%B8%8B%E8%BC%89%20.py%E3%80%8D%EF%BC%89%E6%8A%8A%E4%BD%A0%E7%9A%84%E7%89%88%E6%9C%AC%E5%B8%B6%E8%B5%B0**%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E5%B0%B1%E8%83%BD%E7%B9%BC%E7%BA%8C%E7%8E%A9%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(LOGITS%2C%20TOKENS%2C%20softmax_t)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E9%80%99%E8%A3%A1%E5%8F%AF%E4%BB%A5%E6%8B%BF%E5%88%B0%E6%95%B4%E5%A0%82%E8%AA%B2%E7%9A%84%E9%9B%B6%E4%BB%B6%EF%BC%9ATOKENS%20%2F%20LOGITS%20%2F%20softmax_t%20%2F%0A%20%20%20%20%23%20GEN_TOKENS%20%2F%20GEN_LOGITS%20%2F%20run_generation%20%2F%20gen_stats%0A%20%20%20%20my_T%20%3D%200.7%0A%0A%20%20%20%20for%20_tok%2C%20_prob%20in%20zip(TOKENS%2C%20softmax_t(LOGITS%2C%20my_T))%3A%0A%20%20%20%20%20%20%20%20print(f%22%7B_tok%3A%3E9%7D%20%3A%20%7B_prob%3A.4f%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20my_T%20%3D%200.05%20%20%20%23%20%E5%86%8D%E8%B7%91%E4%B8%80%E6%AC%A1%E6%94%B9%E6%88%90%202.0%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E4%BD%A0%E6%87%89%E8%A9%B2%E7%9C%8B%E5%88%B0%EF%BC%9A%0A%0A%20%20%20%20%7C%20T%20%7C%20good%20%7C%20quantum%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%200.05%20%7C%201.0000%20%7C%200.0000%20%7C%0A%20%20%20%20%7C%200.70%20%7C%200.5687%20%7C%200.0009%20%7C%0A%20%20%20%20%7C%202.00%20%7C%200.3449%20%7C%200.0364%20%7C%0A%0A%20%20%20%20%E5%BE%9E%20T%3D0.05%20%E5%88%B0%20T%3D2.0%EF%BC%8C%60quantum%60%20%E7%9A%84%E6%A9%9F%E7%8E%87%E8%B7%A8%E4%BA%86**%E5%9B%9B%E5%80%8B%E6%95%B8%E9%87%8F%E7%B4%9A%E4%BB%A5%E4%B8%8A**%0A%20%20%20%20%EF%BC%880.05%20%E6%99%82%E5%B0%8F%E5%88%B0%E6%B5%AE%E9%BB%9E%E6%95%B8%E5%8D%B0%E4%B8%8D%E5%87%BA%E4%BE%86%EF%BC%8C2.0%20%E6%99%82%E6%98%AF%203.6%25%EF%BC%89%E3%80%82%0A%20%20%20%20%E5%90%8C%E4%B8%80%E7%B5%84%20logit%E3%80%81%E5%90%8C%E4%B8%80%E5%80%8B%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%8F%AA%E6%98%AF%E5%88%86%E6%AF%8D%E6%8F%9B%E4%BA%86%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20def%20nucleus(probs%2C%20p)%3A%0A%20%20%20%20%20%20%20%20order%20%3D%20np.argsort(probs)%5B%3A%3A-1%5D%0A%20%20%20%20%20%20%20%20cum%20%3D%20np.cumsum(probs%5Border%5D)%0A%20%20%20%20%20%20%20%20k%20%3D%20min(int(np.searchsorted(cum%2C%20p)%20%2B%201)%2C%20len(probs))%20%20%20%23%20%E8%B7%A8%E9%81%8E%E9%96%80%E6%AA%BB%E7%9A%84%E9%82%A3%E5%80%8B%E4%B9%9F%E7%95%99%0A%20%20%20%20%20%20%20%20keep%20%3D%20order%5B%3Ak%5D%0A%20%20%20%20%20%20%20%20out%20%3D%20np.zeros_like(probs)%0A%20%20%20%20%20%20%20%20out%5Bkeep%5D%20%3D%20probs%5Bkeep%5D%20%2F%20probs%5Bkeep%5D.sum()%0A%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20base%20%3D%20softmax_t(LOGITS%2C%201.0)%0A%20%20%20%20q%20%3D%20nucleus(base%2C%200.9)%0A%20%20%20%20for%20tok%2C%20v%20in%20zip(TOKENS%2C%20q)%3A%0A%20%20%20%20%20%20%20%20print(f%22%7Btok%3A%3E9%7D%20%3A%20%7Bv%3A.4f%7D%22)%0A%20%20%20%20print(%22sum%20%3D%22%2C%20q.sum())%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E9%A0%90%E6%9C%9F%E8%BC%B8%E5%87%BA%EF%BC%9A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20%20good%20%3A%200.4737%0A%20%20%20%20%20%20not%20bad%20%3A%200.2632%0A%20%20%20%20%20%20%20%20%20%20hot%20%3A%200.1579%0A%20%20%20%20%20%20%20%20%20cold%20%3A%200.1053%0A%20%20%20%20%20%20quantum%20%3A%200.0000%0A%20%20%20%20sum%20%3D%201.0%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E9%87%8D%E9%BB%9E%E6%98%AF%20%60quantum%60%20**%E6%81%B0%E5%A5%BD%E6%98%AF%200**%E3%80%81%E4%B8%8D%E6%98%AF%200.0001%E2%80%94%E2%80%94top_p%20%E6%98%AF%E7%A0%8D%E5%90%8D%E5%96%AE%E4%B8%8D%E6%98%AF%E5%A3%93%E6%A9%9F%E7%8E%87%E3%80%82%0A%20%20%20%20%E9%A0%86%E5%B8%B6%E4%B8%80%E8%A9%A6%EF%BC%9A%E6%8A%8A%20%60p%60%20%E6%94%B9%E6%88%90%20%600.88%60%EF%BC%8C%60cold%60%20%E4%B9%9F%E6%9C%83%E8%AE%8A%E6%88%90%200%EF%BC%88%E5%9B%A0%E7%82%BA%20%60hot%60%20%E7%9A%84%E7%B4%AF%E7%A9%8D%200.890%20%E5%89%9B%E5%A5%BD%E8%B7%A8%E9%81%8E%E9%96%80%E6%AA%BB%EF%BC%89%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%E8%88%87%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20def%20half_shares(fp%2C%20pp%2C%20n_step%3D80%2C%20cut%3D20)%3A%0A%20%20%20%20%20%20%20%20seqs%2C%20_%20%3D%20run_generation(fp%2C%20pp%2C%20n_step%3Dn_step)%0A%20%20%20%20%20%20%20%20out%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20part%20in%20(seqs%5B%3A%2C%20%3Acut%5D%2C%20seqs%5B%3A%2C%20cut%3A%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20n%20%3D%20part.shape%5B1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20out.append(np.mean(%5Bnp.bincount(r%2C%20minlength%3D8).max()%20for%20r%20in%20part%5D)%20%2F%20n)%0A%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20for%20name%2C%20fp%2C%20pp%20in%20((%22none%22%2C%200%2C%200)%2C%20(%22freq%200.5%22%2C%200.5%2C%200)%2C%20(%22pres%200.5%22%2C%200%2C%200.5))%3A%0A%20%20%20%20%20%20%20%20early%2C%20late%20%3D%20half_shares(fp%2C%20pp)%0A%20%20%20%20%20%20%20%20print(f%22%7Bname%3A%3E9%7D%3A%20%E5%89%8D20%E6%AD%A5%3D%7Bearly%3A.3f%7D%20%20%E5%BE%8C60%E6%AD%A5%3D%7Blate%3A.3f%7D%22)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E8%B7%91%E5%87%BA%E4%BE%86%EF%BC%9A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20%20%20%20%20%20none%3A%20%E5%89%8D20%E6%AD%A5%3D0.429%20%20%E5%BE%8C60%E6%AD%A5%3D0.423%0A%20%20%20%20%20freq%200.5%3A%20%E5%89%8D20%E6%AD%A5%3D0.257%20%20%E5%BE%8C60%E6%AD%A5%3D0.160%0A%20%20%20%20%20pres%200.5%3A%20%E5%89%8D20%E6%AD%A5%3D0.399%20%20%E5%BE%8C60%E6%AD%A5%3D0.420%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E7%AD%94%E6%A1%88%E6%98%AF%20**presence**%EF%BC%9A%E5%AE%83%E7%9A%84%E5%BE%8C%2060%20%E6%AD%A5%EF%BC%880.420%EF%BC%89%E5%B9%BE%E4%B9%8E%E5%9B%9E%E5%88%B0%E5%AE%8C%E5%85%A8%E6%B2%92%E9%96%8B%20penalty%20%E7%9A%84%E6%B0%B4%E6%BA%96%EF%BC%880.423%EF%BC%89%E3%80%82%0A%20%20%20%20%E5%8E%9F%E5%9B%A0%E5%B0%B1%E6%98%AF%E5%85%AC%E5%BC%8F%E6%9C%AC%E8%BA%AB%E2%80%94%E2%80%94%E5%85%AB%E5%80%8B%E8%A9%9E%E9%83%BD%E5%87%BA%E7%8F%BE%E9%81%8E%E4%B9%8B%E5%BE%8C%EF%BC%8C%E6%AF%8F%E5%80%8B%E8%A9%9E%E9%83%BD%E8%A2%AB%E6%89%A3%E5%90%8C%E6%A8%A3%E7%9A%84%20%601%20%C3%97%20pres_penalty%60%EF%BC%8C%0A%20%20%20%20%E6%95%B4%E6%8E%92%E5%B9%B3%E7%A7%BB%E4%B8%8D%E6%94%B9%E8%AE%8A%20softmax%20%E7%B5%90%E6%9E%9C%EF%BC%8C%E7%AD%89%E6%96%BC%E6%B2%92%E6%89%A3%E3%80%82frequency%20%E7%9B%B8%E5%8F%8D%EF%BC%9A%E6%AC%A1%E6%95%B8%E4%B8%80%E7%9B%B4%E7%B4%AF%E5%8A%A0%EF%BC%8C%0A%20%20%20%20%E5%AF%AB%E8%B6%8A%E9%95%B7%E5%A3%93%E5%BE%97%E8%B6%8A%E9%87%8D%EF%BC%880.257%20%E2%86%92%200.160%EF%BC%89%E3%80%82%0A%0A%20%20%20%20**%E5%AF%A6%E5%8B%99%E7%B5%90%E8%AB%96**%EF%BC%9A%E9%95%B7%E6%96%87%E8%B7%B3%E9%87%9D%E8%A6%81%E9%9D%A0%20%60frequency_penalty%60%EF%BC%9B%60presence_penalty%60%20%E7%9A%84%E8%88%9E%E5%8F%B0%E6%98%AF%0A%20%20%20%20%E7%9F%AD%E4%B8%80%E9%BB%9E%E7%9A%84%E5%85%A7%E5%AE%B9%E3%80%81%E4%BD%A0%E5%B8%8C%E6%9C%9B%E5%AE%83%E3%80%8C%E5%88%A5%E7%B9%9E%E8%91%97%E5%90%8C%E4%B8%80%E6%89%B9%E8%A9%9E%E6%89%93%E8%BD%89%E3%80%8D%E7%9A%84%E6%99%82%E5%80%99%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A