決策樹互動實驗室

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E6%B1%BA%E7%AD%96%E6%A8%B9%E4%BA%92%E5%8B%95%E5%AF%A6%E9%A9%97%E5%AE%A4%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%8C%B3%20%E6%B1%BA%E7%AD%96%E6%A8%B9%E4%BA%92%E5%8B%95%E5%AF%A6%E9%A9%97%E5%AE%A4%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%94%B9%E5%A3%9E%E4%BA%86%E4%B9%9F%E6%B2%92%E9%97%9C%E4%BF%82%EF%BC%9A%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20from%20sklearn.datasets%20import%20load_iris%0A%20%20%20%20from%20sklearn.metrics%20import%20accuracy_score%0A%20%20%20%20from%20sklearn.model_selection%20import%20train_test_split%0A%20%20%20%20from%20sklearn.tree%20import%20DecisionTreeClassifier%2C%20plot_tree%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20DecisionTreeClassifier%2C%0A%20%20%20%20%20%20%20%20accuracy_score%2C%0A%20%20%20%20%20%20%20%20load_iris%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20plot_tree%2C%0A%20%20%20%20%20%20%20%20plt%2C%0A%20%20%20%20%20%20%20%20train_test_split%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E8%AA%8D%E8%AD%98%E8%B3%87%E6%96%99%EF%BC%9A%E9%B3%B6%E5%B0%BE%E8%8A%B1%EF%BC%88Iris%EF%BC%89%0A%0A%20%20%20%20150%20%E6%9C%B5%E9%B3%B6%E5%B0%BE%E8%8A%B1%EF%BC%8C%E6%AF%8F%E6%9C%B5%E9%87%8F%E4%BA%86%204%20%E5%80%8B%E7%89%B9%E5%BE%B5%EF%BC%88%E8%8A%B1%E8%90%BC%2F%E8%8A%B1%E7%93%A3%E7%9A%84%E9%95%B7%E8%88%87%E5%AF%AC%EF%BC%8C%E5%96%AE%E4%BD%8D%20cm%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E5%88%86%E5%B1%AC%203%20%E5%80%8B%E5%93%81%E7%A8%AE%EF%BC%88setosa%20%2F%20versicolor%20%2F%20virginica%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%88%91%E5%80%91%E7%9A%84%E4%BB%BB%E5%8B%99%EF%BC%9A**%E7%94%A8%204%20%E5%80%8B%E6%95%B8%E5%AD%97%EF%BC%8C%E7%8C%9C%E5%87%BA%E6%98%AF%E5%93%AA%E5%80%8B%E5%93%81%E7%A8%AE**%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(load_iris)%3A%0A%20%20%20%20iris%20%3D%20load_iris(as_frame%3DTrue)%0A%20%20%20%20df%20%3D%20iris.frame.copy()%0A%20%20%20%20feature_names%20%3D%20list(iris.feature_names)%0A%20%20%20%20target_names%20%3D%20list(iris.target_names)%0A%20%20%20%20df%5B%22species%22%5D%20%3D%20df%5B%22target%22%5D.map(dict(enumerate(target_names)))%0A%20%20%20%20df%0A%20%20%20%20return%20df%2C%20feature_names%2C%20target_names%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E7%94%A8%E5%85%A9%E5%80%8B%E7%89%B9%E5%BE%B5%E7%9C%8B%E8%B3%87%E6%96%99%0A%0A%20%20%20%20%E6%8C%91%E5%85%A9%E5%80%8B%E7%89%B9%E5%BE%B5%E7%95%AB%E6%95%A3%E4%BD%88%E5%9C%96%E3%80%82%E8%A9%A6%E8%91%97%E6%89%BE%E5%87%BA%EF%BC%9A**%E5%93%AA%E4%B8%80%E7%B5%84%E7%89%B9%E5%BE%B5%E6%9C%80%E8%83%BD%E6%8A%8A%E4%B8%89%E7%A8%AE%E9%A1%8F%E8%89%B2%E5%88%86%E9%96%8B%EF%BC%9F**%0A%20%20%20%20%EF%BC%88%E6%8F%90%E7%A4%BA%EF%BC%9A%E8%8A%B1%E7%93%A3%20petal%20%E6%AF%94%E8%8A%B1%E8%90%BC%20sepal%20%E6%9C%89%E7%94%A8%E5%BE%97%E5%A4%9A%E2%80%94%E2%80%94%E9%80%99%E6%AD%A3%E6%98%AF%E6%B1%BA%E7%AD%96%E6%A8%B9%E8%87%AA%E5%B7%B1%E4%B9%9F%E6%9C%83%E7%99%BC%E7%8F%BE%E7%9A%84%E4%BA%8B%E3%80%82%EF%BC%89%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(feature_names%2C%20mo)%3A%0A%20%20%20%20feat_x%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Dfeature_names%2C%20value%3Dfeature_names%5B2%5D%2C%20label%3D%22X%20%E8%BB%B8%E7%89%B9%E5%BE%B5%22%0A%20%20%20%20)%0A%20%20%20%20feat_y%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Dfeature_names%2C%20value%3Dfeature_names%5B3%5D%2C%20label%3D%22Y%20%E8%BB%B8%E7%89%B9%E5%BE%B5%22%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bfeat_x%2C%20feat_y%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20feat_x%2C%20feat_y%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20feat_x%2C%20feat_y%2C%20plt%2C%20target_names)%3A%0A%20%20%20%20_colors%20%3D%20%5B%22%234C72B0%22%2C%20%22%23DD8452%22%2C%20%22%2355A868%22%5D%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%205))%0A%20%20%20%20for%20_i%2C%20_name%20in%20enumerate(target_names)%3A%0A%20%20%20%20%20%20%20%20_sub%20%3D%20df%5Bdf%5B%22species%22%5D%20%3D%3D%20_name%5D%0A%20%20%20%20%20%20%20%20_ax.scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20_sub%5Bfeat_x.value%5D%2C%20_sub%5Bfeat_y.value%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20c%3D_colors%5B_i%5D%2C%20label%3D_name%2C%20alpha%3D0.8%2C%20edgecolors%3D%22white%22%2C%20s%3D55%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax.set_xlabel(feat_x.value)%0A%20%20%20%20_ax.set_ylabel(feat_y.value)%0A%20%20%20%20_ax.legend(title%3D%22species%22)%0A%20%20%20%20_ax.set_title(%22Iris%20scatter%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E4%B8%80%E5%88%80%E5%88%87%E4%B8%8B%E5%8E%BB%EF%BC%9AGini%20%E4%B8%8D%E7%B4%94%E5%BA%A6%0A%0A%20%20%20%20%E6%B1%BA%E7%AD%96%E6%A8%B9%E6%AF%8F%E5%80%8B%E7%AF%80%E9%BB%9E%E9%83%BD%E5%9C%A8%E5%95%8F%E5%90%8C%E4%B8%80%E5%80%8B%E5%95%8F%E9%A1%8C%EF%BC%9A%E3%80%8C**%E5%9C%A8%E5%93%AA%E5%80%8B%E7%89%B9%E5%BE%B5%E7%9A%84%E5%93%AA%E5%80%8B%E5%80%BC%E5%88%87%E4%B8%80%E5%88%80%EF%BC%8C%E8%83%BD%E6%8A%8A%E9%A1%9E%E5%88%A5%E5%88%86%E5%BE%97%E6%9C%80%E4%B9%BE%E6%B7%A8%EF%BC%9F**%E3%80%8D%0A%20%20%20%20%E3%80%8C%E4%B9%BE%E6%B7%A8%E7%A8%8B%E5%BA%A6%E3%80%8D%E7%94%A8%20**Gini%20%E4%B8%8D%E7%B4%94%E5%BA%A6**%E8%A1%A1%E9%87%8F%EF%BC%9A%24%5Ctext%7BGini%7D%20%3D%201%20-%20%5Csum_k%20p_k%5E2%24%EF%BC%8C%0A%20%20%20%20%E5%85%A8%E6%98%AF%E5%90%8C%E4%B8%80%E9%A1%9E%20%3D%200%EF%BC%88%E6%9C%80%E7%B4%94%EF%BC%89%EF%BC%8C%E4%B8%89%E9%A1%9E%E5%9D%87%E5%8B%BB%E6%B7%B7%E5%90%88%20%E2%89%88%200.667%EF%BC%88%E6%9C%80%E4%B8%8D%E7%B4%94%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E8%A6%AA%E6%89%8B%E7%95%B6%E4%B8%80%E6%AC%A1%E6%B1%BA%E7%AD%96%E6%A8%B9%EF%BC%9A%E6%8C%91%E4%B8%80%E5%80%8B%E7%89%B9%E5%BE%B5%E3%80%81%E6%8B%96%E5%8B%95%E9%96%BE%E5%80%BC%EF%BC%8C%E7%9C%8B%E4%BD%A0%E9%80%99%E4%B8%80%E5%88%80%E5%88%87%E5%AE%8C%E7%9A%84**%E5%8A%A0%E6%AC%8A%20Gini**%20%E6%98%AF%E5%A4%9A%E5%B0%91%E3%80%82%0A%20%20%20%20%E8%A9%A6%E8%91%97%E6%89%BE%E5%88%B0%E8%AE%93%E5%8A%A0%E6%AC%8A%20Gini%20%E6%9C%80%E5%B0%8F%E7%9A%84%E4%BD%8D%E7%BD%AE%E2%80%94%E2%80%94%E9%82%A3%E5%B0%B1%E6%98%AF%E6%B1%BA%E7%AD%96%E6%A8%B9%E6%9C%83%E9%81%B8%E7%9A%84%E5%88%87%E9%BB%9E%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(feature_names%2C%20mo)%3A%0A%20%20%20%20gini_feature%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3Dfeature_names%2C%20value%3Dfeature_names%5B2%5D%2C%20label%3D%22%E5%88%87%E5%88%86%E7%89%B9%E5%BE%B5%22%0A%20%20%20%20)%0A%20%20%20%20return%20(gini_feature%2C)%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20gini_feature%2C%20mo)%3A%0A%20%20%20%20_vals%20%3D%20df%5Bgini_feature.value%5D%0A%20%20%20%20gini_threshold%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3Dfloat(_vals.min())%2C%20stop%3Dfloat(_vals.max())%2C%20step%3D0.05%2C%0A%20%20%20%20%20%20%20%20value%3Dround(float(_vals.median())%2C%202)%2C%20label%3D%22%E5%88%87%E5%88%86%E9%96%BE%E5%80%BC%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bgini_feature%2C%20gini_threshold%5D)%0A%20%20%20%20return%20(gini_threshold%2C)%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20gini_feature%2C%20gini_threshold%2C%20mo%2C%20np)%3A%0A%20%20%20%20def%20gini_impurity(labels)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Gini%20%3D%201%20-%20%CE%A3%20p_k%C2%B2%22%22%22%0A%20%20%20%20%20%20%20%20if%20len(labels)%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.0%0A%20%20%20%20%20%20%20%20_%2C%20counts%20%3D%20np.unique(labels%2C%20return_counts%3DTrue)%0A%20%20%20%20%20%20%20%20p%20%3D%20counts%20%2F%20counts.sum()%0A%20%20%20%20%20%20%20%20return%20float(1%20-%20(p**2).sum())%0A%0A%20%20%20%20_feat%2C%20_t%20%3D%20gini_feature.value%2C%20gini_threshold.value%0A%20%20%20%20_left%20%3D%20df%5Bdf%5B_feat%5D%20%3C%3D%20_t%5D%5B%22target%22%5D%0A%20%20%20%20_right%20%3D%20df%5Bdf%5B_feat%5D%20%3E%20_t%5D%5B%22target%22%5D%0A%20%20%20%20_gl%2C%20_gr%20%3D%20gini_impurity(_left)%2C%20gini_impurity(_right)%0A%20%20%20%20_n%20%3D%20len(df)%0A%20%20%20%20gini_weighted%20%3D%20len(_left)%20%2F%20_n%20*%20_gl%20%2B%20len(_right)%20%2F%20_n%20*%20_gr%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7C%20%7C%20%E5%B7%A6%E7%B5%84%EF%BC%88%E2%89%A4%20%7B_t%3A.2f%7D%EF%BC%89%20%7C%20%E5%8F%B3%E7%B5%84%EF%BC%88%3E%20%7B_t%3A.2f%7D%EF%BC%89%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20%E6%A8%A3%E6%9C%AC%E6%95%B8%20%7C%20%7Blen(_left)%7D%20%7C%20%7Blen(_right)%7D%20%7C%0A%20%20%20%20%7C%20Gini%20%7C%20%7B_gl%3A.3f%7D%20%7C%20%7B_gr%3A.3f%7D%20%7C%0A%0A%20%20%20%20**%E5%8A%A0%E6%AC%8A%20Gini%20%3D%20%7Bgini_weighted%3A.3f%7D**%20%26nbsp%3B%EF%BC%88%E5%88%87%E5%88%86%E5%89%8D%E6%95%B4%E7%B5%84%E7%9A%84%20Gini%20%3D%20%7Bgini_impurity(df%5B%22target%22%5D)%3A.3f%7D%EF%BC%89%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df%2C%20gini_feature%2C%20gini_threshold%2C%20plt%2C%20target_names)%3A%0A%20%20%20%20_colors%20%3D%20%5B%22%234C72B0%22%2C%20%22%23DD8452%22%2C%20%22%2355A868%22%5D%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%203.2))%0A%20%20%20%20for%20_i%2C%20_name%20in%20enumerate(target_names)%3A%0A%20%20%20%20%20%20%20%20_ax.hist(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%5Bdf%5B%22species%22%5D%20%3D%3D%20_name%5D%5Bgini_feature.value%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bins%3D24%2C%20alpha%3D0.65%2C%20color%3D_colors%5B_i%5D%2C%20label%3D_name%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax.axvline(gini_threshold.value%2C%20color%3D%22%23C44E52%22%2C%20lw%3D2.5%2C%20ls%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22threshold%20%3D%20%7Bgini_threshold.value%3A.2f%7D%22)%0A%20%20%20%20_ax.set_xlabel(gini_feature.value)%0A%20%20%20%20_ax.set_ylabel(%22count%22)%0A%20%20%20%20_ax.legend(fontsize%3D8)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20%E8%A8%93%E7%B7%B4%E4%B8%80%E6%A3%B5%E7%9C%9F%E6%AD%A3%E7%9A%84%E6%B1%BA%E7%AD%96%E6%A8%B9%0A%0A%20%20%20%20%E6%89%8B%E5%8B%95%E6%89%BE%E5%88%87%E9%BB%9E%E5%A4%AA%E7%B4%AF%E4%BA%86%E2%80%94%E2%80%94%60DecisionTreeClassifier%60%20%E6%9C%83%E5%9C%A8**%E6%AF%8F%E5%80%8B%E7%AF%80%E9%BB%9E**%E8%87%AA%E5%8B%95%E6%8E%83%E9%81%8E%E6%89%80%E6%9C%89%E7%89%B9%E5%BE%B5%E3%80%81%0A%20%20%20%20%E6%89%80%E6%9C%89%E5%88%87%E9%BB%9E%EF%BC%8C%E6%8C%91%E5%8A%A0%E6%AC%8A%20Gini%20%E6%9C%80%E5%B0%8F%E7%9A%84%E9%82%A3%E4%B8%80%E5%88%80%EF%BC%8C%E7%84%B6%E5%BE%8C%E5%B0%8D%E5%88%87%E5%87%BA%E7%9A%84%E5%85%A9%E5%8D%8A**%E9%81%9E%E8%BF%B4**%E5%81%9A%E5%90%8C%E6%A8%A3%E7%9A%84%E4%BA%8B%E3%80%82%0A%0A%20%20%20%20%E5%85%A9%E5%80%8B%E6%9C%80%E9%87%8D%E8%A6%81%E7%9A%84%E7%85%9E%E8%BB%8A%EF%BC%88%E8%B6%85%E5%8F%83%E6%95%B8%EF%BC%89%E4%BA%A4%E7%B5%A6%E4%BD%A0%EF%BC%9A%0A%0A%20%20%20%20-%20**max_depth**%EF%BC%9A%E6%A8%B9%E6%9C%80%E5%A4%9A%E9%95%B7%E5%B9%BE%E5%B1%A4%0A%20%20%20%20-%20**min_samples_leaf**%EF%BC%9A%E6%AF%8F%E7%89%87%E8%91%89%E5%AD%90%E8%87%B3%E5%B0%91%E8%A6%81%E6%9C%89%E5%B9%BE%E5%80%8B%E6%A8%A3%E6%9C%AC%0A%0A%20%20%20%20%E5%85%88%E6%8A%8A%20max_depth%20%E6%8B%89%E5%88%B0%201%20%E7%9C%8B%E3%80%8C%E5%8F%AA%E5%88%87%E4%B8%80%E5%88%80%E3%80%8D%E7%9A%84%E6%A8%B9%E9%95%B7%E4%BB%80%E9%BA%BC%E6%A8%A3%EF%BC%8C%E5%86%8D%E6%85%A2%E6%85%A2%E5%8A%A0%E6%B7%B1%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20max_depth%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D8%2C%20step%3D1%2C%20value%3D3%2C%20label%3D%22max_depth%EF%BC%88%E6%A8%B9%E6%B7%B1%EF%BC%89%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20min_samples_leaf%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D1%2C%20stop%3D20%2C%20step%3D1%2C%20value%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22min_samples_leaf%EF%BC%88%E8%91%89%E6%9C%80%E5%B0%91%E6%A8%A3%E6%9C%AC%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bmax_depth%2C%20min_samples_leaf%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%0A%20%20%20%20return%20max_depth%2C%20min_samples_leaf%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20DecisionTreeClassifier%2C%0A%20%20%20%20accuracy_score%2C%0A%20%20%20%20df%2C%0A%20%20%20%20feature_names%2C%0A%20%20%20%20max_depth%2C%0A%20%20%20%20min_samples_leaf%2C%0A%20%20%20%20train_test_split%2C%0A)%3A%0A%20%20%20%20X_train%2C%20X_test%2C%20y_train%2C%20y_test%20%3D%20train_test_split(%0A%20%20%20%20%20%20%20%20df%5Bfeature_names%5D%2C%20df%5B%22target%22%5D%2C%0A%20%20%20%20%20%20%20%20test_size%3D0.3%2C%20random_state%3D42%2C%20stratify%3Ddf%5B%22target%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20clf%20%3D%20DecisionTreeClassifier(%0A%20%20%20%20%20%20%20%20max_depth%3Dmax_depth.value%2C%0A%20%20%20%20%20%20%20%20min_samples_leaf%3Dmin_samples_leaf.value%2C%0A%20%20%20%20%20%20%20%20random_state%3D42%2C%0A%20%20%20%20).fit(X_train%2C%20y_train)%0A%20%20%20%20train_acc%20%3D%20accuracy_score(y_train%2C%20clf.predict(X_train))%0A%20%20%20%20test_acc%20%3D%20accuracy_score(y_test%2C%20clf.predict(X_test))%0A%20%20%20%20return%20X_test%2C%20X_train%2C%20clf%2C%20test_acc%2C%20train_acc%2C%20y_test%2C%20y_train%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20test_acc%2C%20train_acc)%3A%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Df%22%7Btrain_acc%3A.1%25%7D%22%2C%20label%3D%22%E8%A8%93%E7%B7%B4%E9%9B%86%E6%BA%96%E7%A2%BA%E7%8E%87%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Df%22%7Btest_acc%3A.1%25%7D%22%2C%20label%3D%22%E6%B8%AC%E8%A9%A6%E9%9B%86%E6%BA%96%E7%A2%BA%E7%8E%87%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Df%22%7Btrain_acc%20-%20test_acc%3A%2B.1%25%7D%22%2C%20label%3D%22%E5%B7%AE%E8%B7%9D%EF%BC%88%E9%81%8E%E6%93%AC%E5%90%88%E8%A8%8A%E8%99%9F%EF%BC%89%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%20gap%3D1%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(clf%2C%20feature_names%2C%20plot_tree%2C%20plt%2C%20target_names)%3A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(12%2C%206.5))%0A%20%20%20%20plot_tree(%0A%20%20%20%20%20%20%20%20clf%2C%20feature_names%3Dfeature_names%2C%20class_names%3Dtarget_names%2C%0A%20%20%20%20%20%20%20%20filled%3DTrue%2C%20rounded%3DTrue%2C%20ax%3D_ax%2C%20fontsize%3D8%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.set_title(%22The%20trained%20decision%20tree%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%E8%AE%80%E6%A8%B9%E7%9A%84%E6%96%B9%E6%B3%95%EF%BC%9A%E6%AF%8F%E5%80%8B%E7%AF%80%E9%BB%9E%E9%A1%AF%E7%A4%BA%E3%80%8C%E5%88%87%E5%88%86%E6%A2%9D%E4%BB%B6%20%2F%20gini%20%2F%20%E6%A8%A3%E6%9C%AC%E6%95%B8%20%2F%20%E5%90%84%E9%A1%9E%E6%95%B8%E9%87%8F%E3%80%8D%E3%80%82%0A%20%20%20%20%E6%B3%A8%E6%84%8F%E7%9C%8B**%E6%A0%B9%E7%AF%80%E9%BB%9E%E9%81%B8%E4%BA%86%E5%93%AA%E5%80%8B%E7%89%B9%E5%BE%B5**%E2%80%94%E2%80%94%E8%B7%9F%E4%BD%A0%E5%9C%A8%E7%AC%AC%202%EF%B8%8F%E2%83%A3%20%E7%AF%80%E6%95%A3%E4%BD%88%E5%9C%96%E4%B8%8A%E7%9A%84%E8%A7%80%E5%AF%9F%E4%B8%80%E8%87%B4%E5%97%8E%EF%BC%9F%0A%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20%E6%B1%BA%E7%AD%96%E9%82%8A%E7%95%8C%EF%BC%9A%E6%A8%B9%E6%98%AF%E6%80%8E%E9%BA%BC%E3%80%8C%E7%9C%8B%E3%80%8D%E5%B9%B3%E9%9D%A2%E7%9A%84%0A%0A%20%20%20%20%E7%94%A8%E4%BD%A0%E5%9C%A8%E7%AC%AC%202%EF%B8%8F%E2%83%A3%20%E7%AF%80%E9%81%B8%E7%9A%84%E5%85%A9%E5%80%8B%E7%89%B9%E5%BE%B5%EF%BC%88%E5%9B%9E%E4%B8%8A%E9%9D%A2%E6%8F%9B%E9%81%B8%E9%A0%85%EF%BC%8C%E9%80%99%E8%A3%A1%E6%9C%83%E8%B7%9F%E8%91%97%E8%AE%8A%EF%BC%89%E8%A8%93%E7%B7%B4%E4%B8%80%E6%A3%B5%E5%90%8C%E5%8F%83%E6%95%B8%E7%9A%84%E6%A8%B9%EF%BC%8C%0A%20%20%20%20%E6%8A%8A%E6%95%B4%E5%80%8B%E5%B9%B3%E9%9D%A2%E7%9A%84%E9%A0%90%E6%B8%AC%E7%B5%90%E6%9E%9C%E5%A1%97%E8%89%B2%E3%80%82%E6%B1%BA%E7%AD%96%E6%A8%B9%E7%9A%84%E9%82%8A%E7%95%8C%E6%B0%B8%E9%81%A0%E6%98%AF**%E8%BB%B8%E5%B0%8D%E9%BD%8A%E7%9A%84%E7%9F%A9%E5%BD%A2%E5%88%87%E5%89%B2**%E2%80%94%E2%80%94%0A%20%20%20%20%E5%9B%A0%E7%82%BA%E6%AF%8F%E4%B8%80%E5%88%80%E9%83%BD%E5%8F%AA%E5%95%8F%E3%80%8C%E6%9F%90%E7%89%B9%E5%BE%B5%20%E2%89%A4%20%E6%9F%90%E5%80%BC%EF%BC%9F%E3%80%8D%E3%80%82%E6%8A%8A%20max_depth%20%E8%AA%BF%E5%A4%A7%EF%BC%8C%E7%9C%8B%E6%A0%BC%E5%AD%90%E6%80%8E%E9%BA%BC%E8%B6%8A%E5%88%87%E8%B6%8A%E7%A2%8E%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20DecisionTreeClassifier%2C%0A%20%20%20%20df%2C%0A%20%20%20%20feat_x%2C%0A%20%20%20%20feat_y%2C%0A%20%20%20%20max_depth%2C%0A%20%20%20%20min_samples_leaf%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20target_names%2C%0A)%3A%0A%20%20%20%20_colors%20%3D%20%5B%22%234C72B0%22%2C%20%22%23DD8452%22%2C%20%22%2355A868%22%5D%0A%20%20%20%20_fx%2C%20_fy%20%3D%20feat_x.value%2C%20feat_y.value%0A%20%20%20%20_X2%20%3D%20df%5B%5B_fx%2C%20_fy%5D%5D.to_numpy()%0A%20%20%20%20_y%20%3D%20df%5B%22target%22%5D.to_numpy()%0A%20%20%20%20_clf2d%20%3D%20DecisionTreeClassifier(%0A%20%20%20%20%20%20%20%20max_depth%3Dmax_depth.value%2C%0A%20%20%20%20%20%20%20%20min_samples_leaf%3Dmin_samples_leaf.value%2C%0A%20%20%20%20%20%20%20%20random_state%3D42%2C%0A%20%20%20%20).fit(_X2%2C%20_y)%0A%0A%20%20%20%20_x0%20%3D%20np.linspace(_X2%5B%3A%2C%200%5D.min()%20-%200.3%2C%20_X2%5B%3A%2C%200%5D.max()%20%2B%200.3%2C%20300)%0A%20%20%20%20_x1%20%3D%20np.linspace(_X2%5B%3A%2C%201%5D.min()%20-%200.3%2C%20_X2%5B%3A%2C%201%5D.max()%20%2B%200.3%2C%20300)%0A%20%20%20%20_xx%2C%20_yy%20%3D%20np.meshgrid(_x0%2C%20_x1)%0A%20%20%20%20_zz%20%3D%20_clf2d.predict(np.c_%5B_xx.ravel()%2C%20_yy.ravel()%5D).reshape(_xx.shape)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%205))%0A%20%20%20%20_ax.contourf(_xx%2C%20_yy%2C%20_zz%2C%20alpha%3D0.25%2C%20levels%3D2%2C%20colors%3D_colors)%0A%20%20%20%20for%20_i%2C%20_name%20in%20enumerate(target_names)%3A%0A%20%20%20%20%20%20%20%20_m%20%3D%20_y%20%3D%3D%20_i%0A%20%20%20%20%20%20%20%20_ax.scatter(_X2%5B_m%2C%200%5D%2C%20_X2%5B_m%2C%201%5D%2C%20c%3D_colors%5B_i%5D%2C%20label%3D_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolors%3D%22white%22%2C%20s%3D45)%0A%20%20%20%20_ax.set_xlabel(_fx)%0A%20%20%20%20_ax.set_ylabel(_fy)%0A%20%20%20%20_ax.set_title(f%22Decision%20boundary%20(max_depth%3D%7Bmax_depth.value%7D)%22)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E9%81%8E%E6%93%AC%E5%90%88%EF%BC%9A%E6%A8%B9%E8%B6%8A%E6%B7%B1%E8%B6%8A%E5%A5%BD%E5%97%8E%EF%BC%9F%0A%0A%20%20%20%20%E6%8A%8A%E6%AF%8F%E7%A8%AE%E6%B7%B1%E5%BA%A6%E9%83%BD%E8%A8%93%E7%B7%B4%E4%B8%80%E6%AC%A1%EF%BC%8C%E6%AF%94%E8%BC%83%E8%A8%93%E7%B7%B4%E9%9B%86%E8%88%87%E6%B8%AC%E8%A9%A6%E9%9B%86%E7%9A%84%E6%BA%96%E7%A2%BA%E7%8E%87%E3%80%82%0A%20%20%20%20%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%E7%B6%93%E5%85%B8%E7%9A%84%E5%88%86%E5%B2%94%EF%BC%9A**%E8%A8%93%E7%B7%B4%E6%BA%96%E7%A2%BA%E7%8E%87%E4%B8%80%E8%B7%AF%E5%8D%87%EF%BC%8C%E6%B8%AC%E8%A9%A6%E6%BA%96%E7%A2%BA%E7%8E%87%E5%85%88%E5%8D%87%E5%BE%8C%E5%B9%B3%EF%BC%88%E7%94%9A%E8%87%B3%E6%8E%89%E9%A0%AD%EF%BC%89**%E2%80%94%E2%80%94%0A%20%20%20%20%E6%A8%B9%E5%A4%AA%E6%B7%B1%E6%99%82%EF%BC%8C%E5%AE%83%E8%83%8C%E4%B8%8B%E4%BA%86%E8%A8%93%E7%B7%B4%E8%B3%87%E6%96%99%E7%9A%84%E9%9B%9C%E8%A8%8A%EF%BC%8C%E8%80%8C%E4%B8%8D%E6%98%AF%E5%AD%B8%E5%88%B0%E8%A6%8F%E5%BE%8B%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20DecisionTreeClassifier%2C%0A%20%20%20%20X_test%2C%0A%20%20%20%20X_train%2C%0A%20%20%20%20accuracy_score%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20y_test%2C%0A%20%20%20%20y_train%2C%0A)%3A%0A%20%20%20%20_depths%20%3D%20np.arange(1%2C%2011)%0A%20%20%20%20_tr%2C%20_te%20%3D%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20for%20_d%20in%20_depths%3A%0A%20%20%20%20%20%20%20%20_m%20%3D%20DecisionTreeClassifier(max_depth%3Dint(_d)%2C%20random_state%3D42).fit(%0A%20%20%20%20%20%20%20%20%20%20%20%20X_train%2C%20y_train%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_tr.append(accuracy_score(y_train%2C%20_m.predict(X_train)))%0A%20%20%20%20%20%20%20%20_te.append(accuracy_score(y_test%2C%20_m.predict(X_test)))%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7%2C%204))%0A%20%20%20%20_ax.plot(_depths%2C%20_tr%2C%20%22o-%22%2C%20color%3D%22%234C72B0%22%2C%20label%3D%22train%20accuracy%22)%0A%20%20%20%20_ax.plot(_depths%2C%20_te%2C%20%22s-%22%2C%20color%3D%22%23C44E52%22%2C%20label%3D%22test%20accuracy%22)%0A%20%20%20%20_ax.set_xlabel(%22max_depth%22)%0A%20%20%20%20_ax.set_ylabel(%22accuracy%22)%0A%20%20%20%20_ax.set_xticks(_depths)%0A%20%20%20%20_ax.set_ylim(0.6%2C%201.02)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_ax.set_title(%22Overfitting%3A%20train%20vs%20test%20accuracy%22)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%207%EF%B8%8F%E2%83%A3%20%E7%B7%B4%E7%BF%92%EF%BC%9A%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%A0%BC%E6%98%AF%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%EF%BC%8C%E6%94%B9%E5%AE%8C%E6%8C%89%20%E2%96%B6%20%E9%87%8D%E8%B7%91%E3%80%82%E5%BB%BA%E8%AD%B0%E6%8C%91%E6%88%B0%EF%BC%88%E7%94%B1%E6%98%93%E5%88%B0%E9%9B%A3%EF%BC%89%EF%BC%9A%0A%0A%20%20%20%201.%20%E6%8A%8A%20%60criterion%60%20%E6%94%B9%E6%88%90%20%60%22entropy%22%60%EF%BC%88%E8%B3%87%E8%A8%8A%E5%A2%9E%E7%9B%8A%EF%BC%89%EF%BC%8C%E6%BA%96%E7%A2%BA%E7%8E%87%E6%9C%89%E8%AE%8A%E5%97%8E%EF%BC%9F%E6%A8%B9%E9%95%B7%E5%BE%97%E4%B8%80%E6%A8%A3%E5%97%8E%EF%BC%9F%0A%20%20%20%202.%20%E5%8F%AA%E7%94%A8%20**sepal**%20%E7%9A%84%E5%85%A9%E5%80%8B%E7%89%B9%E5%BE%B5%E8%A8%93%E7%B7%B4%EF%BC%8C%E6%B8%AC%E8%A9%A6%E6%BA%96%E7%A2%BA%E7%8E%87%E6%8E%89%E5%88%B0%E5%A4%9A%E5%B0%91%EF%BC%9F%EF%BC%88%E5%91%BC%E6%87%89%E7%AC%AC%202%EF%B8%8F%E2%83%A3%20%E7%AF%80%E7%9A%84%E8%A7%80%E5%AF%9F%EF%BC%89%0A%20%20%20%203.%20%E6%8A%8A%20%60load_wine()%60%20%E6%8F%9B%E9%80%B2%E4%BE%86%EF%BC%8813%20%E5%80%8B%E7%89%B9%E5%BE%B5%E3%80%813%20%E7%A8%AE%E9%85%92%EF%BC%89%EF%BC%8C%E9%80%99%E6%A3%B5%E6%A8%B9%E9%82%84%E5%A5%BD%E7%94%A8%E5%97%8E%EF%BC%9F%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E8%A8%98%E5%BE%97%EF%BC%9A**%E9%BB%9E%E5%8F%B3%E4%B8%8A%E8%A7%92%E4%B8%8B%E8%BC%89%E6%8C%89%E9%88%95%EF%BC%88%E6%88%96%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E9%A0%81%E7%9A%84%E3%80%8C%E4%B8%8B%E8%BC%89%20.py%E3%80%8D%EF%BC%89%E6%8A%8A%E4%BD%A0%E7%9A%84%E7%89%88%E6%9C%AC%E5%B8%B6%E8%B5%B0**%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E5%B0%B1%E8%83%BD%E7%B9%BC%E7%BA%8C%E7%8E%A9%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20DecisionTreeClassifier%2C%0A%20%20%20%20accuracy_score%2C%0A%20%20%20%20df%2C%0A%20%20%20%20feature_names%2C%0A%20%20%20%20train_test_split%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20%E8%A9%A6%E8%91%97%E4%BF%AE%E6%94%B9%E4%B8%8B%E9%9D%A2%E7%9A%84%E5%8F%83%E6%95%B8%EF%BC%8C%E6%88%96%E6%95%B4%E6%AE%B5%E9%87%8D%E5%AF%AB%EF%BC%81%0A%20%20%20%20my_features%20%3D%20feature_names%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E7%B7%B4%E7%BF%92%202%EF%BC%9A%E6%94%B9%E6%88%90%E5%8F%AA%E7%95%99%20sepal%20%E7%9A%84%E5%85%A9%E6%AC%84%0A%20%20%20%20my_criterion%20%3D%20%22gini%22%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%E7%B7%B4%E7%BF%92%201%EF%BC%9A%E6%94%B9%E6%88%90%20%22entropy%22%0A%0A%20%20%20%20_Xtr%2C%20_Xte%2C%20_ytr%2C%20_yte%20%3D%20train_test_split(%0A%20%20%20%20%20%20%20%20df%5Bmy_features%5D%2C%20df%5B%22target%22%5D%2C%0A%20%20%20%20%20%20%20%20test_size%3D0.3%2C%20random_state%3D42%2C%20stratify%3Ddf%5B%22target%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20my_tree%20%3D%20DecisionTreeClassifier(%0A%20%20%20%20%20%20%20%20criterion%3Dmy_criterion%2C%20max_depth%3D3%2C%20random_state%3D42%0A%20%20%20%20).fit(_Xtr%2C%20_ytr)%0A%0A%20%20%20%20print(f%22%E7%89%B9%E5%BE%B5%EF%BC%9A%7Bmy_features%7D%22)%0A%20%20%20%20print(f%22criterion%3D%7Bmy_criterion%7D%22)%0A%20%20%20%20print(f%22%E6%B8%AC%E8%A9%A6%E9%9B%86%E6%BA%96%E7%A2%BA%E7%8E%87%EF%BC%9A%7Baccuracy_score(_yte%2C%20my_tree.predict(_Xte))%3A.1%25%7D%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A