Where is the classifier weak?

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Where%20is%20the%20classifier%20weak%3F%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20io%0A%20%20%20%20import%20json%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20return%20alt%2C%20io%2C%20json%2C%20mo%2C%20np%2C%20pd%2C%20sys%0A%0A%0A%40app.cell%0Adef%20_(json%2C%20mo%2C%20np%2C%20sys)%3A%0A%20%20%20%20%23%20Data%20sits%20next%20to%20the%20notebook%20(data%2F...).%20mo.notebook_location()%20is%20a%20directory%20locally%20and%0A%20%20%20%20%23%20a%20URL%20in%20the%20browser%20build%2C%20where%20the%20files%20are%20fetched%20synchronously.%0A%20%20%20%20def%20_load_text(name%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%23%20In%20the%20browser%20build%20the%20data%20lives%20at%20%2Fmarimo%2Fdata%2F%20on%20the%20site%20(shared%20by%20all%20the%0A%20%20%20%20%20%20%20%20%23%20notebooks%2C%20independent%20of%20where%20the%20export's%20assets%20are)%3B%20locally%20it%20is%20next%20to%20the%20file.%0A%20%20%20%20%20%20%20%20if%20%22pyodide%22%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20urllib.parse%20import%20urlsplit%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20u%20%3D%20urlsplit(str(mo.notebook_location()))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20open_url(f%22%7Bu.scheme%7D%3A%2F%2F%7Bu.netloc%7D%2Fmarimo%2Fdata%2F%7Bname%7D%22).read()%0A%20%20%20%20%20%20%20%20return%20(mo.notebook_location()%20%2F%20%22data%22%20%2F%20name).read_text()%0A%0A%20%20%20%20scores%20%3D%20json.loads(_load_text(%22scores_clf_base_b.json%22))%0A%20%20%20%20_imgs%20%3D%20json.loads(_load_text(%22images_te1k.json%22))%0A%20%20%20%20import%20base64%0A%0A%20%20%20%20images%20%3D%20%7Bk%3A%20np.frombuffer(base64.b64decode(v)%2C%20dtype%3Dnp.uint8).reshape(64%2C%2064)%20for%20k%2C%20v%20in%20_imgs.items()%7D%0A%20%20%20%20return%20images%2C%20scores%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd%2C%20scores)%3A%0A%20%20%20%20CLASSES%20%3D%20%5B%22none%22%2C%20%22subhalo%22%2C%20%22vortex%22%5D%0A%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20for%20im%20in%20scores%5B%22images%22%5D%3A%0A%20%20%20%20%20%20%20%20li%20%3D%20CLASSES.index(im%5B%22label%22%5D)%0A%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22image_id%22%3A%20im%5B%22image_id%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22label%22%3A%20im%5B%22label%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22pred%22%3A%20im%5B%22pred%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p_none%22%3A%20im%5B%22probs%22%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p_subhalo%22%3A%20im%5B%22probs%22%5D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22p_vortex%22%3A%20im%5B%22probs%22%5D%5B2%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22uncertainty%22%3A%201.0%20-%20im%5B%22probs%22%5D%5Bli%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22correct%22%3A%20im%5B%22pred%22%5D%20%3D%3D%20im%5B%22label%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22snr%22%3A%20im%5B%22snr%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22mass_fraction%22%3A%20im%5B%22mass_fraction%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22axion_mass%22%3A%20im%5B%22axion_mass%22%5D%20if%20im%5B%22axion_mass%22%5D%20is%20not%20None%20else%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22n_subhalos%22%3A%20im%5B%22n_subhalos%22%5D%20if%20im%5B%22n_subhalos%22%5D%20is%20not%20None%20else%20np.nan%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20df%20%3D%20pd.DataFrame(rows)%0A%20%20%20%20AXES%20%3D%20%7B%22none%22%3A%20%5B%22snr%22%5D%2C%20%22subhalo%22%3A%20%5B%22n_subhalos%22%2C%20%22snr%22%5D%2C%20%22vortex%22%3A%20%5B%22axion_mass%22%2C%20%22snr%22%5D%7D%0A%20%20%20%20return%20AXES%2C%20df%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20cls%20%3D%20mo.ui.dropdown(options%3D%5B%22vortex%22%2C%20%22subhalo%22%2C%20%22none%22%5D%2C%20value%3D%22vortex%22%2C%20label%3D%22class%22)%0A%20%20%20%20n_bins%20%3D%20mo.ui.slider(2%2C%208%2C%20value%3D4%2C%20label%3D%22bins%22)%0A%20%20%20%20return%20cls%2C%20n_bins%0A%0A%0A%40app.cell%0Adef%20_(AXES%2C%20cls%2C%20mo)%3A%0A%20%20%20%20axis%20%3D%20mo.ui.dropdown(options%3DAXES%5Bcls.value%5D%2C%20value%3DAXES%5Bcls.value%5D%5B0%5D%2C%20label%3D%22axis%22)%0A%20%20%20%20return%20(axis%2C)%0A%0A%0A%40app.cell%0Adef%20_(axis%2C%20cls%2C%20mo%2C%20n_bins%2C%20scores)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20**%7Bscores%5B'model_id'%5D%7D**%20on%20%7Bsum(1%20for%20_%20in%20scores%5B'images'%5D)%3A%2C%7D%20held-out%20images.%20Per-image%20uncertainty%20is%0A%20%20%20%201%20%E2%88%92%20P(true%20class).%20Pick%20a%20class%20and%20an%20axis%3B%20bins%20are%20quantiles.%20Click%20a%20bar%20to%20see%20images%20from%20that%20cell.%0A%0A%20%20%20%20%7Bmo.hstack(%5Bcls%2C%20axis%2C%20n_bins%5D%2C%20gap%3D2%2C%20justify%3D%22start%22)%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20axis%2C%20cls%2C%20df%2C%20mo%2C%20n_bins%2C%20np)%3A%0A%20%20%20%20sub%20%3D%20df%5B(df%5B%22label%22%5D%20%3D%3D%20cls.value)%20%26%20df%5Baxis.value%5D.notna()%5D.copy()%0A%20%20%20%20log%20%3D%20axis.value%20%3D%3D%20%22axion_mass%22%0A%20%20%20%20v%20%3D%20np.log10(sub%5Baxis.value%5D)%20if%20log%20else%20sub%5Baxis.value%5D%0A%20%20%20%20edges%20%3D%20np.unique(np.quantile(v%2C%20np.linspace(0%2C%201%2C%20n_bins.value%20%2B%201)))%0A%20%20%20%20which%20%3D%20np.clip(np.searchsorted(edges%2C%20v%2C%20side%3D%22right%22)%20-%201%2C%200%2C%20len(edges)%20-%202)%0A%20%20%20%20sub%5B%22bin%22%5D%20%3D%20which%0A%20%20%20%20cells%20%3D%20(%0A%20%20%20%20%20%20%20%20sub.groupby(%22bin%22)%0A%20%20%20%20%20%20%20%20.agg(n%3D(%22uncertainty%22%2C%20%22size%22)%2C%20uncertainty%3D(%22uncertainty%22%2C%20%22mean%22)%2C%20accuracy%3D(%22correct%22%2C%20%22mean%22))%0A%20%20%20%20%20%20%20%20.reset_index()%0A%20%20%20%20)%0A%20%20%20%20lo%20%3D%20edges%5Bcells%5B%22bin%22%5D%5D%0A%20%20%20%20hi%20%3D%20edges%5Bcells%5B%22bin%22%5D%20%2B%201%5D%0A%20%20%20%20if%20log%3A%0A%20%20%20%20%20%20%20%20lo%2C%20hi%20%3D%2010**lo%2C%2010**hi%0A%20%20%20%20cells%5B%22range%22%5D%20%3D%20%5Bf%22%7Ba%3A.3g%7D%20to%20%7Bb%3A.3g%7D%22%20for%20a%2C%20b%20in%20zip(lo%2C%20hi)%5D%0A%20%20%20%20cells%5B%22cell%22%5D%20%3D%20%5Bf%22%7Baxis.value%7D%20%7Br%7D%22%20for%20r%20in%20cells%5B%22range%22%5D%5D%0A%20%20%20%20color%20%3D%20%7B%22none%22%3A%20%22%232a78d6%22%2C%20%22subhalo%22%3A%20%22%23eb6834%22%2C%20%22vortex%22%3A%20%22%231baf7a%22%7D%5Bcls.value%5D%0A%20%20%20%20cells%5B%22label%22%5D%20%3D%20%5Bf%22%7Br%7D%20%20%7C%20%20accuracy%20%7Ba%3A.0%25%7D%20%20%7C%20%20n%3D%7Bint(k)%7D%22%20for%20r%2C%20a%2C%20k%20in%20zip(cells%5B%22range%22%5D%2C%20cells%5B%22accuracy%22%5D%2C%20cells%5B%22n%22%5D)%5D%0A%20%20%20%20%23%20no%20cornerRadiusEnd%3A%20inside%20mo.ui.altair_chart%20it%20makes%20the%20bars%20disappear%20(marimo%200.24)%0A%20%20%20%20bars%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(cells)%0A%20%20%20%20%20%20%20%20.mark_bar(color%3Dcolor)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22label%3AN%22%2C%20sort%3Dalt.EncodingSortField(%22bin%22)%2C%20title%3DNone%2C%20axis%3Dalt.Axis(labelLimit%3D320%2C%20labelFontSize%3D11))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22uncertainty%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D)%2C%20title%3D%22mean%20uncertainty%20(1%20-%20P(true%20class))%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22range%3AN%22%2C%20%22n%3AQ%22%2C%20alt.Tooltip(%22uncertainty%3AQ%22%2C%20format%3D%22.3f%22)%2C%20alt.Tooltip(%22accuracy%3AQ%22%2C%20format%3D%22.3f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(height%3D32%20*%20len(cells)%20%2B%2020%2C%20width%3D%22container%22)%0A%20%20%20%20)%0A%20%20%20%20chart%20%3D%20mo.ui.altair_chart(bars%2C%20chart_selection%3D%22point%22%2C%20legend_selection%3DFalse)%0A%20%20%20%20weakest%20%3D%20cells.sort_values(%22uncertainty%22%2C%20ascending%3DFalse).iloc%5B0%5D%0A%20%20%20%20return%20chart%2C%20sub%2C%20weakest%0A%0A%0A%40app.cell%0Adef%20_(chart%2C%20mo%2C%20weakest)%3A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Weakest%3A%20**%7Bweakest%5B'cell'%5D%7D**%20(n%20%3D%20%7Bint(weakest%5B'n'%5D)%7D%2C%20mean%20uncertainty%20%7Bweakest%5B'uncertainty'%5D%3A.2f%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22accuracy%20%7Bweakest%5B'accuracy'%5D%3A.0%25%7D).%20Labels%20on%20the%20bars%20are%20accuracy%20per%20bin.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(chart%2C%20images%2C%20io%2C%20mo%2C%20sub)%3A%0A%20%20%20%20from%20PIL%20import%20Image%0A%0A%20%20%20%20def%20_png(arr)%20-%3E%20bytes%3A%0A%20%20%20%20%20%20%20%20buf%20%3D%20io.BytesIO()%0A%20%20%20%20%20%20%20%20Image.fromarray(arr).resize((128%2C%20128)%2C%20Image.NEAREST).save(buf%2C%20format%3D%22PNG%22)%0A%20%20%20%20%20%20%20%20return%20buf.getvalue()%0A%0A%20%20%20%20picked%20%3D%20chart.value%0A%20%20%20%20if%20picked%20is%20None%20or%20len(picked)%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22*Click%20a%20bar%20to%20see%20sample%20images%20from%20that%20cell.*%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20bins%20%3D%20set(int(b)%20for%20b%20in%20picked%5B%22bin%22%5D.tolist())%0A%20%20%20%20%20%20%20%20_rows%20%3D%20sub%5Bsub%5B%22bin%22%5D.isin(bins)%20%26%20sub%5B%22image_id%22%5D.isin(images.keys())%5D.sort_values(%22uncertainty%22%2C%20ascending%3DFalse).head(12)%0A%20%20%20%20%20%20%20%20if%20len(_rows)%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%22*No%20bundled%20images%20in%20this%20cell%20(the%20page%20ships%20200%20per%20class).*%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tiles%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.image(src%3D_png(images%5Br%5B%22image_id%22%5D%5D)%2C%20width%3D110)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%3Cspan%20style%3D'font-size%3A11px%3Bwhite-space%3Anowrap%3Bcolor%3A%7B'%23111'%20if%20r%5B'correct'%5D%20else%20'%23d03b3b'%7D'%3E%7Br%5B'pred'%5D%7D%20%7Br%5B'uncertainty'%5D%3A.2f%7D%3C%2Fspan%3E%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D0.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_%2C%20r%20in%20_rows.iterrows()%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_out%20%3D%20mo.vstack(%5Bmo.md(%22Most%20uncertain%20images%20in%20the%20selected%20cell%20(red%20%3D%20misclassified)%3A%22)%2C%20mo.hstack(tiles%2C%20wrap%3DTrue%2C%20gap%3D0.8%2C%20justify%3D%22start%22)%5D)%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A