pass@k

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22pass%40k%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20math%20import%20comb%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20return%20alt%2C%20comb%2C%20mo%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20n%20%3D%20mo.ui.slider(1%2C%2030%2C%20value%3D3%2C%20label%3D%22trials%20n%22)%0A%20%20%20%20return%20(n%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20n)%3A%0A%20%20%20%20c%20%3D%20mo.ui.slider(0%2C%20n.value%2C%20value%3Dmin(3%2C%20n.value)%2C%20label%3D%22successes%20c%22)%0A%20%20%20%20return%20(c%2C)%0A%0A%0A%40app.cell%0Adef%20_(c%2C%20mo%2C%20n)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20The%20unbiased%20estimators%20from%20the%20benchmark%3A%20**pass%40k**%20is%20the%20chance%20that%20at%20least%20one%20of%20k%20sampled%20attempts%0A%20%20%20%20succeeds%2C%20**pass%5Ek**%20the%20chance%20that%20all%20k%20do%2C%20given%20n%20trials%20with%20c%20successes.%0A%0A%20%20%20%20%7Bmo.hstack(%5Bn%2C%20c%5D%2C%20gap%3D2%2C%20justify%3D%22start%22)%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20c%2C%20comb%2C%20mo%2C%20n%2C%20pd)%3A%0A%20%20%20%20def%20pass_at_k(n_%2C%20c_%2C%20k)%3A%0A%20%20%20%20%20%20%20%20return%201.0%20if%20n_%20-%20c_%20%3C%20k%20else%201.0%20-%20comb(n_%20-%20c_%2C%20k)%20%2F%20comb(n_%2C%20k)%0A%0A%20%20%20%20def%20pass_pow_k(n_%2C%20c_%2C%20k)%3A%0A%20%20%20%20%20%20%20%20return%200.0%20if%20c_%20%3C%20k%20else%20comb(c_%2C%20k)%20%2F%20comb(n_%2C%20k)%0A%0A%20%20%20%20ks%20%3D%20list(range(1%2C%20n.value%20%2B%201))%0A%20%20%20%20df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%7B%22k%22%3A%20k%2C%20%22estimator%22%3A%20%22pass%40k%22%2C%20%22value%22%3A%20pass_at_k(n.value%2C%20c.value%2C%20k)%7D%20for%20k%20in%20ks%5D%0A%20%20%20%20%20%20%20%20%2B%20%5B%7B%22k%22%3A%20k%2C%20%22estimator%22%3A%20%22pass%5Ek%22%2C%20%22value%22%3A%20pass_pow_k(n.value%2C%20c.value%2C%20k)%7D%20for%20k%20in%20ks%5D%0A%20%20%20%20)%0A%20%20%20%20chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_line(point%3Dalt.OverlayMarkDef(size%3D40)%2C%20strokeWidth%3D2)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22k%3AQ%22%2C%20axis%3Dalt.Axis(tickMinStep%3D1)%2C%20title%3D%22k%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22value%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D)%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22estimator%3AN%22%2C%20scale%3Dalt.Scale(range%3D%5B%22%232a78d6%22%2C%20%22%23eb6834%22%5D)%2C%20legend%3Dalt.Legend(title%3DNone%2C%20orient%3D%22top-left%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22estimator%3AN%22%2C%20%22k%3AQ%22%2C%20alt.Tooltip(%22value%3AQ%22%2C%20format%3D%22.3f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(height%3D220%2C%20width%3D%22container%22)%0A%20%20%20%20)%0A%20%20%20%20p1%20%3D%20pass_at_k(n.value%2C%20c.value%2C%201)%0A%20%20%20%20note%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22With%20n%20%3D%20%7Bn.value%7D%20and%20c%20%3D%20%7Bc.value%7D%3A%20pass%401%20%3D%20%7Bp1%3A.2f%7D.%20%22%0A%20%20%20%20%20%20%20%20%2B%20(%22Both%20benchmark%20arms%20scored%203%20of%203%2C%20which%20pins%20pass%401%20at%201.00%20but%20says%20little%20about%20how%20often%20a%20fourth%20trial%20would%20pass.%22%20if%20n.value%20%3D%3D%203%20and%20c.value%20%3D%3D%203%20else%20%22%22)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bchart%2C%20mo.md(note)%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A