可觀測性與監控：看見你的 LLM（實驗場）

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.16%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22%E5%8F%AF%E8%A7%80%E6%B8%AC%E6%80%A7%E8%88%87%E7%9B%A3%E6%8E%A7%EF%BC%9A%E7%9C%8B%E8%A6%8B%E4%BD%A0%E7%9A%84%20LLM%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%A7%AA%20%E5%8F%AF%E8%A7%80%E6%B8%AC%E6%80%A7%E8%88%87%E7%9B%A3%E6%8E%A7%EF%BC%9A%E7%9C%8B%E8%A6%8B%E4%BD%A0%E7%9A%84%20LLM%EF%BC%88%E5%AF%A6%E9%A9%97%E5%A0%B4%EF%BC%89%0A%0A%20%20%20%20%E9%80%99%E6%98%AF%E6%9C%AC%E8%AA%B2%E7%9A%84**%E5%AF%A6%E9%A9%97%E5%A0%B4**%E3%80%82%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E8%AE%80%E5%88%B0%E5%93%AA%EF%BC%8C%E5%B0%B1%E5%9B%9E%E5%88%B0%E9%80%99%E8%A3%A1%E5%8B%95%E6%89%8B%E5%81%9A%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%8F%E4%B8%80%E6%A0%BC%E7%A8%8B%E5%BC%8F%E7%A2%BC%E9%83%BD%E5%8F%AF%E4%BB%A5**%E7%9B%B4%E6%8E%A5%E4%BF%AE%E6%94%B9%E3%80%81%E7%AB%8B%E5%8D%B3%E9%87%8D%E8%B7%91**%EF%BC%88%E9%BB%9E%E6%A0%BC%E5%AD%90%E5%8F%B3%E4%B8%8A%E7%9A%84%20%E2%96%B6%EF%BC%8C%E6%88%96%E6%8C%89%20%60Ctrl%2BEnter%60%EF%BC%89%E3%80%82%0A%20%20%20%20%E6%94%B9%E5%A3%9E%E4%BA%86%E4%B9%9F%E6%B2%92%E9%97%9C%E4%BF%82%EF%BC%9A%E9%87%8D%E6%96%B0%E6%95%B4%E7%90%86%E9%A0%81%E9%9D%A2%E5%B0%B1%E6%9C%83%E5%9B%9E%E5%88%B0%E5%8E%9F%E7%89%88%E3%80%82%0A%0A%20%20%20%20%E6%9C%AC%E8%AA%B2%E5%88%86%E5%85%A9%E5%8D%8A%EF%BC%9A**1%EF%B8%8F%E2%83%A32%EF%B8%8F%E2%83%A3%20%E8%AB%8B%E6%B1%82%E5%B1%A4**%EF%BC%88%E4%B8%80%E6%A2%9D%20trace%20%E8%A3%A1%E7%99%BC%E7%94%9F%E4%BA%86%E4%BB%80%E9%BA%BC%E3%80%81%E9%8C%A2%E8%8A%B1%E5%9C%A8%E8%AA%B0%E8%BA%AB%E4%B8%8A%EF%BC%89%E3%80%81%0A%20%20%20%20**3%EF%B8%8F%E2%83%A34%EF%B8%8F%E2%83%A35%EF%B8%8F%E2%83%A3%20%E6%A9%9F%E5%99%A8%E5%B1%A4**%EF%BC%88%E5%91%8A%E8%AD%A6%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E8%A9%B2%E5%8F%AB%E3%80%81VRAM%20%E8%A9%B2%E6%80%8E%E9%BA%BC%E5%88%A4%E8%AE%80%EF%BC%89%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E7%A7%91%E5%AD%B8%E5%A5%97%E4%BB%B6%E9%9B%86%E4%B8%AD%E5%9C%A8%E9%80%99%E6%A0%BC%20import%EF%BC%8C%E5%9B%9E%E5%82%B3%E7%B5%A6%E5%85%A8%20notebook%20%E7%94%A8%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20np%2C%20plt%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%201%EF%B8%8F%E2%83%A3%20%E4%B8%80%E6%A2%9D%20trace%20%E6%94%A4%E9%96%8B%EF%BC%9A%E5%88%B0%E5%BA%95%E6%85%A2%E5%9C%A8%E5%93%AA%E4%B8%80%E6%AD%A5%0A%0A%20%20%20%20%E4%B8%80%E6%AC%A1%E3%80%8C%E8%AB%8B%E6%B1%82%E3%80%8D%E5%9C%A8%20agent%20%E6%99%82%E4%BB%A3%E4%B8%8D%E6%98%AF%E4%B8%80%E4%BB%B6%E4%BA%8B%EF%BC%8C%E6%98%AF%E4%B8%80%E6%A3%B5%E6%A8%B9%EF%BC%9A%E8%A6%8F%E5%8A%83%20%E2%86%92%20%E6%AA%A2%E7%B4%A2%20%E2%86%92%20%E5%91%BC%E5%8F%AB%E5%B7%A5%E5%85%B7%20%E2%86%92%20%E7%94%9F%E6%88%90%E3%80%82%0A%20%20%20%20trace%20%E5%B0%B1%E6%98%AF%E6%8A%8A%E9%80%99%E6%A3%B5%E6%A8%B9%E9%80%A3%E5%90%8C%E6%AF%8F%E4%B8%80%E6%AD%A5%E7%9A%84%E8%B5%B7%E8%A8%96%E6%99%82%E9%96%93%E8%A8%98%E4%B8%8B%E4%BE%86%E3%80%82%0A%0A%20%20%20%20%E5%88%A4%E8%AE%80%20trace%20%E7%9A%84%E7%AC%AC%E4%B8%80%E5%80%8B%E6%8A%80%E5%B7%A7%E6%98%AF%E5%88%86%E6%B8%85%E6%A5%9A**%E5%85%A9%E7%A8%AE%E6%99%82%E9%96%93**%EF%BC%9A%0A%0A%20%20%20%20-%20**%E7%B8%BD%E6%99%82%E9%95%B7%EF%BC%88duration%EF%BC%89**%EF%BC%9A%E9%80%99%E5%80%8B%20span%20%E5%BE%9E%E9%96%8B%E5%A7%8B%E5%88%B0%E7%B5%90%E6%9D%9F%E7%9A%84%E7%89%86%E9%90%98%E6%99%82%E9%96%93%EF%BC%8C**%E5%8C%85%E5%90%AB%E6%89%80%E6%9C%89%E5%AD%90%E6%AD%A5%E9%A9%9F**%0A%20%20%20%20-%20**%E8%87%AA%E8%BA%AB%E6%99%82%E9%96%93%EF%BC%88self%20time%EF%BC%89**%EF%BC%9A%E7%B8%BD%E6%99%82%E9%95%B7%E6%89%A3%E6%8E%89%E7%9B%B4%E6%8E%A5%E5%AD%90%E6%AD%A5%E9%A9%9F%E7%9A%84%E6%99%82%E9%96%93%EF%BC%8C%E6%89%8D%E6%98%AF%E3%80%8C%E9%80%99%E4%B8%80%E5%B1%A4%E8%87%AA%E5%B7%B1%E8%8A%B1%E6%8E%89%E7%9A%84%E3%80%8D%0A%0A%20%20%20%20%E5%8F%AA%E7%9C%8B%E7%B8%BD%E6%99%82%E9%95%B7%EF%BC%8C%E6%9C%80%E4%B8%8A%E5%B1%A4%E7%9A%84%20%60rag_answer%60%20%E6%B0%B8%E9%81%A0%E6%98%AF%E6%9C%80%E6%85%A2%E7%9A%84%E9%82%A3%E5%80%8B%EF%BC%88%E5%AE%83%E5%8C%85%E4%BD%8F%E5%85%A8%E9%83%A8%EF%BC%89%EF%BC%8C%E9%80%99%E5%8F%A5%E8%A9%B1%E6%B2%92%E6%9C%89%E8%B3%87%E8%A8%8A%E9%87%8F%E3%80%82%0A%20%20%20%20**self%20time%20%E6%9C%80%E5%A4%A7%E7%9A%84%E9%82%A3%E4%B8%80%E6%AD%A5%EF%BC%8C%E6%89%8D%E6%98%AF%E7%9C%9F%E6%AD%A3%E7%9A%84%E5%85%87%E6%89%8B%E3%80%82**%EF%BC%88%E4%B8%8B%E9%9D%A2%E6%AF%8F%E6%A2%9D%20trace%20%E7%9A%84%E6%99%82%E9%96%93%E8%BB%B8%E6%98%AF%E6%95%99%E5%AD%B8%E5%90%88%E6%88%90%E7%9A%84%EF%BC%8C%0A%20%20%20%20%E4%BD%86%20self%20time%20%E7%9A%84%E7%AE%97%E6%B3%95%E8%B7%9F%E4%BD%A0%E5%9C%A8%20MLflow%EF%BC%8FLangfuse%20UI%20%E4%B8%8A%E7%9C%8B%E5%88%B0%E7%9A%84%E5%AE%8C%E5%85%A8%E4%B8%80%E6%A8%A3%E3%80%82%EF%BC%89%0A%0A%20%20%20%20%E6%8F%9B%E4%B8%80%E6%A2%9D%20trace%20%E7%9C%8B%E7%9C%8B%EF%BC%8C%E6%B3%A8%E6%84%8F%E6%9C%80%E6%85%A2%E7%9A%84%E9%82%A3%E4%B8%80%E6%AD%A5%E6%80%8E%E9%BA%BC%E8%B7%B3%E5%8B%95%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20trace_pick%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E2%91%A0%20%E9%A0%86%E5%88%A9%E7%9A%84%E4%B8%80%E6%AC%A1%20RAG%20%E5%95%8F%E7%AD%94%22%3A%20%22ok%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E2%91%A1%20%E4%B8%80%E6%A8%A3%E7%9A%84%E5%95%8F%E9%A1%8C%EF%BC%8C%E7%AA%81%E7%84%B6%E8%AE%8A%E6%85%A2%E4%BA%86%22%3A%20%22slow_retrieve%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E2%91%A2%20%E5%8F%88%E6%85%A2%E4%BA%86%E4%B8%80%E6%AC%A1%EF%BC%8C%E4%BD%86%E6%85%A2%E7%9A%84%E5%9C%B0%E6%96%B9%E4%B8%8D%E4%B8%80%E6%A8%A3%22%3A%20%22slow_generate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E2%91%A3%20agent%20%E5%8D%A1%E5%9C%A8%E9%87%8D%E8%A9%A6%E8%BF%B4%E5%9C%88%E8%A3%A1%22%3A%20%22retry_loop%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22%E2%91%A0%20%E9%A0%86%E5%88%A9%E7%9A%84%E4%B8%80%E6%AC%A1%20RAG%20%E5%95%8F%E7%AD%94%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E9%81%B8%E4%B8%80%E6%A2%9D%20trace%22%2C%0A%20%20%20%20)%0A%20%20%20%20trace_pick%0A%20%20%20%20return%20(trace_pick%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%E4%B8%80%E6%A2%9D%20trace%20%EF%BC%9D%20%E5%89%8D%E5%BA%8F%E6%8E%92%E5%88%97%E7%9A%84%20span%20%E6%B8%85%E5%96%AE%EF%BC%9A(%E6%B7%B1%E5%BA%A6%2C%20%E5%90%8D%E7%A8%B1%2C%20%E9%A1%9E%E5%9E%8B%2C%20%E8%B5%B7%20ms%2C%20%E8%BF%84%20ms%2C%20%E9%80%99%E4%B8%80%E6%AD%A5%E6%88%90%E5%8A%9F%E5%97%8E)%0A%20%20%20%20TRACES%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22ok%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(0%2C%20%22rag_answer%22%2C%20%22CHAIN%22%2C%200%2C%201850%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22retrieve%22%2C%20%22RETRIEVER%22%2C%2020%2C%20380%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%2C%20%22embeddings%22%2C%20%22LLM%22%2C%2030%2C%20360%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22generate%22%2C%20%22LLM%22%2C%20400%2C%201840%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22slow_retrieve%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(0%2C%20%22rag_answer%22%2C%20%22CHAIN%22%2C%200%2C%203210%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22retrieve%22%2C%20%22RETRIEVER%22%2C%2020%2C%201880%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%2C%20%22embeddings%22%2C%20%22LLM%22%2C%2030%2C%20300%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%2C%20%22vector_search%22%2C%20%22TOOL%22%2C%20310%2C%201870%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22generate%22%2C%20%22LLM%22%2C%201900%2C%203200%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22slow_generate%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(0%2C%20%22rag_answer%22%2C%20%22CHAIN%22%2C%200%2C%209240%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22retrieve%22%2C%20%22RETRIEVER%22%2C%2020%2C%20390%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%2C%20%22embeddings%22%2C%20%22LLM%22%2C%2030%2C%20370%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22generate%22%2C%20%22LLM%22%2C%20410%2C%209230%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%2C%20%22queue_wait%22%2C%20%22TOOL%22%2C%20420%2C%207620%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(2%2C%20%22decode%22%2C%20%22LLM%22%2C%207630%2C%209220%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22retry_loop%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(0%2C%20%22agent_run%22%2C%20%22CHAIN%22%2C%200%2C%208600%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22llm_plan%20%231%22%2C%20%22LLM%22%2C%200%2C%201180%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22list_allowed_directraries%22%2C%20%22TOOL%22%2C%201190%2C%201260%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22llm_plan%20%232%22%2C%20%22LLM%22%2C%201270%2C%202560%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22list_allowed_directraries%22%2C%20%22TOOL%22%2C%202570%2C%202640%2C%20False)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22llm_plan%20%233%22%2C%20%22LLM%22%2C%202650%2C%204090%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22list_allowed_directories%22%2C%20%22TOOL%22%2C%204100%2C%204230%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22llm_plan%20%234%22%2C%20%22LLM%22%2C%204240%2C%205860%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22read_file%22%2C%20%22TOOL%22%2C%205870%2C%206020%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(1%2C%20%22llm_plan%20%235%22%2C%20%22LLM%22%2C%206030%2C%208580%2C%20True)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20self_times(spans)%3A%0A%20%20%20%20%20%20%20%20%22%22%22self%20time%20%3D%20%E7%B8%BD%E6%99%82%E9%95%B7%20%E2%88%92%20%E7%9B%B4%E6%8E%A5%E5%AD%90%E6%AD%A5%E9%A9%9F%E7%9A%84%E6%99%82%E9%95%B7%E7%B8%BD%E5%92%8C%EF%BC%88spans%20%E9%9C%80%E7%82%BA%E5%89%8D%E5%BA%8F%E6%8E%92%E5%88%97%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%20%20%20%20%E6%95%B8%E5%AD%B8%E4%B8%8A%E6%9C%89%E5%80%8B%E5%A5%BD%E7%94%A8%E7%9A%84%E8%87%AA%E6%88%91%E6%AA%A2%E6%9F%A5%EF%BC%9A%E6%89%80%E6%9C%89%20span%20%E7%9A%84%20self%20time%20%E5%8A%A0%E8%B5%B7%E4%BE%86%20%3D%3D%20%E6%A0%B9%20span%20%E7%9A%84%E7%B8%BD%E6%99%82%E9%95%B7%E3%80%82%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20out%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20i%2C%20s%20in%20enumerate(spans)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20child%20%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20range(i%20%2B%201%2C%20len(spans))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20spans%5Bj%5D%5B0%5D%20%3C%3D%20s%5B0%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20spans%5Bj%5D%5B0%5D%20%3D%3D%20s%5B0%5D%20%2B%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20child%20%2B%3D%20spans%5Bj%5D%5B4%5D%20-%20spans%5Bj%5D%5B3%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20out.append((s%5B4%5D%20-%20s%5B3%5D)%20-%20child)%0A%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20return%20TRACES%2C%20self_times%0A%0A%0A%40app.cell%0Adef%20_(TRACES%2C%20plt%2C%20self_times%2C%20trace_pick)%3A%0A%20%20%20%20_spans%20%3D%20TRACES%5Btrace_pick.value%5D%0A%20%20%20%20_self%20%3D%20self_times(_spans)%0A%20%20%20%20_kind_color%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22CHAIN%22%3A%20%22%238C8C8C%22%2C%0A%20%20%20%20%20%20%20%20%22RETRIEVER%22%3A%20%22%234C72B0%22%2C%0A%20%20%20%20%20%20%20%20%22LLM%22%3A%20%22%23DD8452%22%2C%0A%20%20%20%20%20%20%20%20%22TOOL%22%3A%20%22%2355A868%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_slowest%20%3D%20max(range(len(_spans))%2C%20key%3Dlambda%20i%3A%20_self%5Bi%5D)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.4%2C%200.52%20*%20len(_spans)%20%2B%201.4))%0A%20%20%20%20for%20_i%2C%20(_d%2C%20_name%2C%20_kind%2C%20_s0%2C%20_s1%2C%20_ok)%20in%20enumerate(_spans)%3A%0A%20%20%20%20%20%20%20%20_y%20%3D%20len(_spans)%20-%201%20-%20_i%0A%20%20%20%20%20%20%20%20_ax.barh(%0A%20%20%20%20%20%20%20%20%20%20%20%20_y%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_s1%20-%20_s0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20left%3D_s0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D0.6%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%20if%20not%20_ok%20else%20_kind_color%5B_kind%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%232B2B2B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hatch%3D%22%2F%2F%22%20if%20not%20_ok%20else%20None%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20_s1%20%2B%2090%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_y%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_self%5B_i%5D%7D%20ms%20self%22%20%2B%20(%22%20%20%3C--%20slowest%22%20if%20_i%20%3D%3D%20_slowest%20else%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20va%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%20if%20_i%20%3D%3D%20_slowest%20else%20%22normal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%20if%20_i%20%3D%3D%20_slowest%20else%20%22%23444444%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20%E7%AD%89%E5%AF%AC%E5%AD%97%E5%9E%8B%20%2B%20%E5%8F%B3%E5%81%B4%E8%A3%9C%E7%A9%BA%E7%99%BD%EF%BC%9Aytick%20%E6%A8%99%E7%B1%A4%E9%A0%90%E8%A8%AD%E9%9D%A0%E5%8F%B3%E5%B0%8D%E9%BD%8A%EF%BC%8C%E8%A3%9C%E9%BD%8A%E7%AD%89%E9%95%B7%E5%BE%8C%E7%B8%AE%E6%8E%92%E6%89%8D%E7%9C%8B%E5%BE%97%E5%87%BA%E6%A8%B9%E7%8B%80%E5%B1%A4%E7%B4%9A%0A%20%20%20%20_labels%20%3D%20%5B%22%20%20%22%20*%20_s%5B0%5D%20%2B%20_s%5B1%5D%20for%20_s%20in%20_spans%5D%0A%20%20%20%20_w%20%3D%20max(len(x)%20for%20x%20in%20_labels)%0A%20%20%20%20_ax.set_yticks(range(len(_spans)))%0A%20%20%20%20_ax.set_yticklabels(%0A%20%20%20%20%20%20%20%20%5Bx.ljust(_w)%20for%20x%20in%20_labels%5D%5B%3A%3A-1%5D%2C%20fontsize%3D9.5%2C%20family%3D%22monospace%22%0A%20%20%20%20)%0A%20%20%20%20_ax.set_xlabel(%22time%20since%20request%20start%20(ms)%22)%0A%20%20%20%20_ax.set_xlim(0%2C%20_spans%5B0%5D%5B4%5D%20*%201.42)%0A%20%20%20%20_ax.set_title(f%22trace%20waterfall%20-%20total%20%7B_spans%5B0%5D%5B4%5D%7D%20ms%22%2C%20fontsize%3D11)%0A%20%20%20%20_ax.grid(axis%3D%22x%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20slow_name%20%3D%20_spans%5B_slowest%5D%5B1%5D%0A%20%20%20%20slow_self%20%3D%20_self%5B_slowest%5D%0A%20%20%20%20trace_total%20%3D%20_spans%5B0%5D%5B4%5D%0A%20%20%20%20wasted_ms%20%3D%20sum(s%5B4%5D%20-%20s%5B3%5D%20for%20s%20in%20_spans%20if%20not%20s%5B5%5D)%0A%20%20%20%20self_sum%20%3D%20sum(_self)%0A%20%20%20%20_fig%0A%20%20%20%20return%20self_sum%2C%20slow_name%2C%20slow_self%2C%20trace_total%2C%20wasted_ms%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20self_sum%2C%20slow_name%2C%20slow_self%2C%20trace_total%2C%20wasted_ms)%3A%0A%20%20%20%20_lines%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%E7%B8%BD%E6%99%82%E9%95%B7%20%7Btrace_total%7D%20ms**%EF%BC%8Cself%20time%20%E6%9C%80%E5%A4%A7%E7%9A%84%E4%B8%80%E6%AD%A5%E6%98%AF%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%7Bslow_name%7D%60%EF%BC%88%7Bslow_self%7D%20ms%EF%BC%8C%E4%BD%94%20%7Bslow_self%20%2F%20trace_total%3A.0%25%7D%EF%BC%89%E3%80%82%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%E8%87%AA%E6%88%91%E6%AA%A2%E6%9F%A5%EF%BC%9A%E6%89%80%E6%9C%89%20span%20%E7%9A%84%20self%20time%20%E5%8A%A0%E8%B5%B7%E4%BE%86%20%3D%20**%7Bself_sum%7D%20ms**%EF%BC%8C%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%E5%89%9B%E5%A5%BD%E7%AD%89%E6%96%BC%E6%A0%B9%20span%20%E7%9A%84%E7%B8%BD%E6%99%82%E9%95%B7%20%7Btrace_total%7D%20ms%20%E2%9C%93%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%0A%20%20%20%20if%20wasted_ms%3A%0A%20%20%20%20%20%20%20%20_lines.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%E2%9A%A0%EF%B8%8F%20%E9%80%99%E6%A2%9D%20trace%20%E6%9C%89%E5%A4%B1%E6%95%97%E7%9A%84%E6%AD%A5%E9%A9%9F%EF%BC%88%E7%B4%85%E8%89%B2%E6%96%9C%E7%B7%9A%EF%BC%89%EF%BC%9A**%7Bwasted_ms%7D%20ms%E3%80%81%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%E4%BD%94%E5%85%A8%E7%A8%8B%20%7Bwasted_ms%20%2F%20trace_total%3A.0%25%7D%20%E7%9A%84%E6%99%82%E9%96%93%E8%88%87%20token%20%E5%AE%8C%E5%85%A8%E7%99%BD%E7%87%92**%E2%80%94%E2%80%94%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E5%B7%A5%E5%85%B7%E5%90%8D%E8%A2%AB%E6%A8%A1%E5%9E%8B%E6%8B%BC%E9%8C%AF%E4%BA%86%EF%BC%8C%E5%89%8D%E5%85%A9%E8%BC%AA%E8%A6%8F%E5%8A%83%E5%85%A8%E9%83%A8%E4%BD%9C%E5%BB%A2%E3%80%82%E7%8B%80%E6%85%8B%E7%A2%BC%E9%82%84%E6%98%AF%20200%EF%BC%8C%E6%97%A5%E8%AA%8C%E4%B8%8D%E6%9C%83%E5%91%8A%E8%A8%B4%E4%BD%A0%E9%80%99%E4%BB%B6%E4%BA%8B%E3%80%82%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20slow_name%20%3D%3D%20%22queue_wait%22%3A%0A%20%20%20%20%20%20%20%20_lines.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%94%91%20%E6%B3%A8%E6%84%8F%E9%80%99%E4%B8%80%E6%AD%A5%EF%BC%9Atrace%20%E5%8F%AA%E5%91%8A%E8%A8%B4%E4%BD%A0%E3%80%8C**%E7%AD%89%E4%BA%86%207.2%20%E7%A7%92**%E3%80%8D%EF%BC%8C%E5%8D%BB%E4%B8%8D%E6%9C%83%E5%91%8A%E8%A8%B4%E4%BD%A0**%E7%82%BA%E4%BB%80%E9%BA%BC%E8%A6%81%E7%AD%89**%E3%80%82%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E7%AD%94%E6%A1%88%E5%9C%A8%E5%8F%A6%E4%B8%80%E5%B1%A4%E2%80%94%E2%80%94%E6%A9%9F%E5%99%A8%E5%B1%A4%E7%9A%84%E5%84%80%E8%A1%A8%E6%9D%BF%E4%B8%8A%EF%BC%88vLLM%20%E7%9A%84%E6%8E%92%E9%9A%8A%E6%95%B8%E8%88%87%20KV%20cache%20%E4%BD%BF%E7%94%A8%E7%8E%87%EF%BC%89%E3%80%82%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E9%80%99%E5%B0%B1%E6%98%AF%E5%85%A9%E5%B1%A4%E7%9B%A3%E6%8E%A7%E7%BC%BA%E4%B8%80%E4%B8%8D%E5%8F%AF%E7%9A%84%E5%9C%B0%E6%96%B9%EF%BC%8C%E5%BE%80%E4%B8%8B%E8%B5%B0%203%EF%B8%8F%E2%83%A3%E3%80%82%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.md(%22%5Cn%5Cn%22.join(_lines))%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%202%EF%B8%8F%E2%83%A3%20%E9%8C%A2%E8%8A%B1%E5%9C%A8%E8%AA%B0%E8%BA%AB%E4%B8%8A%EF%BC%9A%E6%8A%8A%E6%88%90%E6%9C%AC%E6%AD%B8%E6%88%B6%0A%0A%20%20%20%20trace%20%E9%99%A4%E4%BA%86%E6%99%82%E9%96%93%EF%BC%8C%E9%82%84%E8%A8%98%E4%BA%86%E6%AF%8F%E6%AC%A1%E5%91%BC%E5%8F%AB%E7%9A%84%20token%20%E7%94%A8%E9%87%8F%E3%80%82%E6%9C%89%E4%BA%86%20token%20%E5%B0%B1%E8%83%BD%E7%AE%97%E9%8C%A2%EF%BC%8C%0A%20%20%20%20%E6%9C%89%E4%BA%86%20user%20%2F%20model%20%2F%20%E5%8A%9F%E8%83%BD%E8%B7%AF%E7%94%B1%E9%80%99%E4%BA%9B%E6%A8%99%E7%B1%A4%EF%BC%8C%E5%B0%B1%E8%83%BD%E5%9B%9E%E7%AD%94**%E3%80%8C%E6%AD%A3%E5%9C%A8%E6%B5%81%E8%A1%80%E7%9A%84%E6%98%AF%E5%93%AA%E4%B8%80%E6%A2%9D%E3%80%8D**%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E9%80%99%E6%89%B9%20trace%20%E7%B4%80%E9%8C%84%E6%98%AF%E6%95%99%E5%AD%B8%E5%90%88%E6%88%90%E7%9A%84%EF%BC%88600%20%E7%AD%86%E8%AB%8B%E6%B1%82%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E4%BD%86**%E8%A8%88%E5%83%B9%E5%85%AC%E5%BC%8F%E8%88%87%E6%AD%B8%E6%88%B6%E7%9A%84%20group-by%20%E5%B0%B1%E6%98%AF%E4%BD%A0%E5%9C%A8%E7%9C%9F%E7%9A%84%E5%8F%AF%E8%A7%80%E6%B8%AC%E6%80%A7%E5%B9%B3%E5%8F%B0%E8%A3%A1%E5%81%9A%E7%9A%84%E4%BA%8B**%E3%80%82%0A%20%20%20%20%E6%8F%9B%E5%80%8B%E5%88%86%E7%B5%84%E7%B6%AD%E5%BA%A6%E7%9C%8B%E7%9C%8B%EF%BC%8C%E7%8C%9C%E7%8C%9C%E7%9C%8B%E5%93%AA%E4%B8%80%E7%B5%84%E6%9C%80%E8%B2%B4%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20%23%20%E6%AF%8F%E7%99%BE%E8%90%AC%20token%20%E7%9A%84%E5%96%AE%E5%83%B9%EF%BC%88USD%EF%BC%89%E2%80%94%E2%80%94%E6%8F%9B%E6%88%90%E4%BD%A0%E8%87%AA%E5%B7%B1%E7%9A%84%E5%83%B9%E7%9B%AE%E8%A1%A8%0A%20%20%20%20PRICE%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22local-8b%22%3A%20(0.04%2C%200.04)%2C%0A%20%20%20%20%20%20%20%20%22cloud-small%22%3A%20(0.15%2C%200.60)%2C%0A%20%20%20%20%20%20%20%20%22cloud-large%22%3A%20(3.00%2C%2015.00)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20make_requests(n%3D600%2C%20seed%3D11)%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20%23%20%E4%B8%89%E6%A2%9D%E5%8A%9F%E8%83%BD%E8%B7%AF%E7%94%B1%EF%BC%9A%E8%81%8A%E5%A4%A9%EF%BC%88%E9%87%8F%E5%A4%A7%E3%80%81%E5%B8%B6%E5%B0%8D%E8%A9%B1%E6%AD%B7%E5%8F%B2%EF%BC%89%E3%80%81RAG%20%E6%9F%A5%E8%A9%A2%EF%BC%88%E8%87%AA%E6%9E%B6%E5%B0%8F%E6%A8%A1%E5%9E%8B%EF%BC%89%E3%80%81%E5%A4%9C%E9%96%93%E6%89%B9%E6%AC%A1%E6%91%98%E8%A6%81%EF%BC%88%E5%B0%91%E9%87%8F%E3%80%81%E8%B6%85%E9%95%B7%20prompt%EF%BC%89%0A%20%20%20%20%20%20%20%20route%20%3D%20rng.choice(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%22chat%22%2C%20%22rag-search%22%2C%20%22nightly-summary%22%5D%2C%20size%3Dn%2C%20p%3D%5B0.62%2C%200.35%2C%200.03%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20model%20%3D%20np.where(%0A%20%20%20%20%20%20%20%20%20%20%20%20route%20%3D%3D%20%22chat%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cloud-small%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.where(route%20%3D%3D%20%22rag-search%22%2C%20%22local-8b%22%2C%20%22cloud-large%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20base_in%20%3D%20%7B%22chat%22%3A%203000%2C%20%22rag-search%22%3A%202500%2C%20%22nightly-summary%22%3A%2020000%7D%0A%20%20%20%20%20%20%20%20base_out%20%3D%20%7B%22chat%22%3A%20300%2C%20%22rag-search%22%3A%20400%2C%20%22nightly-summary%22%3A%201200%7D%0A%20%20%20%20%20%20%20%20tok_in%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bmax(50%2C%20rng.normal(base_in%5Br%5D%2C%20base_in%5Br%5D%20*%200.25))%20for%20r%20in%20route%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20tok_out%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bmax(10%2C%20rng.normal(base_out%5Br%5D%2C%20base_out%5Br%5D%20*%200.3))%20for%20r%20in%20route%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20%E5%A4%9C%E9%96%93%E6%89%B9%E6%AC%A1%E8%B7%91%E5%9C%A8%E6%9C%8D%E5%8B%99%E5%B8%B3%E8%99%9F%E5%BA%95%E4%B8%8B%EF%BC%8C%E5%85%B6%E9%A4%98%E5%88%86%E7%B5%A6%E5%9B%9B%E4%BD%8D%E4%BD%BF%E7%94%A8%E8%80%85%0A%20%20%20%20%20%20%20%20user%20%3D%20np.where(%0A%20%20%20%20%20%20%20%20%20%20%20%20route%20%3D%3D%20%22nightly-summary%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22svc%3Abatch-job%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20rng.choice(%5B%22amy%22%2C%20%22bob%22%2C%20%22carol%22%2C%20%22dave%22%5D%2C%20size%3Dn)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20cost%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tok_in%5Bi%5D%20%2F%201e6%20*%20PRICE%5Bmodel%5Bi%5D%5D%5B0%5D%20%2B%20tok_out%5Bi%5D%20%2F%201e6%20*%20PRICE%5Bmodel%5Bi%5D%5D%5B1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(n)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22route%22%3A%20route%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22model%22%3A%20model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22user%22%3A%20user%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tok_in%22%3A%20tok_in%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22tok_out%22%3A%20tok_out%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cost%22%3A%20cost%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20reqs%20%3D%20make_requests()%0A%20%20%20%20return%20(reqs%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20group_by%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22%E4%BE%9D%E5%8A%9F%E8%83%BD%E8%B7%AF%E7%94%B1%22%3A%20%22route%22%2C%20%22%E4%BE%9D%E6%A8%A1%E5%9E%8B%22%3A%20%22model%22%2C%20%22%E4%BE%9D%E4%BD%BF%E7%94%A8%E8%80%85%22%3A%20%22user%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22%E4%BE%9D%E5%8A%9F%E8%83%BD%E8%B7%AF%E7%94%B1%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E6%88%90%E6%9C%AC%E6%AD%B8%E6%88%B6%E5%88%B0%22%2C%0A%20%20%20%20)%0A%20%20%20%20group_by%0A%20%20%20%20return%20(group_by%2C)%0A%0A%0A%40app.cell%0Adef%20_(group_by%2C%20np%2C%20plt%2C%20reqs)%3A%0A%20%20%20%20_key%20%3D%20np.array(reqs%5Bgroup_by.value%5D)%0A%20%20%20%20_names%20%3D%20sorted(set(_key.tolist()))%0A%20%20%20%20_cost%20%3D%20np.array(%5Breqs%5B%22cost%22%5D%5B_key%20%3D%3D%20n%5D.sum()%20for%20_names_i%2C%20n%20in%20enumerate(_names)%5D)%0A%20%20%20%20_cnt%20%3D%20np.array(%5Bint((_key%20%3D%3D%20n).sum())%20for%20n%20in%20_names%5D)%0A%20%20%20%20_order%20%3D%20np.argsort(-_cost)%0A%20%20%20%20_names%20%3D%20%5B_names%5Bi%5D%20for%20i%20in%20_order%5D%0A%20%20%20%20_cost%2C%20_cnt%20%3D%20_cost%5B_order%5D%2C%20_cnt%5B_order%5D%0A%0A%20%20%20%20_fig%2C%20(_a1%2C%20_a2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(8.2%2C%200.55%20*%20len(_names)%20%2B%202.1))%0A%20%20%20%20_y%20%3D%20np.arange(len(_names))%5B%3A%3A-1%5D%0A%20%20%20%20_a1.barh(_y%2C%20_cost%2C%20color%3D%22%23C44E52%22%2C%20edgecolor%3D%22%232B2B2B%22%2C%20height%3D0.6)%0A%20%20%20%20for%20_i%2C%20_c%20in%20enumerate(_cost)%3A%0A%20%20%20%20%20%20%20%20_a1.text(_c%2C%20_y%5B_i%5D%2C%20f%22%20%20%24%7B_c%3A.2f%7D%22%2C%20va%3D%22center%22%2C%20fontsize%3D9.5%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20_a1.set_yticks(_y)%0A%20%20%20%20_a1.set_yticklabels(_names%2C%20fontsize%3D10)%0A%20%20%20%20_a1.set_xlim(0%2C%20_cost.max()%20*%201.42)%0A%20%20%20%20_a1.set_title(%22cost%20(USD)%22%2C%20fontsize%3D11)%0A%20%20%20%20_a1.grid(axis%3D%22x%22%2C%20alpha%3D0.3)%0A%0A%20%20%20%20_a2.barh(_y%2C%20_cnt%2C%20color%3D%22%234C72B0%22%2C%20edgecolor%3D%22%232B2B2B%22%2C%20height%3D0.6)%0A%20%20%20%20for%20_i%2C%20_n%20in%20enumerate(_cnt)%3A%0A%20%20%20%20%20%20%20%20_a2.text(_n%2C%20_y%5B_i%5D%2C%20f%22%20%20%7B_n%7D%22%2C%20va%3D%22center%22%2C%20fontsize%3D9.5)%0A%20%20%20%20_a2.set_yticks(_y)%0A%20%20%20%20_a2.set_yticklabels(%5B%5D)%0A%20%20%20%20_a2.set_xlim(0%2C%20_cnt.max()%20*%201.35)%0A%20%20%20%20_a2.set_title(%22requests%22%2C%20fontsize%3D11)%0A%20%20%20%20_a2.grid(axis%3D%22x%22%2C%20alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20top_name%20%3D%20_names%5B0%5D%0A%20%20%20%20top_share%20%3D%20float(_cost%5B0%5D%20%2F%20_cost.sum())%0A%20%20%20%20top_reqshare%20%3D%20float(_cnt%5B0%5D%20%2F%20_cnt.sum())%0A%20%20%20%20total_cost%20%3D%20float(_cost.sum())%0A%20%20%20%20_fig%0A%20%20%20%20return%20top_name%2C%20top_reqshare%2C%20top_share%2C%20total_cost%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20top_name%2C%20top_reqshare%2C%20top_share%2C%20total_cost)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E9%80%99%20600%20%E7%AD%86%E8%AB%8B%E6%B1%82%E7%B8%BD%E5%85%B1%E8%8A%B1%E6%8E%89%20**%24%7Btotal_cost%3A.2f%7D**%E3%80%82%E6%9C%80%E8%B2%B4%E7%9A%84%E4%B8%80%E7%B5%84%E6%98%AF%20**%60%7Btop_name%7D%60**%EF%BC%9A%0A%20%20%20%20%E5%8F%AA%E4%BD%94%20**%7Btop_reqshare%3A.0%25%7D%20%E7%9A%84%E8%AB%8B%E6%B1%82%E6%95%B8**%EF%BC%8C%E5%8D%BB%E5%90%83%E6%8E%89%20**%7Btop_share%3A.0%25%7D%20%E7%9A%84%E9%8C%A2**%E3%80%82%0A%0A%20%20%20%20%E3%80%8C%E8%AB%8B%E6%B1%82%E6%95%B8%E5%B0%91%E3%80%81%E8%8A%B1%E8%B2%BB%E5%A4%A7%E3%80%8D%E6%98%AF%E6%88%90%E6%9C%AC%E5%A4%B1%E6%8E%A7%E6%9C%80%E5%85%B8%E5%9E%8B%E7%9A%84%E6%A8%A3%E5%AD%90%E2%80%94%E2%80%94%E9%95%B7%20prompt%E3%80%81%E8%B2%B4%E6%A8%A1%E5%9E%8B%E3%80%81%E6%88%96%E4%B8%80%E5%80%8B%E6%B2%92%E4%BA%BA%E7%9C%8B%E8%A6%8B%E7%9A%84%E9%87%8D%E8%A9%A6%E8%BF%B4%E5%9C%88%E3%80%82%0A%20%20%20%20%E5%B9%B3%E5%9D%87%E5%BB%B6%E9%81%B2%E3%80%81%E9%8C%AF%E8%AA%A4%E7%8E%87%E9%80%99%E4%BA%9B%E6%8C%87%E6%A8%99%E9%83%BD%E7%9C%8B%E4%B8%8D%E5%87%BA%E5%AE%83%EF%BC%9B**%E5%8F%AA%E6%9C%89%E6%8A%8A%20token%20%E6%AD%B8%E6%88%B6%E5%88%B0%E8%B7%AF%E7%94%B1%EF%BC%8F%E6%A8%A1%E5%9E%8B%EF%BC%8F%E4%BD%BF%E7%94%A8%E8%80%85%E6%89%8D%E6%9C%83%E7%8F%BE%E5%BD%A2**%E3%80%82%0A%20%20%20%20%E5%88%87%E6%8F%9B%E4%B8%8A%E9%9D%A2%E7%9A%84%E5%88%86%E7%B5%84%E7%B6%AD%E5%BA%A6%EF%BC%8C%E4%BD%A0%E6%9C%83%E7%9C%8B%E5%88%B0%E5%90%8C%E4%B8%80%E7%AD%86%E9%8C%A2%E5%BE%9E%E4%B8%89%E5%80%8B%E8%A7%92%E5%BA%A6%E6%8C%87%E5%90%91%E5%90%8C%E4%B8%80%E5%80%8B%E5%AB%8C%E7%8A%AF%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%203%EF%B8%8F%E2%83%A3%20%E6%A9%9F%E5%99%A8%E5%B1%A4%EF%BC%9A%E5%91%8A%E8%AD%A6%E4%BB%80%E9%BA%BC%E6%99%82%E5%80%99%E8%A9%B2%E5%8F%AB%0A%0A%20%20%20%20%E8%AB%8B%E6%B1%82%E5%B1%A4%E7%9C%8B%E5%AE%8C%EF%BC%8C%E6%8F%9B%E5%8F%A6%E4%B8%80%E5%8D%8A%E3%80%82%E6%A9%9F%E5%99%A8%E5%B1%A4%E7%9A%84%E5%95%8F%E9%A1%8C%E9%95%B7%E9%80%99%E6%A8%A3%EF%BC%9A**GPU%20%E7%9A%84%E5%89%A9%E9%A4%98%20VRAM%20%E6%8E%89%E5%88%B0%E5%A4%9A%E4%BD%8E%E3%80%81%E6%8C%81%E7%BA%8C%E5%A4%9A%E4%B9%85%EF%BC%8C%E6%89%8D%E5%80%BC%E5%BE%97%E5%8D%8A%E5%A4%9C%E5%8F%AB%E9%86%92%E4%BD%A0%EF%BC%9F**%0A%0A%20%20%20%20%E5%91%8A%E8%AD%A6%E8%A6%8F%E5%89%87%E5%8F%AA%E6%9C%89%E5%85%A9%E5%80%8B%E6%97%8B%E9%88%95%EF%BC%9A%0A%0A%20%20%20%20-%20**%E9%96%80%E6%AA%BB**%EF%BC%9A%E4%BD%8E%E6%96%BC%E5%A4%9A%E5%B0%91%E7%AE%97%E7%95%B0%E5%B8%B8%EF%BC%88%60%3C%201.5GB%60%EF%BC%89%0A%20%20%20%20-%20**%60for%3A%60**%EF%BC%9A%E9%80%99%E5%80%8B%E6%A2%9D%E4%BB%B6%E8%A6%81**%E6%8C%81%E7%BA%8C%E5%A4%9A%E4%B9%85**%E6%89%8D%E7%AE%97%E6%95%B8%EF%BC%88%60for%3A%205m%60%EF%BC%89%0A%0A%20%20%20%20%60for%3A%60%20%E6%98%AF%E5%91%8A%E8%AD%A6%E5%93%81%E8%B3%AA%E7%9A%84%E9%97%9C%E9%8D%B5%E3%80%82%E6%B2%92%E6%9C%89%E5%AE%83%EF%BC%8CVRAM%20%E6%8A%96%E4%B8%80%E4%B8%8B%E5%B0%B1%E5%8F%AB%EF%BC%9B%E5%8F%AB%E4%BA%86%E5%B9%BE%E6%AC%A1%E6%B2%92%E4%BA%8B%E4%B9%8B%E5%BE%8C%EF%BC%8C%0A%20%20%20%20%E5%A4%A7%E5%AE%B6%E5%B0%B1%E6%9C%83%E9%96%8B%E5%A7%8B%E5%BF%BD%E7%95%A5%E5%91%8A%E8%AD%A6%E2%80%94%E2%80%94%E9%80%99%E5%8F%AB%E5%91%8A%E8%AD%A6%E7%96%B2%E4%B9%8F%EF%BC%88alert%20fatigue%EF%BC%89%EF%BC%8C%E6%98%AF%E7%9B%A3%E6%8E%A7%E8%87%AA%E6%AE%BA%E7%9A%84%E7%AC%AC%E4%B8%80%E6%AD%A5%E3%80%82%0A%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%98%AF%E4%B8%80%E6%AE%B5%E5%90%88%E6%88%90%E7%9A%84%2024%20%E5%B0%8F%E6%99%82%E5%89%A9%E9%A4%98%20VRAM%20%E6%99%82%E5%BA%8F%EF%BC%8815%20%E7%A7%92%E4%B8%80%E5%80%8B%E9%BB%9E%EF%BC%8C%E8%B7%9F%20Prometheus%20%E7%9A%84%E6%8A%93%E5%8F%96%E9%A0%BB%E7%8E%87%E4%B8%80%E6%A8%A3%EF%BC%89%EF%BC%9A%0A%20%20%20%20%E8%A3%A1%E9%9D%A2%E8%97%8F%E4%BA%86%20**3%20%E6%AC%A1%E7%84%A1%E5%AE%B3%E7%9A%84%E7%9F%AD%E6%9A%AB%E6%8A%96%E5%8B%95**%EF%BC%881%EF%BC%8F2%EF%BC%8F4%20%E5%88%86%E9%90%98%EF%BC%89%E5%92%8C%20**1%20%E6%AC%A1%E7%9C%9F%E4%BA%8B%E4%BB%B6**%EF%BC%88%E9%80%A3%E7%BA%8C%2012%20%E5%88%86%E9%90%98%E7%9A%84%E4%BD%8E%E6%B0%B4%E4%BD%8D%EF%BC%89%E3%80%82%0A%20%20%20%20%E8%BD%89%E5%85%A9%E5%80%8B%E6%97%8B%E9%88%95%EF%BC%8C%E7%9C%8B%E8%AA%A4%E5%A0%B1%E6%80%8E%E9%BA%BC%E6%B6%88%E5%A4%B1%E3%80%81%E4%BB%A3%E5%83%B9%E6%98%AF%E4%BB%80%E9%BA%BC%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np)%3A%0A%20%20%20%20STEP_S%20%3D%2015%20%20%23%20Prometheus%20%E6%AF%8F%2015%20%E7%A7%92%20pull%20%E4%B8%80%E8%BC%AA%0A%0A%20%20%20%20def%20make_vram_series(jitter_mins%3D(1%2C%202%2C%204)%2C%20event_min%3D12%2C%20seed%3D7)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E5%90%88%E6%88%90%E4%B8%80%E6%AE%B5%2024h%20%E7%9A%84%E5%89%A9%E9%A4%98%20VRAM%20%E6%99%82%E5%BA%8F%EF%BC%88GB%EF%BC%89%E3%80%82%E5%9B%9E%E5%82%B3%20(%E5%BA%8F%E5%88%97%2C%20%E7%9C%9F%E4%BA%8B%E4%BB%B6%E8%B5%B7%2C%20%E7%9C%9F%E4%BA%8B%E4%BB%B6%E8%BF%84)%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20n%20%3D%2024%20*%2060%20*%2060%20%2F%2F%20STEP_S%0A%20%20%20%20%20%20%20%20v%20%3D%204.0%20%2B%20rng.normal(0%2C%200.15%2C%20n)%0A%20%20%20%20%20%20%20%20for%20start%2C%20mins%20in%20zip((900%2C%201800%2C%204200)%2C%20jitter_mins)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20v%5Bstart%20%3A%20start%20%2B%20int(mins%20*%2060%20%2F%20STEP_S)%5D%20%3D%201.15%0A%20%20%20%20%20%20%20%20ev0%20%3D%203000%0A%20%20%20%20%20%20%20%20ev1%20%3D%20ev0%20%2B%20int(event_min%20*%2060%20%2F%20STEP_S)%0A%20%20%20%20%20%20%20%20v%5Bev0%3Aev1%5D%20%3D%201.05%0A%20%20%20%20%20%20%20%20return%20v%2C%20ev0%2C%20ev1%0A%0A%20%20%20%20def%20firing_points(below%2C%20need)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E5%9B%9E%E5%82%B3%E6%AF%8F%E4%B8%80%E6%AE%B5%E3%80%8C%E9%80%A3%E7%BA%8C%E4%BD%8E%E6%96%BC%E9%96%80%E6%AA%BB%E3%80%8D%E9%81%94%20need%20%E5%80%8B%E5%8F%96%E6%A8%A3%E9%BB%9E%E6%99%82%E7%9A%84%E8%A7%B8%E7%99%BC%E7%B4%A2%E5%BC%95%EF%BC%88%E5%90%91%E9%87%8F%E5%8C%96%EF%BC%89%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20idx%20%3D%20np.flatnonzero(below)%0A%20%20%20%20%20%20%20%20if%20idx.size%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5B%5D%2C%20dtype%3Dint)%0A%20%20%20%20%20%20%20%20brk%20%3D%20np.flatnonzero(np.diff(idx)%20%3E%201)%0A%20%20%20%20%20%20%20%20starts%20%3D%20np.concatenate((%5Bidx%5B0%5D%5D%2C%20idx%5Bbrk%20%2B%201%5D))%0A%20%20%20%20%20%20%20%20ends%20%3D%20np.concatenate((idx%5Bbrk%5D%2C%20%5Bidx%5B-1%5D%5D))%0A%20%20%20%20%20%20%20%20keep%20%3D%20(ends%20-%20starts%20%2B%201)%20%3E%3D%20need%0A%20%20%20%20%20%20%20%20return%20starts%5Bkeep%5D%20%2B%20need%20-%201%0A%0A%20%20%20%20def%20evaluate_rule(v%2C%20ev0%2C%20ev1%2C%20threshold%2C%20for_min)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%E6%8A%8A%E4%B8%80%E7%B5%84%EF%BC%88%E9%96%80%E6%AA%BB%2C%20for%3A%EF%BC%89%E5%A5%97%E4%B8%8A%E5%8E%BB%EF%BC%8C%E7%AE%97%E5%87%BA%E8%AA%A4%E5%A0%B1%E6%95%B8%EF%BC%8F%E6%9C%89%E6%B2%92%E6%9C%89%E6%8A%93%E5%88%B0%E7%9C%9F%E4%BA%8B%E4%BB%B6%EF%BC%8F%E5%81%B5%E6%B8%AC%E5%BB%B6%E9%81%B2%E3%80%82%22%22%22%0A%20%20%20%20%20%20%20%20need%20%3D%20max(1%2C%20round(for_min%20*%2060%20%2F%20STEP_S))%0A%20%20%20%20%20%20%20%20fires%20%3D%20firing_points(v%20%3C%20threshold%2C%20need)%0A%20%20%20%20%20%20%20%20in_event%20%3D%20(fires%20%3E%3D%20ev0)%20%26%20(fires%20%3C%20ev1)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fires%22%3A%20fires%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22n_fires%22%3A%20int(fires.size)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22false_alarms%22%3A%20int((~in_event).sum())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22detected%22%3A%20bool(in_event.any())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22delay_min%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float((fires%5Bin_event%5D%5B0%5D%20-%20ev0)%20*%20STEP_S%20%2F%2060)%20if%20in_event.any()%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20vram%2C%20EV0%2C%20EV1%20%3D%20make_vram_series()%0A%20%20%20%20return%20EV0%2C%20EV1%2C%20STEP_S%2C%20evaluate_rule%2C%20vram%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20th_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.5%2C%20stop%3D4.2%2C%20step%3D0.1%2C%20value%3D1.5%2C%20label%3D%22%E5%91%8A%E8%AD%A6%E9%96%80%E6%AA%BB%EF%BC%88%E5%89%A9%E9%A4%98%20VRAM%20%3C%20%3F%20GB%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20for_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D15.0%2C%20step%3D0.25%2C%20value%3D5.0%2C%20label%3D%22for%3A%EF%BC%88%E6%8C%81%E7%BA%8C%E5%B9%BE%E5%88%86%E9%90%98%E6%89%8D%E7%AE%97%E6%95%B8%EF%BC%89%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bth_slider%2C%20for_slider%5D)%0A%20%20%20%20return%20for_slider%2C%20th_slider%0A%0A%0A%40app.cell%0Adef%20_(EV0%2C%20EV1%2C%20STEP_S%2C%20evaluate_rule%2C%20for_slider%2C%20np%2C%20plt%2C%20th_slider%2C%20vram)%3A%0A%20%20%20%20_res%20%3D%20evaluate_rule(vram%2C%20EV0%2C%20EV1%2C%20th_slider.value%2C%20for_slider.value)%0A%20%20%20%20_t%20%3D%20np.arange(vram.size)%20*%20STEP_S%20%2F%203600.0%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.6%2C%203.6))%0A%20%20%20%20_ax.axvspan(%0A%20%20%20%20%20%20%20%20EV0%20*%20STEP_S%20%2F%203600%2C%0A%20%20%20%20%20%20%20%20EV1%20*%20STEP_S%20%2F%203600%2C%0A%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%2C%0A%20%20%20%20%20%20%20%20alpha%3D0.12%2C%0A%20%20%20%20%20%20%20%20label%3D%22real%20incident%22%2C%0A%20%20%20%20)%0A%20%20%20%20_ax.plot(_t%2C%20vram%2C%20color%3D%22%234C72B0%22%2C%20linewidth%3D0.8)%0A%20%20%20%20_ax.axhline(th_slider.value%2C%20color%3D%22%23C44E52%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1.6%2C%20label%3D%22threshold%22)%0A%20%20%20%20if%20_res%5B%22n_fires%22%5D%3A%0A%20%20%20%20%20%20%20%20_ft%20%3D%20_res%5B%22fires%22%5D%20*%20STEP_S%20%2F%203600.0%0A%20%20%20%20%20%20%20%20_ax.plot(%0A%20%20%20%20%20%20%20%20%20%20%20%20_ft%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20np.full(_ft.size%2C%20th_slider.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22v%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20markersize%3D11%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20markeredgecolor%3D%22%232B2B2B%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22alert%20fires%20(%7B_res%5B'n_fires'%5D%7D)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_ax.set_xlabel(%22hours%22)%0A%20%20%20%20_ax.set_ylabel(%22free%20VRAM%20(GB)%22)%0A%20%20%20%20_ax.set_ylim(0.6%2C%204.8)%0A%20%20%20%20_ax.set_title(%0A%20%20%20%20%20%20%20%20f%22threshold%20%3C%20%7Bth_slider.value%3A.1f%7D%20GB%2C%20for%3A%20%7Bfor_slider.value%3Ag%7Dm%22%2C%20fontsize%3D11%0A%20%20%20%20)%0A%20%20%20%20_ax.legend(loc%3D%22lower%20right%22%2C%20fontsize%3D8.5)%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20rule_res%20%3D%20_res%0A%20%20%20%20_fig%0A%20%20%20%20return%20(rule_res%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(for_slider%2C%20mo%2C%20rule_res%2C%20th_slider)%3A%0A%20%20%20%20_delay%20%3D%20rule_res%5B%22delay_min%22%5D%0A%20%20%20%20_verdict%20%3D%20(%0A%20%20%20%20%20%20%20%20%22%F0%9F%8E%AF%20**%E5%89%9B%E5%89%9B%E5%A5%BD**%EF%BC%9A%E8%AA%A4%E5%A0%B1%E6%B8%85%E5%85%89%E4%BA%86%EF%BC%8C%E7%9C%9F%E4%BA%8B%E4%BB%B6%E4%B9%9F%E9%82%84%E6%8A%93%E5%BE%97%E5%88%B0%E3%80%82%22%0A%20%20%20%20%20%20%20%20if%20rule_res%5B%22false_alarms%22%5D%20%3D%3D%200%20and%20rule_res%5B%22detected%22%5D%0A%20%20%20%20%20%20%20%20else%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%94%95%20**%60for%3A%60%20%E5%A4%AA%E9%95%B7%E4%BA%86**%EF%BC%9A%E7%9C%9F%E4%BA%8B%E4%BB%B6%E6%8C%81%E7%BA%8C%2012%20%E5%88%86%E9%90%98%EF%BC%8C%E4%BD%A0%E7%9A%84%E8%A6%8F%E5%89%87%E8%A6%81%E6%B1%82%E5%BE%97%E6%9B%B4%E4%B9%85%E2%80%94%E2%80%94%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E9%80%99%E6%A2%9D%E5%91%8A%E8%AD%A6%E6%B0%B8%E9%81%A0%E4%B8%8D%E6%9C%83%E5%8F%AB%EF%BC%88%E6%BC%8F%E5%A0%B1%EF%BC%89%E3%80%82%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20rule_res%5B%22detected%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22%F0%9F%93%A3%20**%E9%82%84%E5%9C%A8%E8%AA%A4%E5%A0%B1**%EF%BC%9A%7Brule_res%5B'false_alarms'%5D%7D%20%E6%AC%A1%E5%91%8A%E8%AD%A6%E6%98%AF%E7%84%A1%E5%AE%B3%E7%9A%84%E6%8A%96%E5%8B%95%E9%80%A0%E6%88%90%E7%9A%84%E3%80%82%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%E6%8A%8A%20%60for%3A%60%20%E6%8B%89%E9%95%B7%E5%88%B0%E8%B6%85%E9%81%8E%E6%9C%80%E9%95%B7%E6%8A%96%E5%8B%95%E7%9A%84%E9%95%B7%E5%BA%A6%EF%BC%88%E6%9C%AC%E4%BE%8B%204%20%E5%88%86%E9%90%98%EF%BC%89%E8%A9%A6%E8%A9%A6%E3%80%82%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7C%20%7C%20%E5%80%BC%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20%E8%A6%8F%E5%89%87%20%7C%20%60free_vram%20%3C%20%7Bth_slider.value%3A.1f%7DGB%60%20%60for%3A%20%7Bfor_slider.value%3Ag%7Dm%60%20%7C%0A%20%20%20%20%7C%20%E7%B8%BD%E5%91%8A%E8%AD%A6%E6%AC%A1%E6%95%B8%20%7C%20**%7Brule_res%5B%22n_fires%22%5D%7D**%20%7C%0A%20%20%20%20%7C%20%E5%85%B6%E4%B8%AD%E8%AA%A4%E5%A0%B1%EF%BC%88%E6%8A%96%E5%8B%95%E9%80%A0%E6%88%90%EF%BC%89%20%7C%20**%7Brule_res%5B%22false_alarms%22%5D%7D**%20%7C%0A%20%20%20%20%7C%20%E6%8A%93%E5%88%B0%E7%9C%9F%E4%BA%8B%E4%BB%B6%EF%BC%9F%20%7C%20**%7B%22%E6%98%AF%22%20if%20rule_res%5B%22detected%22%5D%20else%20%22%E6%B2%92%E6%9C%89%EF%BC%88%E6%BC%8F%E5%A0%B1%EF%BC%89%22%7D**%20%7C%0A%20%20%20%20%7C%20%E5%81%B5%E6%B8%AC%E5%BB%B6%E9%81%B2%20%7C%20**%7Bf%22%7B_delay%3A.2f%7D%20%E5%88%86%E9%90%98%22%20if%20_delay%20is%20not%20None%20else%20%22%E2%80%94%22%7D**%20%7C%0A%0A%20%20%20%20%7B_verdict%7D%0A%0A%20%20%20%20%E6%B3%A8%E6%84%8F%E9%80%99%E8%A3%A1%E7%9A%84%E4%BB%A3%E5%83%B9%EF%BC%9A**%60for%3A%60%20%E6%AF%8F%E6%8B%89%E9%95%B7%E4%B8%80%E5%88%86%E9%90%98%EF%BC%8C%E4%BD%A0%E5%B0%B1%E6%99%9A%E4%B8%80%E5%88%86%E9%90%98%E7%9F%A5%E9%81%93%E5%87%BA%E4%BA%8B**%E3%80%82%0A%20%20%20%20%E6%89%80%E4%BB%A5%E9%96%80%E6%AA%BB%E4%B8%8D%E8%83%BD%E8%A8%AD%E5%9C%A8%E3%80%8C%E5%B7%B2%E7%B6%93%E6%AD%BB%E4%BA%86%E3%80%8D%E7%9A%84%E6%B0%B4%E4%BD%8D%EF%BC%8C%E8%A6%81%E8%A8%AD%E5%9C%A8%E3%80%8C%E8%A9%B2%E5%8E%BB%E7%9C%8B%E4%B8%80%E7%9C%BC%E3%80%8D%E7%9A%84%E6%B0%B4%E4%BD%8D%E2%80%94%E2%80%94**%E5%91%8A%E8%AD%A6%E8%A6%81%E7%95%99%E5%8F%8D%E6%87%89%E6%99%82%E9%96%93**%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%204%EF%B8%8F%E2%83%A3%20%60for%3A%60%20%E8%A9%B2%E8%A8%AD%E5%A4%9A%E4%B9%85%EF%BC%9A%E6%8A%8A%E5%8F%96%E6%8D%A8%E6%8E%83%E5%87%BA%E4%BE%86%0A%0A%20%20%20%20%E4%B8%8A%E4%B8%80%E6%A0%BC%E4%BD%A0%E6%98%AF%E7%94%A8%E6%89%8B%E8%BD%89%E6%97%8B%E9%88%95%E8%A9%A6%E3%80%82%E6%97%A2%E7%84%B6%E8%A9%95%E4%BC%B0%E8%A6%8F%E5%89%87%E5%B7%B2%E7%B6%93%E5%AF%AB%E6%88%90%E5%87%BD%E5%BC%8F%EF%BC%8C%E9%82%A3%E5%B0%B1%E6%8A%8A%E6%89%80%E6%9C%89%20%60for%3A%60%20%E5%80%BC%E6%8E%83%E4%B8%80%E9%81%8D%EF%BC%8C%0A%20%20%20%20%E8%AE%93%E5%8F%96%E6%8D%A8%E6%9B%B2%E7%B7%9A%E8%87%AA%E5%B7%B1%E8%AC%9B%E8%A9%B1%EF%BC%88%E9%96%80%E6%AA%BB%E7%94%A8%E4%B8%8A%E9%9D%A2%E9%82%A3%E6%A0%B9%E6%8B%89%E6%A1%BF%E7%9A%84%E5%80%BC%EF%BC%89%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(EV0%2C%20EV1%2C%20evaluate_rule%2C%20np%2C%20plt%2C%20th_slider%2C%20vram)%3A%0A%20%20%20%20_grid%20%3D%20np.arange(0%2C%2015.01%2C%200.25)%0A%20%20%20%20_fa%2C%20_delay%2C%20_miss%20%3D%20%5B%5D%2C%20%5B%5D%2C%20%5B%5D%0A%20%20%20%20for%20_f%20in%20_grid%3A%0A%20%20%20%20%20%20%20%20_r%20%3D%20evaluate_rule(vram%2C%20EV0%2C%20EV1%2C%20th_slider.value%2C%20_f)%0A%20%20%20%20%20%20%20%20_fa.append(_r%5B%22false_alarms%22%5D)%0A%20%20%20%20%20%20%20%20_delay.append(_r%5B%22delay_min%22%5D%20if%20_r%5B%22detected%22%5D%20else%20np.nan)%0A%20%20%20%20%20%20%20%20_miss.append(not%20_r%5B%22detected%22%5D)%0A%0A%20%20%20%20_fa%20%3D%20np.array(_fa)%0A%20%20%20%20_delay%20%3D%20np.array(_delay%2C%20dtype%3Dfloat)%0A%20%20%20%20_miss%20%3D%20np.array(_miss)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.6%2C%203.6))%0A%20%20%20%20_ax.step(_grid%2C%20_fa%2C%20where%3D%22post%22%2C%20color%3D%22%23C44E52%22%2C%20linewidth%3D2%2C%20label%3D%22false%20alarms%22)%0A%20%20%20%20_ax.set_xlabel(%22for%3A%20%20(minutes)%22)%0A%20%20%20%20_ax.set_ylabel(%22false%20alarms%22%2C%20color%3D%22%23C44E52%22)%0A%20%20%20%20_ax.set_ylim(-0.3%2C%20max(3.4%2C%20_fa.max()%20%2B%200.4))%0A%20%20%20%20_ax.grid(alpha%3D0.3)%0A%0A%20%20%20%20_ax2%20%3D%20_ax.twinx()%0A%20%20%20%20_ax2.plot(_grid%2C%20_delay%2C%20color%3D%22%234C72B0%22%2C%20linewidth%3D2%2C%20label%3D%22detection%20delay%22)%0A%20%20%20%20_ax2.set_ylabel(%22detection%20delay%20(min)%22%2C%20color%3D%22%234C72B0%22)%0A%0A%20%20%20%20if%20_miss.any()%3A%0A%20%20%20%20%20%20%20%20_ax.axvspan(_grid%5B_miss%5D%5B0%5D%2C%20_grid%5B-1%5D%2C%20color%3D%22%238C8C8C%22%2C%20alpha%3D0.18)%0A%20%20%20%20%20%20%20%20_ax.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20_grid%5B_miss%5D%5B0%5D%20%2B%200.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20max(3.4%2C%20_fa.max()%20%2B%200.4)%20*%200.72%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22missed%5Cn(for%3A%20longer%20than%5Cnthe%20incident)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D9%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23444444%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_clean%20%3D%20_grid%5B_fa%20%3D%3D%200%5D%0A%20%20%20%20sweet_for%20%3D%20float(_clean%5B0%5D)%20if%20_clean.size%20else%20None%0A%20%20%20%20if%20sweet_for%20is%20not%20None%20and%20not%20_miss%5B_grid%20%3D%3D%20sweet_for%5D%5B0%5D%3A%0A%20%20%20%20%20%20%20%20_ax.axvline(sweet_for%2C%20color%3D%22%2355A868%22%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D2)%0A%20%20%20%20%20%20%20%20_ax.text(sweet_for%20%2B%200.15%2C%200.15%2C%20f%22first%20quiet%3A%20%7Bsweet_for%3Ag%7Dm%22%2C%20fontsize%3D9%2C%20color%3D%22%2355A868%22)%0A%20%20%20%20_ax.set_title(f%22trade-off%20at%20threshold%20%3C%20%7Bth_slider.value%3A.1f%7D%20GB%22%2C%20fontsize%3D11)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20(sweet_for%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20sweet_for%2C%20th_slider)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%E7%B4%85%E7%B7%9A%EF%BC%88%E8%AA%A4%E5%A0%B1%EF%BC%89%E5%BE%80%E4%B8%8B%E6%8E%89%E6%98%AF%E9%9A%8E%E6%A2%AF%E7%8B%80%E7%9A%84%E2%80%94%E2%80%94**%E6%AF%8F%E4%B8%80%E9%9A%8E%E9%83%BD%E6%98%AF%E6%9F%90%E4%B8%80%E6%AC%A1%E6%8A%96%E5%8B%95%E7%9A%84%E9%95%B7%E5%BA%A6**%E3%80%82%0A%20%20%20%20%E8%97%8D%E7%B7%9A%EF%BC%88%E5%81%B5%E6%B8%AC%E5%BB%B6%E9%81%B2%EF%BC%89%E5%89%87%E6%98%AF%E7%9B%B4%E7%B7%9A%E4%B8%8A%E5%8D%87%EF%BC%9A%60for%3A%60%20%E8%A8%AD%E5%A4%9A%E4%B9%85%EF%BC%8C%E4%BD%A0%E5%B0%B1%E6%99%9A%E5%A4%9A%E4%B9%85%E7%9F%A5%E9%81%93%E3%80%82%0A%0A%20%20%20%20%E5%9C%A8%E9%96%80%E6%AA%BB%20%60%3C%20%7Bth_slider.value%3A.1f%7DGB%60%20%E4%B9%8B%E4%B8%8B%EF%BC%8C%E7%AC%AC%E4%B8%80%E5%80%8B%E8%AA%A4%E5%A0%B1%E6%AD%B8%E9%9B%B6%E7%9A%84%20%60for%3A%60%20%E6%98%AF%0A%20%20%20%20**%7Bf%22%7Bsweet_for%3Ag%7D%20%E5%88%86%E9%90%98%22%20if%20sweet_for%20is%20not%20None%20else%20%22%EF%BC%88%E9%80%99%E5%80%8B%E9%96%80%E6%AA%BB%E4%B8%8B%E6%B2%92%E6%9C%89%E4%BB%BB%E4%BD%95%E5%80%BC%E8%83%BD%E8%AE%93%E8%AA%A4%E5%A0%B1%E6%AD%B8%E9%9B%B6%EF%BC%89%22%7D**%E2%80%94%E2%80%94%0A%20%20%20%20%E6%AF%94%E6%9C%80%E9%95%B7%E7%9A%84%E9%82%A3%E6%AC%A1%E6%8A%96%E5%8B%95%EF%BC%884%20%E5%88%86%E9%90%98%EF%BC%89%E5%A4%9A%E4%B8%80%E9%BB%9E%E9%BB%9E%E3%80%82%E9%80%99%E5%B0%B1%E6%98%AF%E5%AF%A6%E5%8B%99%E4%B8%8A%20%60for%3A%60%20%E7%9A%84%E5%AE%9A%E6%B3%95%EF%BC%9A%0A%20%20%20%20**%E9%87%8F%E4%B8%80%E4%B8%8B%E4%BD%A0%E7%B3%BB%E7%B5%B1%E7%9C%9F%E5%AF%A6%E7%9A%84%E6%8A%96%E5%8B%95%E6%9C%89%E5%A4%9A%E9%95%B7%EF%BC%8C%E5%8F%96%E6%AF%94%E5%AE%83%E7%A8%8D%E9%95%B7%E7%9A%84%E5%80%BC**%EF%BC%8C%E8%80%8C%E4%B8%8D%E6%98%AF%E6%8B%8D%E8%85%A6%E8%A2%8B%E5%AF%AB%205%20%E5%88%86%E9%90%98%E3%80%82%0A%0A%20%20%20%20%E7%81%B0%E8%89%B2%E5%8D%80%E6%98%AF%E6%BC%8F%E5%A0%B1%E5%8D%80%EF%BC%9A%60for%3A%60%20%E8%B6%85%E9%81%8E%E4%BA%8B%E4%BB%B6%E6%9C%AC%E8%BA%AB%E7%9A%84%E9%95%B7%E5%BA%A6%EF%BC%8C%E9%80%99%E6%A2%9D%E8%A6%8F%E5%89%87%E5%B0%B1%E7%AD%89%E6%96%BC%E4%B8%8D%E5%AD%98%E5%9C%A8%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%205%EF%B8%8F%E2%83%A3%20%E7%9C%8B%E3%80%8C%E5%89%A9%E5%A4%9A%E5%B0%91%E3%80%8D%EF%BC%8C%E4%B8%8D%E6%98%AF%E7%9C%8B%E3%80%8C%E7%94%A8%E5%A4%9A%E5%B0%91%E3%80%8D%0A%0A%20%20%20%20%E6%9C%80%E5%BE%8C%E4%B8%80%E5%80%8B%E6%A9%9F%E5%99%A8%E5%B1%A4%E7%9A%84%E5%88%A4%E8%AE%80%E6%8A%80%E5%B7%A7%EF%BC%8C%E4%BE%86%E8%87%AA%E4%B8%80%E6%AC%A1%E7%9C%9F%E5%AF%A6%E7%9A%84%E5%AE%B9%E9%87%8F%E4%BA%8B%E6%95%85%EF%BC%88RTX%204090%2024GB%E3%80%812026-07%EF%BC%89%EF%BC%9A%0A%20%20%20%20%E6%9F%90%E5%A4%A9%20A%20%E6%A9%9F%E7%9A%84%20VRAM%20**%E5%8F%AA%E5%89%A9%20862%20MiB**%EF%BC%8C%E6%9C%80%E9%87%8D%E8%A6%81%E7%9A%84%E8%AA%9E%E9%9F%B3%E5%90%88%E6%88%90%E6%9C%8D%E5%8B%99%E9%9A%A8%E6%99%82%E5%8F%AF%E8%83%BD%20CUDA%20OOM%EF%BC%9B%0A%20%20%20%20%E8%80%8C%20B%20%E6%A9%9F%E3%80%8C%E7%9C%8B%E8%B5%B7%E4%BE%86%E4%B9%9F%E5%BF%AB%E6%BB%BF%E4%BA%86%E3%80%8D%EF%BC%8C%E5%8D%BB%E5%85%B6%E5%AF%A6%E9%9D%9E%E5%B8%B8%E5%AE%89%E5%85%A8%E3%80%82%E5%B7%AE%E5%88%A5%E5%9C%A8%E6%96%BC%E6%9C%8D%E5%8B%99%E8%A6%81%20VRAM%20%E7%9A%84**%E6%96%B9%E5%BC%8F**%E4%B8%8D%E5%90%8C%EF%BC%9A%0A%0A%20%20%20%20%7C%20%E9%A1%9E%E5%9E%8B%20%7C%20%E4%BB%A3%E8%A1%A8%20%7C%20%E8%A1%8C%E7%82%BA%20%7C%20%E9%A2%A8%E9%9A%AA%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20**%E9%A0%90%E7%95%99%E5%88%B6**%20%7C%20vLLM%20%7C%20%E5%95%9F%E5%8B%95%E6%99%82%E9%8E%96%E4%B8%80%E5%A1%8A%EF%BC%8C%E4%B9%8B%E5%BE%8C%E4%B8%8D%E5%86%8D%E9%95%B7%20%7C%20%E8%B7%91%E8%B5%B7%E4%BE%86%E5%B0%B1%E7%A9%A9%20%7C%0A%20%20%20%20%7C%20**%E5%8B%95%E6%85%8B%E5%88%B6**%20%7C%20PyTorch%20%E9%A1%9E%E6%9C%8D%E5%8B%99%EF%BC%88TTS%E3%80%81%E5%BD%B1%E5%83%8F%EF%BC%89%20%7C%20%E7%94%A8%E5%A4%9A%E5%B0%91%E8%A6%81%E5%A4%9A%E5%B0%91%EF%BC%8C%E9%95%B7%E6%96%87%E6%9C%AC%E7%AA%81%E7%84%B6%E8%A6%81%E6%9B%B4%E5%A4%9A%20%7C%20%E9%A4%98%E8%A3%95%E4%B8%8D%E5%A4%A0%20%E2%86%92%20%E9%9A%A8%E6%99%82%20OOM%20%7C%0A%0A%20%20%20%20**%E5%88%A4%E8%AE%80%E8%A6%8F%E5%89%87%EF%BC%9A%E5%8D%A1%E4%B8%8A%E6%9C%89%E5%8B%95%E6%85%8B%E5%88%B6%E6%9C%8D%E5%8B%99%E6%99%82%EF%BC%8C%E7%9C%8B%E3%80%8C%E5%89%A9%E5%A4%9A%E5%B0%91%E3%80%8D%E8%80%8C%E4%B8%8D%E6%98%AF%E3%80%8C%E7%94%A8%E5%A4%9A%E5%B0%91%E3%80%8D%E3%80%82**%0A%20%20%20%20%E4%B8%8B%E9%9D%A2%E6%8B%89%E4%B8%80%E4%B8%8B%E3%80%8C%E5%8B%95%E6%85%8B%E5%88%B6%E6%9C%8D%E5%8B%99%E7%9A%84%E5%B3%B0%E5%80%BC%E9%82%84%E5%8F%AF%E8%83%BD%E5%86%8D%E5%90%83%E6%8E%89%E5%A4%9A%E5%B0%91%E3%80%8D%EF%BC%8C%E5%86%8D%E6%89%93%E9%96%8B%E9%82%A3%E5%80%8B%E9%96%8B%E9%97%9C%E7%9C%8B%E7%9C%8B%E7%95%B6%E5%A4%A9%E7%9A%84%E8%A7%A3%E6%B3%95%EF%BC%9A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20peak_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.5%2C%20stop%3D3.0%2C%20step%3D0.1%2C%20value%3D1.5%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E5%8B%95%E6%85%8B%E5%88%B6%E6%9C%8D%E5%8B%99%E7%9A%84%E5%B3%B0%E5%80%BC%E5%A2%9E%E9%87%8F%EF%BC%88GB%EF%BC%89%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20move_switch%20%3D%20mo.ui.switch(value%3DFalse%2C%20label%3D%22%E6%8A%8A%E5%90%91%E9%87%8F%E5%B5%8C%E5%85%A5%E6%9C%8D%E5%8B%99%E6%90%AC%E5%88%B0%20B%20%E6%A9%9F%22)%0A%20%20%20%20mo.vstack(%5Bpeak_slider%2C%20move_switch%5D)%0A%20%20%20%20return%20move_switch%2C%20peak_slider%0A%0A%0A%40app.cell%0Adef%20_(move_switch%2C%20np%2C%20peak_slider%2C%20plt)%3A%0A%20%20%20%20TOTAL_GB%20%3D%2024.0%0A%20%20%20%20_emb%20%3D%203.24%0A%20%20%20%20%23%20A%20%E6%A9%9F%EF%BC%9A%E6%9C%89%E5%8B%95%E6%85%8B%E5%88%B6%E6%9C%8D%E5%8B%99%EF%BC%88%E8%AA%9E%E9%9F%B3%E5%90%88%E6%88%90%EF%BC%89%EF%BC%9BB%20%E6%A9%9F%EF%BC%9A%E5%85%A8%E9%A0%90%E7%95%99%E5%88%B6%0A%20%20%20%20_a%20%3D%20%5B(%22TTS%20(dynamic)%22%2C%209.4)%2C%20(%22OCR%20vLLM%20(reserved)%22%2C%208.2)%2C%20(%22system%2Fother%22%2C%202.3)%5D%0A%20%20%20%20_b%20%3D%20%5B(%22LLM%20vLLM%20(reserved)%22%2C%2011.5)%2C%20(%22ASR%20vLLM%20(reserved)%22%2C%205.2)%2C%20(%22system%2Fother%22%2C%201.1)%5D%0A%20%20%20%20if%20move_switch.value%3A%0A%20%20%20%20%20%20%20%20_b.insert(2%2C%20(%22Embeddings%20(reserved)%22%2C%20_emb))%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_a.insert(2%2C%20(%22Embeddings%20(reserved)%22%2C%20_emb))%0A%0A%20%20%20%20_colors%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22TTS%20(dynamic)%22%3A%20%22%23DD8452%22%2C%0A%20%20%20%20%20%20%20%20%22OCR%20vLLM%20(reserved)%22%3A%20%22%234C72B0%22%2C%0A%20%20%20%20%20%20%20%20%22LLM%20vLLM%20(reserved)%22%3A%20%22%234C72B0%22%2C%0A%20%20%20%20%20%20%20%20%22ASR%20vLLM%20(reserved)%22%3A%20%22%236E93C4%22%2C%0A%20%20%20%20%20%20%20%20%22Embeddings%20(reserved)%22%3A%20%22%2355A868%22%2C%0A%20%20%20%20%20%20%20%20%22system%2Fother%22%3A%20%22%23B0B0B0%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20free_a%20%3D%20TOTAL_GB%20-%20sum(v%20for%20_%2C%20v%20in%20_a)%0A%20%20%20%20free_b%20%3D%20TOTAL_GB%20-%20sum(v%20for%20_%2C%20v%20in%20_b)%0A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(7.6%2C%203.2))%0A%20%20%20%20for%20_row%2C%20(_segs%2C%20_free)%20in%20enumerate(%5B(_a%2C%20free_a)%2C%20(_b%2C%20free_b)%5D)%3A%0A%20%20%20%20%20%20%20%20_x%20%3D%200.0%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_v%20in%20_segs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.barh(_row%2C%20_v%2C%20left%3D_x%2C%20height%3D0.5%2C%20color%3D_colors%5B_name%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%232B2B2B%22%2C%20linewidth%3D1.0)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_v%20%3E%201.6%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_ax.text(_x%20%2B%20_v%20%2F%202%2C%20_row%2C%20f%22%7B_v%3Ag%7D%22%2C%20ha%3D%22center%22%2C%20va%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D8.5%2C%20color%3D%22%23FFFFFF%22%2C%20fontweight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_x%20%2B%3D%20_v%0A%20%20%20%20%20%20%20%20_ax.barh(_row%2C%20_free%2C%20left%3D_x%2C%20height%3D0.5%2C%20color%3D%22%23FFFFFF%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22%232B2B2B%22%2C%20linewidth%3D1.0)%0A%20%20%20%20%20%20%20%20if%20_row%20%3D%3D%200%3A%20%20%23%20%E5%8F%AA%E6%9C%89%20A%20%E6%A9%9F%E6%9C%89%E5%8B%95%E6%85%8B%E5%88%B6%E6%9C%8D%E5%8B%99%EF%BC%8C%E5%B3%B0%E5%80%BC%E9%82%84%E6%9C%83%E5%86%8D%E9%95%B7%0A%20%20%20%20%20%20%20%20%20%20%20%20_risky%20%3D%20_free%20%3C%20peak_slider.value%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.barh(_row%2C%20peak_slider.value%2C%20left%3D_x%2C%20height%3D0.28%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%20if%20_risky%20else%20%22%2355A868%22%2C%20alpha%3D0.45%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hatch%3D%22%2F%2F%22%2C%20edgecolor%3D%22%23C44E52%22%20if%20_risky%20else%20%22%2355A868%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.text(0.3%2C%20_row%20%2B%200.36%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22free%20%7B_free%3A.2f%7D%20GB%20%20%22%20%2B%20(%22-%3E%20peak%20overflows%3A%20OOM%20risk%22%20if%20_risky%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22-%3E%20headroom%20covers%20the%20peak%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20va%3D%22center%22%2C%20fontsize%3D9%2C%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%23C44E52%22%20if%20_risky%20else%20%22%2355A868%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax.text(0.3%2C%20_row%20%2B%200.36%2C%20f%22free%20%7B_free%3A.2f%7D%20GB%20%20-%3E%20nothing%20grows%3A%20stable%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20va%3D%22center%22%2C%20fontsize%3D9%2C%20color%3D%22%2355A868%22)%0A%0A%20%20%20%20_ax.axvline(TOTAL_GB%2C%20color%3D%22%232B2B2B%22%2C%20linewidth%3D2)%0A%20%20%20%20_ax.text(TOTAL_GB%20%2B%200.25%2C%201.62%2C%20%2224%20GB%20limit%22%2C%20ha%3D%22left%22%2C%20fontsize%3D8.5%2C%20color%3D%22%232B2B2B%22)%0A%20%20%20%20_ax.set_yticks(%5B0%2C%201%5D)%0A%20%20%20%20_ax.set_yticklabels(%5B%22Machine%20A%5Cn(dynamic%20svc)%22%2C%20%22Machine%20B%5Cn(all%20reserved)%22%5D%2C%20fontsize%3D9)%0A%20%20%20%20_ax.set_ylim(-0.55%2C%201.85)%0A%20%20%20%20_ax.set_xlim(0%2C%20TOTAL_GB%20%2B%203.4)%0A%20%20%20%20_ax.set_xlabel(%22VRAM%20(GB)%22)%0A%20%20%20%20_ax.set_title(%22hatched%20%3D%20what%20the%20dynamic%20service%20may%20still%20grab%20at%20peak%22%2C%20fontsize%3D10)%0A%20%20%20%20_ax.grid(axis%3D%22x%22%2C%20alpha%3D0.25)%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20used_a%20%3D%20float(TOTAL_GB%20-%20free_a)%0A%20%20%20%20used_b%20%3D%20float(TOTAL_GB%20-%20free_b)%0A%20%20%20%20free_a_gb%2C%20free_b_gb%20%3D%20float(free_a)%2C%20float(free_b)%0A%20%20%20%20a_safe%20%3D%20bool(np.float64(free_a)%20%3E%3D%20peak_slider.value)%0A%20%20%20%20_fig%0A%20%20%20%20return%20a_safe%2C%20free_a_gb%2C%20free_b_gb%2C%20used_a%2C%20used_b%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20a_safe%2C%0A%20%20%20%20free_a_gb%2C%0A%20%20%20%20free_b_gb%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20move_switch%2C%0A%20%20%20%20peak_slider%2C%0A%20%20%20%20used_a%2C%0A%20%20%20%20used_b%2C%0A)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20-%20**A%20%E6%A9%9F**%EF%BC%9A%E7%94%A8%E6%8E%89%20%7Bused_a%3A.2f%7D%20GB%E3%80%81**%E5%89%A9%20%7Bfree_a_gb%3A.2f%7D%20GB**%EF%BC%9B%E5%8D%A1%E4%B8%8A%E6%9C%89%E5%8B%95%E6%85%8B%E5%88%B6%E6%9C%8D%E5%8B%99%EF%BC%8C%E5%B3%B0%E5%80%BC%E9%82%84%E5%8F%AF%E8%83%BD%E5%86%8D%E5%90%83%0A%20%20%20%20%20%20%7Bpeak_slider.value%3Ag%7D%20GB%20%E2%86%92%20%7B%22%E2%9C%85%20**%E9%A4%98%E8%A3%95%E5%A4%A0**%EF%BC%8C%E6%92%90%E5%BE%97%E4%BD%8F%E5%B3%B0%E5%80%BC%22%20if%20a_safe%20else%20%22%F0%9F%94%B4%20**%E9%A4%98%E8%A3%95%E4%B8%8D%E5%A4%A0%EF%BC%8C%E9%9A%A8%E6%99%82%20OOM**%22%7D%0A%20%20%20%20-%20**B%20%E6%A9%9F**%EF%BC%9A%E7%94%A8%E6%8E%89%20%7Bused_b%3A.2f%7D%20GB%E3%80%81%E5%89%A9%20%7Bfree_b_gb%3A.2f%7D%20GB%E2%80%94%E2%80%94%E7%94%A8%E9%87%8F%E7%9C%8B%E8%B5%B7%E4%BE%86%E6%9B%B4%E5%85%87%EF%BC%8C%0A%20%20%20%20%20%20%E4%BD%86**%E5%85%A8%E9%83%A8%E6%98%AF%E9%A0%90%E7%95%99%E5%88%B6**%EF%BC%9A%E5%95%9F%E5%8B%95%E6%99%82%E5%B0%B1%E9%8E%96%E5%A5%BD%E4%BA%86%EF%BC%8C%E4%B9%8B%E5%BE%8C%E4%B8%8D%E6%9C%83%E5%86%8D%E9%95%B7%EF%BC%8C%E2%9C%85%20%E8%B7%91%E8%B5%B7%E4%BE%86%E5%B0%B1%E7%A9%A9%0A%0A%20%20%20%20%7B%22%E7%95%B6%E5%A4%A9%E7%9A%84%E8%A7%A3%E6%B3%95%E5%B0%B1%E6%98%AF%E9%80%99%E5%80%8B%E9%96%8B%E9%97%9C%EF%BC%9A%E6%8A%8A%E5%90%91%E9%87%8F%E5%B5%8C%E5%85%A5%E6%9C%8D%E5%8B%99%E6%90%AC%E5%8E%BB%20B%20%E6%A9%9F%EF%BC%8CA%20%E6%A9%9F%E7%9A%84%E9%A4%98%E8%A3%95%E5%BE%9E%200.86%20GB%20%E8%AE%8A%E6%88%90%204.10%20GB%E3%80%82%22%0A%20%20%20%20%20%22%E7%94%B1%E6%AD%A4%E4%B9%9F%E9%95%B7%E5%87%BA%E4%B8%80%E6%A2%9D%E9%85%8D%E7%BD%AE%E9%90%B5%E5%BE%8B%E2%80%94%E2%80%94**%E6%96%B0%E7%9A%84%20GPU%20%E6%9C%8D%E5%8B%99%E4%B8%80%E5%BE%8B%E6%8E%92%E5%88%B0%E6%B2%92%E6%9C%89%E5%8B%95%E6%85%8B%E5%88%B6%E6%9C%8D%E5%8B%99%E7%9A%84%E9%82%A3%E5%8F%B0**%E3%80%82%22%0A%20%20%20%20%20if%20move_switch.value%20else%0A%20%20%20%20%20%22%E6%8A%8A%E4%B8%8A%E9%9D%A2%E7%9A%84%E9%96%8B%E9%97%9C%E6%89%93%E9%96%8B%EF%BC%8C%E7%9C%8B%E7%9C%8B%E7%95%B6%E5%A4%A9%E5%AF%A6%E9%9A%9B%E6%98%AF%E6%80%8E%E9%BA%BC%E6%95%91%E5%9B%9E%E4%BE%86%E7%9A%84%E3%80%82%22%7D%0A%0A%20%20%20%20%E7%9B%A3%E6%8E%A7%E8%A6%81%E5%81%9A%E7%9A%84%EF%BC%8C%E5%B0%B1%E6%98%AF**%E6%8A%8A%E9%80%99%E6%AE%B5%E4%BA%BA%E8%82%89%E5%88%86%E6%9E%90%E8%AE%8A%E6%88%90%2024%20%E5%B0%8F%E6%99%82%E8%87%AA%E5%8B%95%E7%9A%84**%EF%BC%9A%0A%20%20%20%20%E5%89%A9%E9%A4%98%20VRAM%20%E9%9A%A8%E6%99%82%E7%9C%8B%E5%BE%97%E5%88%B0%EF%BC%8C%E4%BD%8E%E6%96%BC%E9%96%80%E6%AA%BB%E6%8C%81%E7%BA%8C%E4%B8%80%E6%AE%B5%E6%99%82%E9%96%93%E5%B0%B1%E6%8E%A8%E6%92%AD%E5%88%B0%E6%89%8B%E6%A9%9F%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%206%EF%B8%8F%E2%83%A3%20%E6%8F%9B%E4%BD%A0%E5%8B%95%E6%89%8B%0A%0A%20%20%20%20%E4%B8%8A%E9%9D%A2%E7%94%A8%E5%88%B0%E7%9A%84%E4%B8%89%E5%80%8B%E5%87%BD%E5%BC%8F%E9%83%BD%E5%8F%AF%E4%BB%A5%E7%9B%B4%E6%8E%A5%E5%91%BC%E5%8F%AB%EF%BC%8C%E6%8B%BF%E5%8E%BB%E5%81%9A%E4%B8%8B%E9%9D%A2%E7%9A%84%E6%8C%91%E6%88%B0%EF%BC%9A%0A%0A%20%20%20%20-%20%60make_vram_series(jitter_mins%3D(1%2C%202%2C%204)%2C%20event_min%3D12%2C%20seed%3D7)%60%20%E2%86%92%20%60(%E5%BA%8F%E5%88%97%2C%20%E7%9C%9F%E4%BA%8B%E4%BB%B6%E8%B5%B7%2C%20%E7%9C%9F%E4%BA%8B%E4%BB%B6%E8%BF%84)%60%0A%20%20%20%20-%20%60evaluate_rule(%E5%BA%8F%E5%88%97%2C%20%E8%B5%B7%2C%20%E8%BF%84%2C%20%E9%96%80%E6%AA%BB%2C%20for_%E5%88%86%E9%90%98)%60%20%E2%86%92%20%60%7B%22n_fires%22%2C%20%22false_alarms%22%2C%20%22detected%22%2C%20%22delay_min%22%2C%20...%7D%60%0A%20%20%20%20-%20%60self_times(spans)%60%20%E2%86%92%20%E6%AF%8F%E5%80%8B%20span%20%E7%9A%84%20self%20time%EF%BC%88%60TRACES%60%20%E6%98%AF%E9%82%A3%E5%9B%9B%E6%A2%9D%20trace%20%E7%9A%84%E5%8E%9F%E5%A7%8B%E8%B3%87%E6%96%99%EF%BC%89%0A%0A%20%20%20%20**LEVEL%201**%E3%80%80%E7%94%A8%20%60evaluate_rule%60%20%E7%9B%B4%E6%8E%A5%E5%8D%B0%E5%87%BA%E3%80%8C%60for%3A%60%20%3D%200%EF%BC%8F2%EF%BC%8F5%EF%BC%8F13%20%E5%88%86%E9%90%98%E3%80%8D%E5%9B%9B%E7%A8%AE%E8%A8%AD%E5%AE%9A%E7%9A%84%E8%AA%A4%E5%A0%B1%E6%95%B8%E8%88%87%E5%81%B5%E6%B8%AC%E5%BB%B6%E9%81%B2%EF%BC%8C%0A%20%20%20%20%E7%A2%BA%E8%AA%8D%E4%BD%A0%E5%9C%A8%203%EF%B8%8F%E2%83%A3%20%E7%9C%8B%E5%88%B0%E7%9A%84%E8%A1%8C%E7%82%BA%E3%80%82%0A%0A%20%20%20%20**LEVEL%202**%E3%80%80%E4%BD%A0%E7%9A%84%E6%A9%9F%E5%99%A8%E6%8A%96%E5%8B%95%E6%AF%94%E8%BC%83%E9%95%B7%EF%BC%9A%E6%8A%8A%E6%8A%96%E5%8B%95%E6%94%B9%E6%88%90%20%60(2%2C%205%2C%208)%60%20%E5%88%86%E9%90%98%E3%80%81%E7%9C%9F%E4%BA%8B%E4%BB%B6%E4%BB%8D%E6%98%AF%2012%20%E5%88%86%E9%90%98%EF%BC%8C%0A%20%20%20%20%E6%89%BE%E5%87%BA%E3%80%8C%E8%AA%A4%E5%A0%B1%E6%AD%B8%E9%9B%B6%E5%8F%88%E4%B8%8D%E6%BC%8F%E5%A0%B1%E3%80%8D%E7%9A%84%E6%9C%80%E5%B0%8F%20%60for%3A%60%E3%80%82%E6%83%B3%E6%83%B3%E7%9C%8B%E9%80%99%E5%B0%8D%E4%BD%A0%E7%9A%84%20on-call%20%E6%84%8F%E5%91%B3%E8%91%97%E4%BB%80%E9%BA%BC%E3%80%82%0A%0A%20%20%20%20**LEVEL%203**%E3%80%80%E6%8A%8A%E4%BD%A0%E8%87%AA%E5%B7%B1%E7%9A%84%E4%B8%80%E6%AC%A1%E6%85%A2%E8%AB%8B%E6%B1%82%E5%AF%AB%E6%88%90%20%60spans%60%20%E5%8A%A0%E9%80%B2%20%60TRACES%60%EF%BC%8C%E7%AE%97%E5%87%BA%20self%20time%20%E6%9C%80%E5%A4%A7%E7%9A%84%E9%82%A3%E4%B8%80%E6%AD%A5%E3%80%82%0A%20%20%20%20%E8%87%AA%E6%88%91%E9%A9%97%E8%AD%89%EF%BC%9A**%E6%89%80%E6%9C%89%20span%20%E7%9A%84%20self%20time%20%E5%8A%A0%E7%B8%BD%EF%BC%8C%E5%BF%85%E9%A0%88%E5%89%9B%E5%A5%BD%E7%AD%89%E6%96%BC%E6%A0%B9%20span%20%E7%9A%84%E7%B8%BD%E6%99%82%E9%95%B7**%E2%80%94%E2%80%94%E5%B0%8D%E4%B8%8D%E4%B8%8A%E5%B0%B1%E6%98%AF%E4%BD%A0%E7%9A%84%0A%20%20%20%20%E8%B5%B7%E8%A8%96%E6%99%82%E9%96%93%E6%88%96%E5%B1%A4%E7%B4%9A%E5%AF%AB%E9%8C%AF%E4%BA%86%E3%80%82%0A%0A%20%20%20%20%E5%81%9A%E5%AE%8C%E8%A8%98%E5%BE%97%EF%BC%9A**%E9%BB%9E%E5%8F%B3%E4%B8%8A%E8%A7%92%E4%B8%8B%E8%BC%89%E6%8C%89%E9%88%95%EF%BC%88%E6%88%96%E5%B7%A6%E5%81%B4%E6%95%99%E5%AD%B8%E9%A0%81%E7%9A%84%E3%80%8C%E4%B8%8B%E8%BC%89%20.py%E3%80%8D%EF%BC%89%E6%8A%8A%E4%BD%A0%E7%9A%84%E7%89%88%E6%9C%AC%E5%B8%B6%E8%B5%B0**%EF%BC%8C%0A%20%20%20%20%E5%9C%A8%E8%87%AA%E5%B7%B1%E9%9B%BB%E8%85%A6%E7%94%A8%20%60uvx%20marimo%20edit%20lesson.py%60%20%E5%B0%B1%E8%83%BD%E7%B9%BC%E7%BA%8C%E7%8E%A9%E3%80%82%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%20%E4%BD%A0%E7%9A%84%E5%AF%A6%E9%A9%97%E5%8D%80%20%3D%3D%3D%3D%3D%0A%20%20%20%20MY_TH%20%3D%201.5%0A%20%20%20%20MY_FOR_MIN%20%3D%205.0%0A%20%20%20%20print(f%22%E6%88%91%E7%9A%84%E8%A6%8F%E5%89%87%EF%BC%9Afree_vram%20%3C%20%7BMY_TH%7DGB%20for%3A%20%7BMY_FOR_MIN%7Dm%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%201%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20for%20f%20in%20(0%2C%202%2C%205%2C%2013)%3A%0A%20%20%20%20%20%20%20%20r%20%3D%20evaluate_rule(vram%2C%20EV0%2C%20EV1%2C%201.5%2C%20f)%0A%20%20%20%20%20%20%20%20print(f%22for%3A%7Bf%3A%3E3%7Dm%20%20%E5%91%8A%E8%AD%A6%20%7Br%5B'n_fires'%5D%7D%20%20%E8%AA%A4%E5%A0%B1%20%7Br%5B'false_alarms'%5D%7D%20%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%E6%8A%93%E5%88%B0%E7%9C%9F%E4%BA%8B%E4%BB%B6%20%7Br%5B'detected'%5D%7D%20%20%E5%BB%B6%E9%81%B2%20%7Br%5B'delay_min'%5D%7D%22)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E4%BD%A0%E6%87%89%E8%A9%B2%E7%9C%8B%E5%88%B0%EF%BC%9A%60for%3A0m%60%20%E6%9C%89%204%20%E6%AC%A1%E5%91%8A%E8%AD%A6%E3%80%81%E5%85%B6%E4%B8%AD%203%20%E6%AC%A1%E6%98%AF%E8%AA%A4%E5%A0%B1%E3%80%81%E5%BB%B6%E9%81%B2%200%EF%BC%9B%0A%20%20%20%20%60for%3A2m%60%20%E8%AA%A4%E5%A0%B1%E5%89%A9%202%EF%BC%882%20%E5%88%86%E9%90%98%E8%88%87%204%20%E5%88%86%E9%90%98%E9%82%A3%E5%85%A9%E6%AC%A1%E6%8A%96%E5%8B%95%E9%82%84%E6%98%AF%E5%8F%AB%E4%BA%86%EF%BC%89%EF%BC%9B%0A%20%20%20%20%60for%3A5m%60%20%E8%AA%A4%E5%A0%B1%200%E3%80%81%E5%BB%B6%E9%81%B2%204.75%20%E5%88%86%E9%90%98%EF%BC%9B%0A%20%20%20%20%60for%3A13m%60%20%E8%AA%A4%E5%A0%B1%200%20%E4%BD%86%20%60detected%3DFalse%60%E2%80%94%E2%80%94**%E8%A6%8F%E5%89%87%E6%AF%94%E4%BA%8B%E4%BB%B6%E9%82%84%E9%95%B7%EF%BC%8C%E7%AD%89%E6%96%BC%E6%B2%92%E8%A3%9D**%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%202%20%E5%8F%83%E8%80%83%E8%A7%A3%E7%AD%94%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20v2%2C%20e0%2C%20e1%20%3D%20make_vram_series(jitter_mins%3D(2%2C%205%2C%208)%2C%20event_min%3D12)%0A%20%20%20%20for%20f%20in%20%5Bx%20%2F%204%20for%20x%20in%20range(0%2C%2061)%5D%3A%20%20%20%20%20%20%20%20%20%20%23%200%20~%2015%20%E5%88%86%E9%90%98%EF%BC%8C%E6%AF%8F%2015%20%E7%A7%92%E4%B8%80%E6%A0%BC%0A%20%20%20%20%20%20%20%20r%20%3D%20evaluate_rule(v2%2C%20e0%2C%20e1%2C%201.5%2C%20f)%0A%20%20%20%20%20%20%20%20if%20r%5B%22false_alarms%22%5D%20%3D%3D%200%20and%20r%5B%22detected%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%E6%9C%80%E5%B0%8F%E5%8F%AF%E7%94%A8%20for%3A%20%3D%20%7Bf%7D%20%E5%88%86%E9%90%98%EF%BC%8C%E5%81%B5%E6%B8%AC%E5%BB%B6%E9%81%B2%20%7Br%5B'delay_min'%5D%3A.2f%7D%20%E5%88%86%E9%90%98%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20%E7%AD%94%E6%A1%88%E6%98%AF%20**8.25%20%E5%88%86%E9%90%98**%EF%BC%88%E6%AF%94%E6%9C%80%E9%95%B7%E7%9A%84%208%20%E5%88%86%E9%90%98%E6%8A%96%E5%8B%95%E5%A4%9A%E4%B8%80%E6%A0%BC%EF%BC%89%E3%80%82%E4%BB%A3%E5%83%B9%E5%AF%AB%E5%9C%A8%E5%90%8C%E4%B8%80%E8%A1%8C%EF%BC%9A%E5%81%B5%E6%B8%AC%E5%BB%B6%E9%81%B2%E4%B9%9F%E8%B7%9F%E8%91%97%E8%AE%8A%E6%88%90%208%20%E5%88%86%E9%90%98%E3%80%82%0A%0A%20%20%20%20%E5%B0%8D%20on-call%20%E7%9A%84%E6%84%8F%E7%BE%A9%EF%BC%9A**%E6%8A%96%E5%8B%95%E8%B6%8A%E9%95%B7%EF%BC%8C%E4%BD%A0%E8%83%BD%E4%BF%9D%E8%AD%89%E7%9A%84%E3%80%8C%E7%99%BC%E7%8F%BE%E9%80%9F%E5%BA%A6%E3%80%8D%E5%B0%B1%E8%B6%8A%E5%B7%AE**%E3%80%82%0A%20%20%20%20%E9%80%99%E6%99%82%E5%80%99%E8%88%87%E5%85%B6%E4%B8%80%E7%9B%B4%E6%8B%89%E9%95%B7%20%60for%3A%60%EF%BC%8C%E4%B8%8D%E5%A6%82%E5%9B%9E%E9%A0%AD%E4%BF%AE%E6%8A%96%E5%8B%95%E6%9C%AC%E8%BA%AB%EF%BC%88%E4%BE%8B%E5%A6%82%E6%8A%8A%E9%82%A3%E5%80%8B%E6%9C%83%E9%80%B1%E6%9C%9F%E6%80%A7%E4%BD%94%E7%94%A8%20VRAM%20%E7%9A%84%E6%89%B9%E6%AC%A1%E5%B7%A5%E4%BD%9C%E9%8C%AF%E9%96%8B%EF%BC%89%EF%BC%8C%0A%20%20%20%20%E6%88%96%E6%94%B9%E7%94%A8%E3%80%8C%E9%80%A3%E7%BA%8C%20N%20%E6%AC%A1%E5%8F%96%E6%A8%A3%E4%B8%AD%E6%9C%89%20M%20%E6%AC%A1%E8%B6%85%E6%A8%99%E3%80%8D%E9%80%99%E9%A1%9E%E6%9B%B4%E8%81%B0%E6%98%8E%E7%9A%84%E6%A2%9D%E4%BB%B6%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%F0%9F%92%A1%20LEVEL%203%20%E6%8F%90%E7%A4%BA%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%E5%AF%AB%E6%B3%95%EF%BC%9A%E7%85%A7%20%60TRACES%60%20%E7%9A%84%E6%A0%BC%E5%BC%8F%20%60(%E6%B7%B1%E5%BA%A6%2C%20%E5%90%8D%E7%A8%B1%2C%20%E9%A1%9E%E5%9E%8B%2C%20%E8%B5%B7%20ms%2C%20%E8%BF%84%20ms%2C%20%E6%88%90%E5%8A%9F%E5%97%8E)%60%EF%BC%8C**%E5%89%8D%E5%BA%8F%E6%8E%92%E5%88%97**%0A%20%20%20%20%EF%BC%88%E7%88%B6%20span%20%E5%9C%A8%E5%89%8D%EF%BC%8C%E5%AE%83%E7%9A%84%E5%AD%90%20span%20%E7%B7%8A%E6%8E%A5%E5%9C%A8%E5%BE%8C%E3%80%81%E6%B7%B1%E5%BA%A6%20%2B1%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20my_trace%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(0%2C%20%22my_request%22%2C%20%22CHAIN%22%2C%200%2C%205200%2C%20True)%2C%0A%20%20%20%20%20%20%20%20(1%2C%20%22retrieve%22%2C%20%20%20%22RETRIEVER%22%2C%2010%2C%20900%2C%20True)%2C%0A%20%20%20%20%20%20%20%20(1%2C%20%22generate%22%2C%20%20%20%22LLM%22%2C%20920%2C%205180%2C%20True)%2C%0A%20%20%20%20%5D%0A%20%20%20%20st%20%3D%20self_times(my_trace)%0A%20%20%20%20print(list(zip(%5Bs%5B1%5D%20for%20s%20in%20my_trace%5D%2C%20st)))%0A%20%20%20%20print(%22self%20time%20%E7%B8%BD%E5%92%8C%20%3D%22%2C%20sum(st)%2C%20%22%20%2F%20%E6%A0%B9%20span%20%E7%B8%BD%E6%99%82%E9%95%B7%20%3D%22%2C%20my_trace%5B0%5D%5B4%5D%20-%20my_trace%5B0%5D%5B3%5D)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20**%E9%A9%97%E8%AD%89%E6%96%B9%E5%BC%8F**%EF%BC%9A%E6%9C%80%E5%BE%8C%E5%85%A9%E5%80%8B%E6%95%B8%E5%AD%97%E5%BF%85%E9%A0%88%E7%9B%B8%E7%AD%89%E3%80%82%E4%B8%8D%E7%9B%B8%E7%AD%89%E7%9A%84%E5%B8%B8%E8%A6%8B%E5%8E%9F%E5%9B%A0%E6%9C%89%E5%85%A9%E5%80%8B%E2%80%94%E2%80%94%0A%20%20%20%20%E5%AD%90%20span%20%E7%9A%84%E6%99%82%E9%96%93%E8%B6%85%E5%87%BA%E7%88%B6%20span%20%E7%9A%84%E7%AF%84%E5%9C%8D%EF%BC%88%E8%B5%B7%E8%A8%96%E6%8A%84%E9%8C%AF%EF%BC%89%EF%BC%8C%E6%88%96%E6%98%AF%E5%B1%A4%E7%B4%9A%E5%AF%AB%E9%8C%AF%EF%BC%88%E6%8A%8A%E5%AD%AB%E5%AD%90%E5%AF%AB%E6%88%90%E5%85%92%E5%AD%90%EF%BC%89%E3%80%82%0A%0A%20%20%20%20%E6%89%BE%E5%88%B0%E6%9C%80%E6%85%A2%E7%9A%84%E4%B8%80%E6%AD%A5%E4%B9%8B%E5%BE%8C%EF%BC%8C%E5%86%8D%E5%95%8F%E8%87%AA%E5%B7%B1%E7%AC%AC%E4%BA%8C%E5%80%8B%E5%95%8F%E9%A1%8C%EF%BC%9A**%E9%80%99%E4%B8%80%E6%AD%A5%E6%85%A2%EF%BC%8C%E6%98%AF%E5%AE%83%E8%87%AA%E5%B7%B1%E7%9A%84%E5%95%8F%E9%A1%8C%EF%BC%8C%E9%82%84%E6%98%AF%E6%A9%9F%E5%99%A8%E5%B1%A4%E7%9A%84%E5%95%8F%E9%A1%8C%EF%BC%9F**%0A%20%20%20%20%E5%83%8F%20%60queue_wait%60%20%E9%80%99%E7%A8%AE%EF%BC%8Ctrace%20%E5%8F%AA%E6%9C%83%E5%91%8A%E8%A8%B4%E4%BD%A0%E3%80%8C%E7%AD%89%E4%BA%86%E5%BE%88%E4%B9%85%E3%80%8D%EF%BC%8C%E5%8E%9F%E5%9B%A0%E5%BE%97%E5%9B%9E%E6%A9%9F%E5%99%A8%E5%B1%A4%E7%9A%84%E5%84%80%E8%A1%A8%E6%9D%BF%E6%89%BE%E3%80%82%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A