download more GPUs

  @app.get("/work")
  async def handler(fencing: Fencing = Depends(disconnect_fencing)):
      await do_work()  # не нужно руками прокидывать контекст

  async def do_work():
      # нет работы с БД - можно смело отменять и не бояться сломанных транзакций
      # подхватываем disconnect fencing из контекста
      # добвляем отмену по таймауту
      with Fencing.current().timeout(30, code="budget").move_on_cancel() as fence:
          await expensive_llm_call()

      if fence.cancelled_by("disconnect"):
          await save_partial_result()
      elif fence.cancelled_by("budget"):
          await return_cached()