 shangfangjian
|
b997c06ede
|
fix(P1-D): 全局 LLM 并发限制 + 删除未接线的 provider 字段
- 删除 PredictRequest.provider(未接线,路由从未传入,符合禁令 #7)
- 新增 _GLOBAL_LLM_SEMAPHORE(默认 4) + _predict_with_concurrency:
公开 /predict 所有模式汇总受全局并发限制,与 orchestrator 内 match 级
Semaphore(8) 并存。
测试 test_p1_d_concurrency(4/4);全量 313 通过。
|
2026-09-22 03:44:09 +08:00 |
|