qihua ab5b8eb160 refactor(llm): 重构 vLLM 推理任务处理方式,支持多任务处理 1 year ago
..
llm.py 69518b2bde fix bistream extra token 1 year ago
llm_vllm.py ab5b8eb160 refactor(llm): 重构 vLLM 推理任务处理方式,支持多任务处理 1 year ago
vllm_use_cosyvoice2_model.py 90b666ea20 初步合并vllm支持,异步推理的通道处理还存在bug 1 year ago