Commit History

Author SHA1 Message Date
  qihua a1314e573a chore: 新增 requirements_vllm.txt 文件,指定VLLM 模型所需的依赖 1 year ago
  qihua 2fbeba50ae refactor(llm): 移除未使用的异步推理方法 1 year ago
  qihua d4d187bd8c refactor(llm): 重构 VLLM 推理方式 1 year ago
  qihua 90b666ea20 初步合并vllm支持,异步推理的通道处理还存在bug 1 year ago