PerfXCloud大模型: 这篇文章详细介绍了如何用LLaMA-Factory框架部署API，特别聚焦于qwen/Qwen-7B模型的应用。不仅讲解了API接口的搭建步骤，还分享了如何利用接口文档进行操作，对想要实践大模型API部署的读者很有帮助。
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理nanerxue: llama-factory启动openai接口，当选择一个GPU就没问题，选择8卡就报错呢？
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理nanerxue: 是的是的，我看是将生成参数都一起加载了，原生的vllm启动的openai接口好像没法传入一些参数（top_k）
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理jieshenai: 不是重写。是封装了一下
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理nanerxue: llama-factory中的vllm是对原生vllm进行重写吗？我看有些不一样啊