VLLM

前阵子接了个私活，帮一家创业公司搞AI客服。

先说背景：我们团队去年要做个企业级问答系统，模型用的 Qwen2-72B。

先说个最实在的：项目背景是个多模态问答系统，推理环境是 4 张 A100 80GB，PyTorch 2.1.1，CUDA 12.1。