技术实践

别急着给AIOps监控下定义，先看这次卡在哪。

至少要把这些信息先确定下来，不然别人给的方案你用不起来：

先说个最实在的：项目背景是个多模态问答系统，推理环境是 4 张 A100 80GB，PyTorch 2.1.1，CUDA 12.1。

AI预算规划相关的坑，多半出在边界条件上。

一开始以为是网络问题，服务器带宽不够，或者 CDN 没配置好。

过去两年参与三个 AI 项目落地，记录几条选型、场景和 ROI 上的踩坑判断。

带 AI 团队两年，最头疼的是人和人的接口怎么划清——比调参烦多了。

结果光显存这块就踩了一堆坑：先是用全参数微调直接 OOM，换 LoRA 还是顶不住，最后上 Q-LoRA 才勉强在 24G 显存上跑起来。

不绕弯子，先说几个现实限制条件：

AI风险管理：先看卡点