性能优化

"NLP 项目最难的" —— 一个被脏文本折腾到凌晨的人

把概念换到性能优化时踩过的坑我没按教科书顺序做。

后来硬着头皮从头实现了一遍 Transformer，过程中踩了不少坑，也算是对这个架构有了些实际体会。

直接转 RKNN 会失败，中间需要经过 ONNX 中转。

一开始以为是网络问题，服务器带宽不够，或者 CDN 没配置好。

但这次把一个跑了三年的 Webpack 项目换成 Vite，不是因为 Vite 新，也不是因为大家都说它快，纯粹是因为每次 都要等上 5 分钟…

线上 Llama2-7B 对话服务跑在 AWS g4dn.xlarge（单卡 T4）上，用户抱怨回答慢：首 token 延迟 2–3 秒，完整回…

发版前 Lighthouse 跑分 95，产品经理反馈首页还是卡。

上个月接手一个图像分类项目，训练数据大概 10TB，模型是 ResNet152 的魔改版。

AI性能基准测试笔记我没按教科书顺序做。