深度学习 ZeRO优化器 分布式训练 DeepSpeed 内存优化AI ZeRO优化器实践笔记ZeRO(Zero Redundancy Optimizer)是DeepSpeed里的一组优化策略,核心思想就… 醉月思📁 技术实践📅 2023-06-28
AI安全 差分隐私 联邦学习 模型安全AI 模型隐私实践笔记做 AI 模型隐私,纸面上是"保护训练数据",落到生产里才发现攻击面宽得多:有人推断某条记录是否在训练集里,有人从模型参数反推用户行为,有人盯推… 醉月思📁 技术实践📅 2023-06-25
AI服务 性能优化 模型部署 系统架构AI模型服务性能踩坑记录线上 Llama2-7B 对话服务跑在 AWS g4dn.xlarge(单卡 T4)上,用户抱怨回答慢:首 token 延迟 2–3 秒,完整回… 醉月思📁 技术实践📅 2023-06-17
微前端 Module Federation 架构设计 前端工程微前端架构:iframe不够用了之后边界条件才会告诉你方案能不能留。 这次做微前端改造,从单体应用到微前端,。 醉月思📁 技术实践📅 2023-06-16
模型压缩 量化 剪枝 蒸馏 部署优化AI模型压缩进阶踩坑记录要把一个 7B 语言模型塞进 8GB 内存的边缘设备——这不是"优化一下体验",是硬件硬顶在那儿。 醉月思📁 技术实践📅 2023-06-11
分词器 WordPiece SentencePiece BPE 文本处理关于AI分词器的几点记录项目最初用的是 BERT 的 WordPiece 分词器,数据主要是中文和英文。 醉月思📁 技术实践📅 2023-06-09