深度学习 分布式训练 流水线并行 Megatron-LM 大模型AI流水线并行折腾手记GPT-3的论文里就提了这种思路，Megatron-LM也把它用得挺狠。 醉月思📁 技术实践📅 2023-05-17
AI架构 组件设计 系统集成 架构模式关于AI系统架构的几点记录按照传统思维，大致就是这么几个组件： 1. 文档处理模块：负责把各种格式的文档转换成文本切片 2. 向量数据库：存储文档的向量表示 3. LL… 醉月思📁 技术实践📅 2023-05-07
深度学习 分布式训练 PyTorch GPU集群 性能优化关于大规模分布式训练的几点记录上个月接手一个图像分类项目，训练数据大概 10TB，模型是 ResNet152 的魔改版。 醉月思📁 技术实践📅 2023-05-05
AutoML 超参数优化 AutoKeras 机器学习AutoML折腾手记AutoML 这两年被讲得很多，从 Google AutoML 到微软的 Azure AutoML，从开源的 AutoKeras 到 H2O A… 醉月思📁 技术实践📅 2023-05-04
Kubernetes 容器编排 声明式配置 控制器 云原生Kubernetes 设计哲学折腾手记YAML 写对了，Pod 还在 CrashLoopBackOff——从 Swarm 迁过来之后，我才真正搞懂 K8s 说的「声明式」和「控制器」不是在炫概念。 醉月思📁 技术实践📅 2023-05-02
AI评估 评估框架 指标体系 质量保证 PythonAI评估框架：指标不够用了之后去年在做一个 RAG（检索增强生成）系统时，这个问题特别明显——本地评估分数看着不错，上线后用户反馈「检索不准」「答非所问」。 醉月思📁 技术实践📅 2023-05-01
AI安全 隐私工程 差分隐私 合规设计 数据保护从设计走到合规：AI隐私工程笔记这段时间在AI系统里搞隐私工程，从设计到合规一路踩坑，今天把整个过程梳理一遍。 醉月思📁 技术实践📅 2023-04-25
模型互操作性 格式转换 协议标准 实践经验AI模型互操作性：格式不够用了之后用户的需求其实很直接： 1. 用 PyTorch 训练的 BERT 模型需要转成 ONNX 格式 2. ONNX 模型要在 TensorRT 上… 醉月思📁 技术实践📅 2023-04-24
