深度学习 神经网络 Transformer从LeNet走到Transformer：神经网络架构设计笔记后来发现 Transformer 更通用，但迁移过程踩了不少坑。 醉月思📁 技术实践📅 2023-05-28
Web性能 前端优化 Lighthouse 性能监控Web 性能优化：Lighthouse不够用了之后这次给公司官网做性能优化，从首屏加载 8 秒优化到 2 秒，也学到了不少。 醉月思📁 技术实践📅 2023-05-24
Transformer Attention机制 Self-Attention Cross-Attention把Self-Attention换到Cross时踩过的坑在调试过程中，我发现模型收敛速度比预期的慢，注意力权重分布也很奇怪——几乎所有head的注意力都集中在序列开头… 醉月思📁 技术实践📅 2023-05-23
深度学习 分布式训练 流水线并行 Megatron-LM 大模型AI流水线并行折腾手记GPT-3的论文里就提了这种思路，Megatron-LM也把它用得挺狠。 醉月思📁 技术实践📅 2023-05-17
AI架构 组件设计 系统集成 架构模式关于AI系统架构的几点记录按照传统思维，大致就是这么几个组件： 1. 文档处理模块：负责把各种格式的文档转换成文本切片 2. 向量数据库：存储文档的向量表示 3. LL… 醉月思📁 技术实践📅 2023-05-07
深度学习 分布式训练 PyTorch GPU集群 性能优化关于大规模分布式训练的几点记录上个月接手一个图像分类项目，训练数据大概 10TB，模型是 ResNet152 的魔改版。 醉月思📁 技术实践📅 2023-05-05
AutoML 超参数优化 AutoKeras 机器学习AutoML折腾手记AutoML 这两年被讲得很多，从 Google AutoML 到微软的 Azure AutoML，从开源的 AutoKeras 到 H2O A… 醉月思📁 技术实践📅 2023-05-04
Kubernetes 容器编排 声明式配置 控制器 云原生Kubernetes 设计哲学折腾手记YAML 写对了，Pod 还在 CrashLoopBackOff——从 Swarm 迁过来之后，我才真正搞懂 K8s 说的「声明式」和「控制器」不是在炫概念。 醉月思📁 技术实践📅 2023-05-02
AI评估 评估框架 指标体系 质量保证 PythonAI评估框架：指标不够用了之后去年在做一个 RAG（检索增强生成）系统时，这个问题特别明显——本地评估分数看着不错，上线后用户反馈「检索不准」「答非所问」。 醉月思📁 技术实践📅 2023-05-01
