模型压缩 量化 剪枝 蒸馏 部署优化AI模型压缩进阶踩坑记录要把一个 7B 语言模型塞进 8GB 内存的边缘设备——这不是"优化一下体验",是硬件硬顶在那儿。 醉月思📁 技术实践📅 2023-06-11
分词器 WordPiece SentencePiece BPE 文本处理关于AI分词器的几点记录项目最初用的是 BERT 的 WordPiece 分词器,数据主要是中文和英文。 醉月思📁 技术实践📅 2023-06-09
游戏 设计模式游戏设计模式之组件模式本文介绍了游戏开发中的组件模式。作者结合饥荒Mod开发的经历,阐述了如何将抽象能力(如灯光、Buff)封装为组件。通过这种方式,不同对象可以复用同一组件,有效降低了代码耦合性,提高了开发效率。 醉月思📁 学习笔记📅 2023-06-04
深度学习 神经网络 Transformer从LeNet走到Transformer:神经网络架构设计笔记后来发现 Transformer 更通用,但迁移过程踩了不少坑。 醉月思📁 技术实践📅 2023-05-28
Web性能 前端优化 Lighthouse 性能监控Web 性能优化:Lighthouse不够用了之后这次给公司官网做性能优化,从首屏加载 8 秒优化到 2 秒,也学到了不少。 醉月思📁 技术实践📅 2023-05-24
Transformer Attention机制 Self-Attention Cross-Attention把Self-Attention换到Cross时踩过的坑在调试过程中,我发现模型收敛速度比预期的慢,注意力权重分布也很奇怪——几乎所有head的注意力都集中在序列开头… 醉月思📁 技术实践📅 2023-05-23