深度学习

先说结论：GNN 适合处理那些数据之间存在复杂关系、且关系本身也包含信息的场景。

AI混合专家我没按教科书顺序做。

后来发现 Transformer 更通用，但迁移过程踩了不少坑。

AI内存优化笔记我没按教科书顺序做。

GPT-3的论文里就提了这种思路，Megatron-LM也把它用得挺狠。

上个月接手一个图像分类项目，训练数据大概 10TB，模型是 ResNet152 的魔改版。

很多人一上来就讲迁移学习的全景图；我更想先把这次卡住的点说清楚。

先复现，再谈优化。 很多人一上来就讲计算机视觉的全景图；我更想先把这次卡住的点说清楚。

如果只能用一句话说持续学习：先把失败复现出来。

一开始我也纠结过：图像生成已经有 VAE 了，为什么还要折腾 GAN？