预训练

因为最近遇到一个实际问题：需要做一个图像分类任务，但标注数据只收集到了 500 张，而手里躺着 5 万张无标注…

去年接了一个中文医疗问答分类的项目，数据量只有 3000 条，标注质量一般，模型效果一直上不去。

前阵子AI自监督学习连续改了几轮，趁还记得写成备忘。

我用的环境是：