diff --git a/11月8日本周科研工作进展.md b/11月8日本周科研工作进展.md index 6da3e52..7cf3f24 100644 --- a/11月8日本周科研工作进展.md +++ b/11月8日本周科研工作进展.md @@ -94,5 +94,12 @@ torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) # 下周任务 #### 1.优化投影头结构与训练流程,提升训练效果 - +###目前思路 +## 1.InfoNCE阶段 + stage1,训练两个mlp都没有的模型; 0-19epoch + stage2,编码器q、k都增加一个mlp层a/b,冻结编码器参数,专心调整mlp; 20-24epoch +## 2.ProtoNCE阶段 + stage3,解冻编码器参数,冻结mlp参数,进行原型训练; 25-74epoch + stage4,解冻mlp参数,冻结编码器参数,专心调整mlp。 75-79epoch + stage5,解冻mlp参数,进行完整训练。 80-150epoch #### 2.进行实验,修改可能的错误 \ No newline at end of file