更新 11月8日本周科研工作进展.md

2024-11-07 23:35:03 +08:00 · 2024-11-07 23:35:03 +08:00 · 2c19043515
parent 0b3c4334e6
commit 2c19043515
1 changed files with 8 additions and 1 deletions
--- a/11月8日本周科研工作进展.md
+++ b/11月8日本周科研工作进展.md
@ -94,5 +94,12 @@ torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
 # 下周任务

 #### 1.优化投影头结构与训练流程，提升训练效果
-
+###目前思路  
+##  1.InfoNCE阶段  
+        stage1，训练两个mlp都没有的模型；                                   0-19epoch  
+        stage2，编码器q、k都增加一个mlp层a/b，冻结编码器参数，专心调整mlp；      20-24epoch  
+##  2.ProtoNCE阶段  
+        stage3，解冻编码器参数，冻结mlp参数，进行原型训练；                      25-74epoch  
+        stage4，解冻mlp参数，冻结编码器参数，专心调整mlp。                     75-79epoch  
+        stage5，解冻mlp参数，进行完整训练。                                  80-150epoch  
 #### 2.进行实验，修改可能的错误