LiFangzhou
/
Report
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

更新 11月8日本周科研工作进展.md

main
李芳州 2024-11-07 23:35:03 +08:00
parent 0b3c4334e6
commit 2c19043515
1 changed files with 8 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

9
11月8日本周科研工作进展.md
View File

@ -94,5 +94,12 @@ torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
# 下周任务 # 下周任务
#### 1.优化投影头结构与训练流程，提升训练效果 #### 1.优化投影头结构与训练流程，提升训练效果
###目前思路
## 1.InfoNCE阶段
stage1，训练两个mlp都没有的模型； 0-19epoch
stage2，编码器q、k都增加一个mlp层a/b，冻结编码器参数，专心调整mlp； 20-24epoch
## 2.ProtoNCE阶段
stage3，解冻编码器参数，冻结mlp参数，进行原型训练； 25-74epoch
stage4，解冻mlp参数，冻结编码器参数，专心调整mlp。 75-79epoch
stage5，解冻mlp参数，进行完整训练。 80-150epoch
#### 2.进行实验，修改可能的错误 #### 2.进行实验，修改可能的错误