LiFangzhou
/
Report
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

更新 11月8日本周科研工作进展.md

main
李芳州 2024-11-07 23:35:37 +08:00
parent 2c19043515
commit 3ab69ec8fd
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
11月8日本周科研工作进展.md
View File

@ -94,7 +94,7 @@ torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
# 下周任务 # 下周任务
#### 1.优化投影头结构与训练流程，提升训练效果 #### 1.优化投影头结构与训练流程，提升训练效果
###目前思路 ### 目前思路
## 1.InfoNCE阶段 ## 1.InfoNCE阶段
stage1，训练两个mlp都没有的模型； 0-19epoch stage1，训练两个mlp都没有的模型； 0-19epoch
stage2，编码器q、k都增加一个mlp层a/b，冻结编码器参数，专心调整mlp； 20-24epoch stage2，编码器q、k都增加一个mlp层a/b，冻结编码器参数，专心调整mlp； 20-24epoch