From 3ab69ec8fd279e31befcddf8048b28c739757048 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E6=9D=8E=E8=8A=B3=E5=B7=9E?= <744976956@qq.com> Date: Thu, 7 Nov 2024 23:35:37 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=2011=E6=9C=888=E6=97=A5?= =?UTF-8?q?=E6=9C=AC=E5=91=A8=E7=A7=91=E7=A0=94=E5=B7=A5=E4=BD=9C=E8=BF=9B?= =?UTF-8?q?=E5=B1=95.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 11月8日本周科研工作进展.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/11月8日本周科研工作进展.md b/11月8日本周科研工作进展.md index 7cf3f24..6fe0f2d 100644 --- a/11月8日本周科研工作进展.md +++ b/11月8日本周科研工作进展.md @@ -94,7 +94,7 @@ torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) # 下周任务 #### 1.优化投影头结构与训练流程,提升训练效果 -###目前思路 +### 目前思路 ## 1.InfoNCE阶段 stage1,训练两个mlp都没有的模型; 0-19epoch stage2,编码器q、k都增加一个mlp层a/b,冻结编码器参数,专心调整mlp; 20-24epoch