107 lines
5.6 KiB
Markdown
107 lines
5.6 KiB
Markdown
|
# 12月5日科研工作进展
|
|||
|
|
|
|||
|
|
## 目前进度
|
|||
|
|
|
|||
|
|
### 1.对之前的代码与数据进行了梳理、错误检查与修正
|
|||
|
|
|
|||
|
|
#### 问题解决：
|
|||
|
|
|
|||
|
|
##### （1）在低聚类的情况下，存在模型不能很好引导训练的情况：
|
|||
|
|
|
|||
|
|
如图，在聚类数较小的情况下，acc_proto应该较高，因为原型数本就较少，但之前的训练存在acc_proto在热身结束后接近0的情况，这存在问题。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
###### 原因：
|
|||
|
|
|
|||
|
|
1️⃣在较小的聚类条件下，单个簇中样本数目大，分布较为分散，此时查询样本q可能存在于簇边缘和聚类中心的相似度较低，而训练初期模型其实并不确定该样本的归属，强行拉近可能存在错误。
|
|||
|
|
|
|||
|
|
2️⃣在较小的聚类条件下，由于总簇数cluster_result（如10个聚类）小于batchsize样本数（如64），在采样过程中会导致多个样本被分到一个聚类中，导致每个样本分配的原型pos_proto_id出现重复（如[2，2, 2, 1, 0]）。但样本的标签依旧保持顺序分布（如[0, 1, 2, 3, 4])，这使得在计算loss时将相同id的聚类推开，导致训练异常，同时导致计算loss与精度的问题。
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
all_proto_id = [i for i in range(im2cluster.max()+1)]
|
|||
|
|
|
|||
|
|
pos_proto_id = im2cluster[index]
|
|||
|
|
pos_prototypes = prototypes[pos_proto_id]
|
|||
|
|
|
|||
|
|
neg_proto_id = set(all_proto_id)-set(pos_proto_id.tolist())
|
|||
|
|
neg_proto_id = sample(neg_proto_id,self.r)
|
|||
|
|
neg_prototypes = prototypes[neg_proto_id]
|
|||
|
|
|
|||
|
|
proto_selected = torch.cat([pos_prototypes,neg_prototypes],dim=0)
|
|||
|
|
|
|||
|
|
logits_proto = torch.mm(q,proto_selected.t())
|
|||
|
|
labels_proto = torch.linspace(0, q.size(0)-1, steps=q.size(0)).long().cuda()
|
|||
|
|
|
|||
|
|
loss = loss_criterion(logits_proto, labels_proto)
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
###### 解决办法：
|
|||
|
|
|
|||
|
|
（1）目前使用了调整标签的方法进行了修正，即根据选择原型的id修正查询样本的标签，如原型id为[2, 2, 2, 1, 0]，样本的为[0, 1, 2, 3, 4]，调整后为[0, 0, 0, 3, 4]，代码如下：
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
def adjust_labels(proto_selected, labels_proto):
|
|||
|
|
for value in torch.unique(proto_selected):
|
|||
|
|
# 获取B中该元素的所有位置
|
|||
|
|
indices = torch.nonzero(proto_selected == value).squeeze()
|
|||
|
|
# 确保 indices 是一维张量，避免0维张量的问题
|
|||
|
|
indices = indices.reshape(-1)
|
|||
|
|
# 确保indices有元素，防止空张量错误
|
|||
|
|
if indices.numel() > 0:
|
|||
|
|
# 获取最小的位置（即第一个出现的位置）
|
|||
|
|
min_index = indices[0].item() # 使用.item()获取标量值
|
|||
|
|
# 检查 min_index 是否越界
|
|||
|
|
if min_index < len(labels_proto):
|
|||
|
|
# 将labels_proto中这些位置的元素替换为labels_proto中min_index位置的值
|
|||
|
|
labels_proto[indices] = labels_proto[min_index].clone()
|
|||
|
|
else:
|
|||
|
|
continue
|
|||
|
|
return labels_proto
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
调整效果：
|
|||
|
|
|
|||
|
|
可见loss与acc正常工作了，在热身结束后acc_proto相较之前提升巨大，且随着训练与聚类数的提升而不断增加，在epoch25左右达到顶峰（聚类数3，6，15）。loss__proto则在epoch37左右达到最低（聚类数60，120，240），怀疑为训练数据集的100分类引起。
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
（2）针对原因1️⃣的问题，决定使用新的loss方式对聚类数较低时进行调整：
|
|||
|
|
|
|||
|
|
直接最小化样本与其**最相似原型**之间的距离可能在某些情况下过于强硬，特别是当数据本身存在一定的噪声或存在多个相似的原型时，这种方法可能导致不理想的聚类结果。为了避免这种情况，可以采用以下两种思路：**最小化样本与最相似的 K 个原型之间的距离**，或**最大化样本与不相似原型之间的距离**。
|
|||
|
|
|
|||
|
|
##### 实现方法：
|
|||
|
|
|
|||
|
|
- **K 最近原型**：对于每个样本，计算它与所有原型之间的距离，然后选择距离最小的 K 个原型。
|
|||
|
|
- **加权距离**：为了更好地处理样本与多个原型之间的关系，可以给每个原型分配一个权重（通常根据距离反比或其他策略来决定权重），然后计算加权距离作为损失的一部分。
|
|||
|
|
|
|||
|
|
###### 损失函数设计：
|
|||
|
|
|
|||
|
|
1️⃣**最小化样本与最相似的 K 个原型之间的距离，最大化与不相似的原型之间的距离**
|
|||
|
|
|
|||
|
|
假设有一个样本$$x_i$$ ，它与$$K$$个原型的相似度分别为$$s_{i1},s_{i2},...,s_{iK}$$。可以设计如下损失函数：
|
|||
|
|
$$
|
|||
|
|
Loss_i=∑_{k=1}^Kw_k⋅∥x_i−μ_k∥2
|
|||
|
|
$$
|
|||
|
|
其中，$$w_k$$是与原型 $$μ_k$$相关的权重（例如与距离成反比），$$∥⋅∥$$是距离度量。
|
|||
|
|
|
|||
|
|
总的损失为最小化样本与最相似的 K 个原型之间的距离，又最大化样本与不相似的原型之间的距离：
|
|||
|
|
|
|||
|
|
$$
|
|||
|
|
\mbox{Total Loss}=∑_{k=1}^Kw_k⋅∥x_i−μ_k∥^2+λ⋅∑_{k=K+1}^Mmax(0,\alpha-∥x_i−μ_k∥^2)
|
|||
|
|
$$
|
|||
|
|
第二项为最大化样本与不相似原型（第 K+1 到第 M 个原型）之间的距离，$$λ$$ 是调节两部分之间平衡的超参数，$$\alpha$$是推远距离的阈值。
|
|||
|
|
|
|||
|
|
通过最小化这个损失函数，我们可以确保每个样本与多个原型保持一定的关系，而不是仅仅依赖于最相似的一个原型。
|
|||
|
|
|
|||
|
|
### 2.下游任务代码构建部分完成
|
|||
|
|
|
|||
|
|
目前下游任务暂定为**少样本/半监督图像分类**、**目标检测**等，目前完成**少样本/半监督图像分类**代码，微调数据和测试集暂定为PASCAL VOC2007和mini_imagenet
|
|||
|
|
|
|||
|
|
### 3.阅读论文Adaptive Multi-head Contrastive Learning，对投影头设计有了新的方向
|
|||
|
|
|
|||
|
|
## 下周任务
|
|||
|
|
|
|||
|
|
#### 1.实现新的损失函数代码设计与测试
|
|||
|
|
|
|||
|
|
#### 2.对现有模型的超参数进行调整
|