3.2 KiB
3.2 KiB
2024-10-17感知智能组会汇报
一、近期工作
1.论文阅读
1）其他领域
- 在之前对于遮挡图像补全的探索上阅读了三维重建有关的Vid2Avatar和Wild2Avatar论文，试图对我们自己的方法进行启示。
- 三维重建方向的论文主要依赖于对象的几何轮廓，还需要使用三维信息，但我们是基于二维图像考虑，结合Wild2Avatar方法的思路，针对二维图像和MAE可以从以下部分进行考虑：
- 由于二维图像中存在遮挡的不规则性，可以考虑边缘检测/轮廓提取对遮挡部分进行提取；
- 利用二维图像中阴影层次，比如光照、纹理的变化，引入深度估计网络；
- 引入语义，针对遮挡的部分或部位进行划分；
- 引入注意力机制；
2）MAE相关
- 对之前所看过的MAE相关文章进行阅读，找是否可以直接使用的预训练模型。
- MixMAE：针对两个图像进行输入变成混合图像，再将这两张图像分别重建，避免处理无效掩码区域：将遮挡/非遮挡图像进行输入，添加边缘检测模块，但可能和原文章结构不符；
- UM-MAE：针对多尺度的特征，引入Pyramid-based ViT为编码器，使用单一输入：如果只使用遮挡后的图像，或许需要引入语义和注意力；
- 其他方面的论文还在探索
2.文章调研
针对近两年各大顶会和期刊寻找图像补全/语义补全/遮挡补全方向 大致着眼于：denoising、diffusion、image generation、image reconstruction、inpainting方面，目前针对网络结构的调研还在持续中
二、未来规划
1.文章调研
继续调研，完成对该类方向的信息搜索和整理收集
2.项目代码
按照上面的想法对预训练模型进行更改
3.反思思考
我们针对的方法是面向2D-image的生成，像Wild2Avatar方法是面向3D-video去进行遮挡部分的还原，主要设计三维重建方面的知识，需要利用各个角度下的三维位置信息和像素进行预测。
MAE相关的衍生方向有很多，关于很多下游任务也有实现，MAE只是一个预训练框架，可以进行改变。
- 着重研究：之前看过的几篇MAE有关的论文是怎么对MAE进行更改的，有什么不同之处，在什么方面进行了应用，实验是怎样的，参数量是怎样的
- 如果要将我们的方法和MAE进行结合，要怎么结合？
思考下可行性：
- 对Encoder的增强：在原先的基础上+特征提取器，比如边缘检测/深度估计，因为遮挡是不规则的
- 引入Attention：通过多层注意力机制处理全局上下文
- 结合Sub-task：语义分割、边缘检测。是否需要引入语义有关的模块来对图像中的类别进行更好分析
- 对数据的处理：data augmentation去模拟遮挡，噪声？人为遮挡？
使用子任务去复现：
- 加模块去看提升？——需要考虑下游任务吗？需要在遮挡行人重识别上去做吗？
- 考虑耗费的gpu资源
明确我们要做的具体目标是？
- 针对行人去做：前景和背景的分离？如果针对行人去做，是否需要对行人进行姿态估计？如何预测？
- 不针对行人，只泛指一般图像去做？