2022/5/13更新 没空专门弄个实验验证了,仅记录
我没有空把 SeBlock 丢掉再训练一次实验,这篇记录就这样了,可能是SeBlock增加导致这样现象,也可能不是。
仅记录下实验情况。
模型结构
这是一个基于热图的关键点检测模型。
然后我在模型中每个残差块的末端均额外加了 SEBlock。
然后发现了如下现象。
训练时与验证时的图像特点
训练输入图像特点:全都是亮度比较高的图像,不会有一大块黑色填充,如下面这种
图1:
验证输入图像特点:通常情况下亮度较高,但在图像边缘那里填充了一大块黑色区域的图像,如下面这种
图2:
训练中
在数据增强过程中,没有做过添加大块黑色区域的图像增强,没见过的验证集像这样子的有一半全黑的图像。
训练结束后,验证时
如果输入图1,模型能正常输出概率热图(有细胞核的地方将会正常输出1.0高概率值)。
如果输入图2,概率热图左边那块区域的热图的概率值将会大幅度下降(左边图像有细胞核的地方会输出异常概率值0.1),接近全黑,几乎检不出任何细胞。
但如果将图2的右边的黑色区域全部填充为纯白(255,255,255),模型能正常输出概率热图(左边有细胞核的地方将会正常输出1.0概率值)。