目的:
3D目标检测,通过教师-学生模型为未标注的点云生成伪标签,缓解数据集不足的问题
方法:
采用教师学生模型来解决标注数据不足的问题
伪标签生成:
教师模型:生成伪标签
代理query的生成:
1.对于输入的点云数据,通过一个Encoder网络获得点云的特征feats和位置pts
2.构建一个L x W x H的代理框(类似格点)作为q,将之前获得的特征feats作为k,v做一次self-attn,获得更新后的代理框
3.对pts采取FPS算法,生成初步的噪声中心,并在更新后的代理框种进行插值,获取噪声中心对应的query
解码器:
随机选取query和生成噪声框后,先对物体query做噪声混合的自注意力
更新后的物体query对特征和点的相对位置编码构成的k,v做cross-attn,生成更新后的query,并通过一个prediction head生成更新后的预测框
DDIM:
利用噪声box和伪标签(预测的框)更新下一时间步的噪声box
学生模型:
方法类似于教师模型,不过在预测框时与gt和pls做loss,用于训练网络
同时,训练完成后,通过ema的方式更新教师模型的参数
总结:
1.利用伪标签扩充训练集
2.利用DDIM细化噪声框的预测
3.利用交叉注意力对点的信息进行融合获得内容部分
4.利用FPS算法获取锚点起始位置,插值获得查询部分