目的:

3D目标检测,通过教师-学生模型为未标注的点云生成伪标签,缓解数据集不足的问题

方法:

采用教师学生模型来解决标注数据不足的问题

image-20240929211928439

伪标签生成:

image-20240929212025964

教师模型:生成伪标签

代理query的生成:

1.对于输入的点云数据,通过一个Encoder网络获得点云的特征feats和位置pts

2.构建一个L x W x H的代理框(类似格点)作为q,将之前获得的特征feats作为k,v做一次self-attn,获得更新后的代理框

3.对pts采取FPS算法,生成初步的噪声中心,并在更新后的代理框种进行插值,获取噪声中心对应的query

解码器:

image-20240929212541933

随机选取query和生成噪声框后,先对物体query做噪声混合的自注意力

image-20240929212655198

更新后的物体query对特征和点的相对位置编码构成的k,v做cross-attn,生成更新后的query,并通过一个prediction head生成更新后的预测框

DDIM:

利用噪声box和伪标签(预测的框)更新下一时间步的噪声box

image-20240929213546917

学生模型:

方法类似于教师模型,不过在预测框时与gt和pls做loss,用于训练网络

同时,训练完成后,通过ema的方式更新教师模型的参数

总结:

1.利用伪标签扩充训练集

2.利用DDIM细化噪声框的预测

3.利用交叉注意力对点的信息进行融合获得内容部分

4.利用FPS算法获取锚点起始位置,插值获得查询部分