BEVDet4D特征对齐的问题

[zhenghw2000]

作者您好！我在调试BEVDet4D-CBGS时发现每次生成bev特征时只用了第一帧的信息。请问我如果想用两帧的信息是否是把with_prev设置成True，同时把align_after_view_transfromation也设置成True。请问这样可以吗？

[LCH1238]

align_after_view_transfromation是指是否在lss之后对齐，True的话，是把lss生成的bev_feat对齐，而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间，所以align_after_view_transfromation与你的这个问题无关。
with_prev要为True，在训练时有个hook，SequentialControlHook，在某个epoch之后with_prev就会为True的。

[zhenghw2000]

非常感谢！

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 日期 | 2023年05月16日 14:23 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [HuangJunJie2017/BEVDet] BEVDet4D特征对齐的问题 (Issue #236) | align_after_view_transfromation是指是否在lss之后对齐，True的话，是把lss生成的bev_feat对齐，而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间，所以align_after_view_transfromation与你的这个问题无关。 with_prev要为True，在训练时有个hook，SequentialControlHook，在某个epoch之后with_prev就会为True的。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[crisz94]

align_after_view_transfromation是指是否在lss之后对齐，True的话，是把lss生成的bev_feat对齐，而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间，所以align_after_view_transfromation与你的这个问题无关。 with_prev要为True，在训练时有个hook，SequentialControlHook，在某个epoch之后with_prev就会为True的。

@LCH1238

"而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间" 请问这一步是怎么实现的呢？我在LSSViewTransformer没有找到相关code，似乎LSSViewTransformer只是把img features project到对应时刻的bev坐标系下？

[pmj110119]

align_after_view_transfromation是指是否在lss之后对齐，True的话，是把lss生成的bev_feat对齐，而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间，所以align_after_view_transfromation与你的这个问题无关。 with_prev要为True，在训练时有个hook，SequentialControlHook，在某个epoch之后with_prev就会为True的。

@LCH1238

"而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间" 请问这一步是怎么实现的呢？我在LSSViewTransformer没有找到相关code，似乎LSSViewTransformer只是把img features project到对应时刻的bev坐标系下？

计算img2ego转换矩阵的时候，算了 sweep_img2key_ego，LSS投影时就直接把任意时刻的视锥都投到当前帧的ego下了

[gaowei724]

align_after_view_transfromation是指是否在lss之后对齐，True的话，是把lss生成的bev_feat对齐，而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间，所以align_after_view_transfromation与你的这个问题无关。 with_prev要为True，在训练时有个hook，SequentialControlHook，在某个epoch之后with_prev就会为True的。

@LCH1238
"而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间" 请问这一步是怎么实现的呢？我在LSSViewTransformer没有找到相关code，似乎LSSViewTransformer只是把img features project到对应时刻的bev坐标系下？

计算img2ego转换矩阵的时候，算了 sweep_img2key_ego，LSS投影时就直接把任意时刻的视锥都投到当前帧的ego下了

你说的这部分实现是指get_inputs函数中调用的get_sensor_transforms部分吗？(https://github.com/HuangJunJie2017/BEVDet/blob/dev2.1/mmdet3d/datasets/pipelines/loading.py#L936)

[Shufejhli]

align_after_view_transfromation是指是否在lss之后对齐，True的话，是把lss生成的bev_feat对齐，而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间，所以align_after_view_transfromation与你的这个问题无关。 with_prev要为True，在训练时有个hook，SequentialControlHook，在某个epoch之后with_prev就会为True的。

@LCH1238
"而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间" 请问这一步是怎么实现的呢？我在LSSViewTransformer没有找到相关code，似乎LSSViewTransformer只是把img features project到对应时刻的bev坐标系下？

计算img2ego转换矩阵的时候，算了 sweep_img2key_ego，LSS投影时就直接把任意时刻的视锥都投到当前帧的ego下了

你说的这部分实现是指get_inputs函数中调用的get_sensor_transforms部分吗？(https://github.com/HuangJunJie2017/BEVDet/blob/dev2.1/mmdet3d/datasets/pipelines/loading.py#L936)

他说的应该是BEVDet4D里面的prepare_inputs吧？

[Agito555]

align_after_view_transfromation是指是否在lss之后对齐，True的话，是把lss生成的bev_feat对齐，而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间，所以align_after_view_transfromation与你的这个问题无关。 with_prev要为True，在训练时有个hook，SequentialControlHook，在某个epoch之后with_prev就会为True的。

@LCH1238
"而False的话，就是在lss计算映射关系的时候直接映射到当前帧的ego空间" 请问这一步是怎么实现的呢？我在LSSViewTransformer没有找到相关code，似乎LSSViewTransformer只是把img features project到对应时刻的bev坐标系下？

计算img2ego转换矩阵的时候，算了 sweep_img2key_ego，LSS投影时就直接把任意时刻的视锥都投到当前帧的ego下了

你说的这部分实现是指get_inputs函数中调用的get_sensor_transforms部分吗？(https://github.com/HuangJunJie2017/BEVDet/blob/dev2.1/mmdet3d/datasets/pipelines/loading.py#L936)

他说的应该是BEVDet4D里面的prepare_inputs吧？

脑子抽了后知后觉才醒悟说的是什么ORZ。这部分大概是在https://github.com/HuangJunJie2017/BEVDet/blob/dev3.0/mmdet3d/models/detectors/bevdet.py#L408 实现的。希望能帮到所有同有疑问的朋友们:）