模型剪枝后的速度问题

[dsdsknfsk]

请提出你的问题 Please ask your question

我们把torch的mmedetction框架上的一个目标检测模型(gfl)和它的剪枝模型(压缩约45%，结构性剪枝)都转成了paddle模型。（使用的是ppdetction框架，只用作推理）
具体的转换方法：
将torch上的模型权重和形状复制到paddle上
问题：
结构化剪枝后的模型与原模型的速度在GPU上测的结果没有提升，但是在CPU上测的结果有大幅提升（剪枝后的模型速度约为未剪枝的两倍），请问这是为什么？剪枝后模型需要额外的GPU设置才能加速吗
一些具体的指标如下

[dsdsknfsk]

剪枝前的部分参数shape如下：
backbone.conv1.conv1.conv.weight:[64, 3, 7, 7]
backbone.conv1.conv1.norm.weight:[64]
backbone.conv1.conv1.norm.bias:[64]
backbone.conv1.conv1.norm._mean:[64]
backbone.conv1.conv1.norm._variance:[64]
backbone.res2.res2a.branch2a.conv.weight:[64, 64, 1, 1]
backbone.res2.res2a.branch2a.norm.weight:[64]
backbone.res2.res2a.branch2a.norm.bias:[64]
backbone.res2.res2a.branch2a.norm._mean:[64]
backbone.res2.res2a.branch2a.norm._variance:[64]
与之对应的剪枝后的部分参数shape如下：
backbone.conv1.conv1.conv.weight:[56, 3, 7, 7]
backbone.conv1.conv1.norm.weight:[56]
backbone.conv1.conv1.norm.bias:[56]
backbone.conv1.conv1.norm._mean:[56]
backbone.conv1.conv1.norm._variance:[56]
backbone.res2.res2a.branch2a.conv.weight:[40, 56, 1, 1]
backbone.res2.res2a.branch2a.norm.weight:[40]
backbone.res2.res2a.branch2a.norm.bias:[40]
backbone.res2.res2a.branch2a.norm._mean:[40]
backbone.res2.res2a.branch2a.norm._variance:[40]

[FeixLiu]

@zoooo0820 辛苦帮忙看下推理剪枝的问题

[dsdsknfsk]

@zoooo0820 能否解答一下

[sealoongleft]

兄弟我也用了coco数据集，你哪个机构的，可以加个联系方式吗，以后有机会合作

[zoooo0820]

@dsdsknfsk 您好，能否方便提供下转换前后的权重（如果真实权重不方便，随机初始化也可以的）和运行命令呢，我们复现下相关问题

[dsdsknfsk]

@dsdsknfsk 您好，能否方便提供下转换前后的权重（如果真实权重不方便，随机初始化也可以的）和运行命令呢，我们复现下相关问题

感谢回复，ppdet内部的代码我们也做了一些修改，所以不太好直接提供复现，如果必要的话我后续再整理一下代码、模型权重以及运行命令

[zoooo0820]

已线下沟通解决，如果有问题辛苦再reopen这个issue~