Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

有关于SwinTransformerLayer #72

Open
Vegetabhl opened this issue Apr 9, 2022 · 2 comments
Open

有关于SwinTransformerLayer #72

Vegetabhl opened this issue Apr 9, 2022 · 2 comments

Comments

@Vegetabhl
Copy link

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1
@LUO77123
Copy link

大佬，我想麻烦请问下我看论文中swin transformer block都是成对出现的，你代码中SwinTransformerLayer的具体结构是不是只是下面的一半，比如1个C3STR模块内部堆叠了4个SwinTransformerLayer，那这3个并不一定完全是按照W-MSA，SW-MSA，W-MSA，SW-MSA，这样排的吗？ 也可能是W-MSA，W-MSA，SW-MSA，W-MSA这样排的对吗？

我也刚接触swin transformer ,可能说的不太清楚，主要就是对这个代码中的SwinTransformerLayer网络结构不太清楚，谢谢您了。

1

兄弟，你跑了代码吗，想知道采用swin transformer占显存有多大，1120的输入我的占7-8G

@TangFeo
Copy link

TangFeo commented Mar 8, 2023

的具体结构是不是只是下面的一半
你您，请问你搞清楚了吗

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@Vegetabhl @TangFeo @LUO77123