Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于dropout和DAE的问题 #4

Open
myalos opened this issue Sep 7, 2023 · 7 comments
Open

关于dropout和DAE的问题 #4

myalos opened this issue Sep 7, 2023 · 7 comments

Comments

@myalos
Copy link

myalos commented Sep 7, 2023

感谢分享代码,有两个问题想要请教一下,
请问一下这个代码是论文中最好结果涉及的代码吗?
为什么dropout和noise都是0,最好的结果是没有用上这两个结构吗?

@XiuzeZhou
Copy link
Owner

并不是。这组参数只是加载初始权重时用于复现时的调参而已。
原论文中因为篇幅原因,没有讨论 dropout 和 noise_level 这两个参数,通过设置这两个参数可以取得比论文中更好的结果!

  1. noise level = 0.01
    如算法中Net() 和 Autoencoder() 中预设的那样,noise_level=0.01时,模型一般会取得最佳的效果。
    输入1%的扰动的设置比较合适,太大会有干扰,太小又没有什么影响。
  2. dropout = 1e-4~1e-3
    给网络的 dropout 设置一个较小的值,保证模型的鲁棒性。

@XiuzeZhou
Copy link
Owner

感谢分享代码,有两个问题想要请教一下, 请问一下这个代码是论文中最好结果涉及的代码吗? 为什么dropout和noise都是0,最好的结果是没有用上这两个结构吗?
并不是。这组参数只是加载初始权重时用于复现时的调参而已。
原论文中因为篇幅原因,没有讨论 dropout 和 noise_level 这两个参数,通过设置这两个参数可以取得比论文中更好的结果!

noise level = 0.01
如算法中Net() 和 Autoencoder() 中预设的那样,noise_level=0.01时,模型一般会取得最佳的效果。
输入1%的扰动的设置比较合适,太大会有干扰,太小又没有什么影响。
dropout = 1e-4~1e-3
给网络的 dropout 设置一个较小的值,保证模型的鲁棒性。

@curry-i
Copy link

curry-i commented Sep 10, 2023

文章模型架构中DAE里的三个hidden和它的output分别代表什么,不太理解

@myalos
Copy link
Author

myalos commented Sep 10, 2023

感谢回复,我去试试

@myalos
Copy link
Author

myalos commented Sep 10, 2023

文章模型架构中DAE里的三个hidden和它的output分别代表什么,不太理解

中间的隐藏层是原数据的表示特征,hidden1是将输入转换成表示特征所要经过的部分,hidden3是将表示特征转换成原始数据需要经过的部分,我是这么理解的

@huahuojiupan
Copy link

你好,我想问一下这个C0也就是Rated_Capacity这个参数为什么设定为1.1呀,我看论文中和代码中没有作解释

@curry-i
Copy link

curry-i commented Dec 12, 2023 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants