Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何处理验证集 #47

Open
xuxuduoduomeiGithub opened this issue Jun 23, 2024 · 8 comments
Open

如何处理验证集 #47

xuxuduoduomeiGithub opened this issue Jun 23, 2024 · 8 comments

Comments

@xuxuduoduomeiGithub
Copy link

想问下大家验证集是来源于哪里怎么处理的?

@zhengchen1999
Copy link
Owner

使用测试集合中的Set5作为验证(https://github.com/zhengchen1999/DAT?tab=readme-ov-file#training)。
这只用于判断收敛趋势,我们使用完整训练后的模型进行测试。

@xuxuduoduomeiGithub
Copy link
Author

感谢回复,请问只使用测试集合中的Set5来进行验证吗? 此外Set5我是否需要单独处理(比如:使用BasicSR中提供的Set5的原图,然后使用matlab生成对应的GT与Bicubic,),还是直接使用的是您在https://github.com/zhengchen1999/ 提供的已经处理过的Set5

@zhengchen1999
Copy link
Owner

如果是项目中提供的实验,只需要使用下载的数据。
如果是用到其他实验,比如real-world SR,则需要其他处理。

@xuxuduoduomeiGithub
Copy link
Author

好的,感谢回复~

@xuxuduoduomeiGithub
Copy link
Author

如果是项目中提供的实验,只需要使用下载的数据。 如果是用到其他实验,比如real-world SR,则需要其他处理。

你好,我想请问我的训练集是直接将Div2K和Flickr2K中的HR图片放在一起(3450张图片)然后进行裁剪得到(480x480)大小的DF2K_HR图片(139995张图片),然后将下载的DIV2K_LRx2和Flickr2K_LRx2放在一起(3450张图片)然后进行裁剪得到(240x240)大小的DF2K_LRx2图片(139995张图片),将DF2K_HR和DF2K_LRx2作为我的x2的训练集,这样处理方式正确吗?

为何您提供的DF2K原本有3550张图片呢? 此外,我只采用一张RTX4090去训练该模型 结果始终与您的有差异,是否我的Batchsize大小和多张卡并行化训练对结果的影响比较大?
希望能解答一下,感谢!!!

@zhengchen1999
Copy link
Owner

不需要对图片进行预处理(如分块),在代码中有相关实现。
batch size对结果有影响(训练轮次按batch,而不是epoch),多卡影响不大。

@xuxuduoduomeiGithub
Copy link
Author

不需要对图片进行预处理(如分块),在代码中有相关实现。 batch size对结果有影响(训练轮次按batch,而不是epoch),多卡影响不大。

那意思是我只需要拿您提供的DF2K数据集(3550张图片对)进行训练不需要进行任何提前的处理(包括我上面的裁剪),该项目中提供了相应的代码自动处理?

其次是DF2K(3550张是额外包含了DVI2K数据集当中的100张验证集图片嘛?)

@zhengchen1999
Copy link
Owner

  1. 是的,使用提供的数据就可以了
  2. 对,包含了

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants