推荐mcyc · 2024-07
“You may enjoy this article”
推荐这篇文章,把随机种子当作超参数并搜索最佳种子
扫描上万个随机种子,证明总能找到明显更好或更差的离群值
研究随机种子的选择对常用计算机视觉架构精度的影响:在 CIFAR-10 上扫描多达 10^4 个种子,并在 ImageNet 上用预训练模型扫描较少的种子。结论是,尽管方差不算很大,但很容易找到表现明显更好或更差的离群种子。
评论者借它说明随机种子可被当作超参数、会影响视觉模型的结果(与彩票假设相关),还有人拿 3407 当自己常用的种子开玩笑。
“You may enjoy this article”
“The Lottery Ticket[1,2] plays a big role, in that you can just get lucky.”
“Coincidentally the seeds I always use are 3407, 3408 and 3409:) 3407 because of Torch.manual_seed(3407) is all you need”