按年被提到
20252025 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2512.05117 · cs.LG

The Universal Weight Subspace Hypothesis

通用权重子空间假说
Prakhar Kaushik, Shravan Chaudhari, Ankit Vaidya, Rama Chellappa, Alan Yuille · 2025

实证发现不同任务训练出的神经网络共享低维权重子空间

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2025-12-08 · 最近 2026-09-18
4不同的人
3活跃月份
4讨论串
0被引(OpenAlex)

对 1200 多个模型(包括 500 个 Mistral-7B LoRA、500 个 Vision Transformer 和 50 个 LLaMA-8B)做逐模式谱分析,发现同一架构在不同任务和数据集上训练后,权重的主要方差集中在少数几个共享的主方向上。作者认为这提供了深度网络内部信息组织方式的新线索,并可能对模型复用、多任务学习、模型合并和高效训练与推理有帮助。

HN 为什么提它

评论者把它作为“不同神经网络共享低维权重结构”这一有趣研究方向推荐给感兴趣的人。

实证研究难度 4 / 5约 40 分钟经得起时间
读之前最好知道
1线性代数(奇异值分解、张量分解)
2LoRA 微调
3深度网络权重与训练基础
4模型合并(model merging)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐thoughtpeddler · 2026-05

“super interesting research area the authors explored”

称作者探索的是一个超级有趣的研究方向
Anthropic surpasses OpenAI to become most valuable AI startup原评论 ↗
推荐refibrillator · 2026-09

“You might like The Universal Weight Subspace Hypothesis: The Universal Weight Subspace Hypothesis”

推荐对方读这篇,可能会喜欢
Cache-to-Cache: Direct Semantic Communication Between LLMs (2025)原评论 ↗
被提交为 story · 2 次