引用ArtWomb · 2021-05
“Ironically, IC Design itself is a strong candidate as an industrial process likely to be revolutionized by AI;)”
借芯片布局的 RL 工作,调侃 IC 设计本身也将被 AI 革新
把芯片布局建模为强化学习问题,数小时内给出媲美人类的方案
论文提出基于学习的芯片布局方法:把布局建模成强化学习问题,训练智能体把网表节点放到芯片画布上。为了泛化到没见过的模块,作者用预测布局质量这一监督任务来学习网表表示,并以此作为策略和价值网络的编码器。目标是最小化功耗、性能和面积(PPA),在现代加速器网表上,6 小时内就能生成达到或超过人类水平的布局,而现有基线需要专家介入、耗时数周。
HN 评论者拿它说明集成电路设计很可能是被 AI 变革的工业流程之一。
这条路径帮你补齐策略梯度类强化学习的基础:从信赖域到异步 actor-critic,再到 PPO,之后看芯片布局如何用 RL 训练。
异步 actor-critic 的代表工作,理解策略加价值网络的联合训练。
读A3C 的 actor 与 critic 结构及优势函数。
目标论文的 RL 训练采用 PPO 一类的策略梯度方法。
读裁剪目标函数(clipped surrogate objective)及其为何稳定。
目标论文:把芯片布局建模为 RL 问题,用图网络表示加策略与价值网络训练。
读状态、动作与奖励的设计,以及泛化到新芯片的训练方式。
“Ironically, IC Design itself is a strong candidate as an industrial process likely to be revolutionized by AI;)”