谷歌研究人員利用深度強化學(xué)習來(lái)優(yōu)化芯片設計

優(yōu)化芯片設計是提高當今系統計算能力的關(guān)鍵。然而這是一個(gè)需要花費大量時(shí)間的過(guò)程，人們正在努力使其更有效率?？紤]到這一點(diǎn)，現在谷歌研究人員已經(jīng)將目光投向了機器學(xué)習，以幫助解決這個(gè)問(wèn)題。

在最近發(fā)表在《arXiv上》的一篇題為 "通過(guò)深度強化學(xué)習進(jìn)行芯片布局（Chip Placement with Deep Reinforcement Learning） "的論文中，谷歌的團隊將芯片布局問(wèn)題定位為強化學(xué)習（RL）問(wèn)題。然后，訓練好的模型將芯片block（每個(gè)芯片block都是一個(gè)獨立的模塊，如內存子系統、計算單元或控制邏輯系統）放置到芯片畫(huà)布上。

確定芯片block的布局，這個(gè)過(guò)程被稱(chēng)為芯片布局規劃，是芯片設計過(guò)程中最復雜和最耗時(shí)的階段之一，它涉及到將網(wǎng)表放置到芯片畫(huà)布（2D網(wǎng)格）上，這樣可以使功率、性能和面積（PPA）最小化，同時(shí)遵守密度和布線(xiàn)擁塞方面的限制。盡管在這個(gè)問(wèn)題上已經(jīng)進(jìn)行了數十年的研究，但仍然需要人類(lèi)專(zhuān)家進(jìn)行數周的迭代，以產(chǎn)生滿(mǎn)足多方面設計標準的解決方案。

深度強化學(xué)習模型的輸入是芯片網(wǎng)表、當前要放置節點(diǎn)的ID和一些網(wǎng)表元數據。網(wǎng)表圖和當前節點(diǎn)通過(guò)一個(gè)基于邊緣的圖神經(jīng)網(wǎng)絡(luò )來(lái)生成部分放置的圖和候選節點(diǎn)的嵌入。

然后，前饋神經(jīng)網(wǎng)絡(luò )將其作為一個(gè)聚合輸入，輸出一個(gè)學(xué)習到的表示方法，該方法可以捕捉有用的特征，并幫助在所有可能的網(wǎng)格單元中生成一個(gè)概率分布，通過(guò)策略網(wǎng)絡(luò )可以將當前節點(diǎn)放置在該節點(diǎn)上。整個(gè)過(guò)程可以用下面的GIF來(lái)封裝。左邊的芯片顯示了從頭進(jìn)行的宏放置，右邊的芯片則是對一些初始放置進(jìn)行微調。

通過(guò)這種設置，研究人員展示了效率和放置質(zhì)量的提高，并表示對于一個(gè)人類(lèi)專(zhuān)家需要數周時(shí)間的過(guò)程，用他們訓練有素的ML模型在6個(gè)小時(shí)內完成。

我們的目標是將PPA（功率、性能和面積）降到最低，我們表明，在6個(gè)小時(shí)內，我們的方法可以產(chǎn)生出在現代加速器網(wǎng)表上的超人類(lèi)或可比性的安置，而現有的基線(xiàn)需要人類(lèi)專(zhuān)家在循環(huán)中進(jìn)行，需要幾周的時(shí)間。

展望未來(lái)，該團隊認為，其模型展示了一種強大的自動(dòng)芯片布局方法，可以大大加快芯片設計的速度，這也是針對任何芯片布局問(wèn)題，這將使芯片設計過(guò)程的早期階段也能實(shí)現協(xié)同優(yōu)化。