谷歌開(kāi)源更快、更高效的 TensorFlow 運行時(shí) TFRT

       TensorFlow 官方博客宣布開(kāi)源新的運行時(shí) TFRT，該運行時(shí)提供了統一的、可擴展的基礎結構層，并在各類(lèi)硬件上均具有高性能。

　　TFRT 產(chǎn)品經(jīng)理 Eric Johnson 表示，TFRT 將取代現有的 TensorFlow 運行時(shí)。原有的 TensorFlow 運行時(shí)最初是為圖形執行和訓練模型的工作負載而構建的。與之相比，新的運行時(shí)將急切的執行需求放在第一位，同時(shí)特別強調架構的可擴展性和模塊化。

　　它能夠很好地滿(mǎn)足開(kāi)發(fā)復雜模型時(shí)尋求更快的迭代時(shí)間的開(kāi)發(fā)者需求、在訓練和服務(wù)生產(chǎn)模型時(shí)改進(jìn)性能的需求，以及希望以模塊化方式將邊緣和數據中心設備集成到 TensorFlow 中的硬件制造商需求。

　　簡(jiǎn)單來(lái)講，TFRT 可以減少開(kāi)發(fā)、驗證和部署企業(yè)級模型所需的時(shí)間。

　　TFRT 利用了 eager 和圖形執行的通用抽象，為了獲得更好的性能，其圖執行器支持并發(fā)執行操作和異步 API 調用。在性能測試中，與 TensorFlow 當前的運行時(shí)相比，TFRT 將經(jīng)過(guò)訓練的 ResNet-50 模型(一種流行的圖像識別算法)在圖形卡上的推理時(shí)間縮短了 28%。

　　TFRT 仍處在早期開(kāi)發(fā)階段，它已經(jīng)與 TensorFlow 集成，最終將成為其默認運行時(shí)。