TensorRT 是 AI 推理優化工具,通過對 AI 模型細致的性能優化,它能以高吞吐和低延遲在 GPU 上運行 AI 推理運算,獲得廣泛應用。為了在業界進一步推廣 TensorRT,培養開發人員,豐富生態,NVIDIA 與阿里云天池聯合舉辦了第二屆 TensorRT Hackathon,以時下流行的 Transformer 模型優化作為主題。本屆比賽于2022年4月啟動,經過初賽與復賽,歷時3個月在近日圓滿結束。
?初賽題目
初賽是優化給定模型 WeNet,讓選手了解 TensorRT 常用優化流程并學會使用配套工具。初賽的評估機器采用 NVIDIA A30 GPU。
?復賽題目
復賽是自選模型,選手在 NVIDIA 導師的輔導下進行開發,并通過開源代碼、發布技術文檔啟發后人。復賽的機器由阿里云提供,采用 NVIDIA A10 GPU。NVIDIA 為了把比賽變成 TensorRT 實地教學,專門為本次比賽籌備了教學視頻與示例程序庫,希望參賽選手和其他學習者從中收獲經驗。另外還建立了選手交流群,方便大家討論。
?初賽實錄
初賽共有 600 余支隊伍報名。選手們通過教學視頻和示例代碼學習,積累一定的 TensorRT 開發經驗之后,逐步改善模型的優化效果。選手的成績實時反映在天池的在線榜單上,選手因而了解彼此的差距,為創造新的紀錄展開了激烈角逐。在 NVIDIA 導師的提示和引導下,選手們從入門級的 800 分不斷進步,最后所有進入復賽的選手都達到了 1400 分,并產生了技驚四座、超越 10000 分的第一名。
?復賽實錄
復賽共有 40 支隊伍晉級,NVIDIA 抽調了 28 名工程師組成導師團隊,為各支隊伍提供一對一輔導。比賽迎來眾多開發高手的精彩表現,是 TensorRT 開發者力量的一次爆發展示。選手們按實用性、影響力挑選模型,克服各種不能被 TensorRT 直接解析運行的困難,精心查找性能瓶頸,施展全面手段進行優化,并把自己的成果通過詳細的報告分享給他人。選手們傾心投入,為比賽貢獻了巨量的時間和努力。大賽借助眾人的力量,把市面上更多的流行模型跑在 TensorRT 上,產生的成果價值極高,遠遠超過了比賽本身的經費投入。
面對如此優秀的成果,賽末評獎對 NVIDIA 是極大的考驗。值得注意的是,評分的數值是由賽制決定的,再疊加評委個人的欣賞,存在一定的主觀性。為了追求結果盡量客觀,NVIDIA 對評分原則進行了細化,邀請 7 名評委獨立評分后取平均,最終決出一等獎1名,二等獎2名,三等獎2名,優勝獎20名。
其中,前三名的隊伍如下:
本屆比賽是 NVIDIA 與阿里云開發者社區的第一場活動合作,也是與阿里云天池團隊的第一次聯合辦賽。天池為本次比賽提供了自動化的競賽平臺、通過持續優化的賽事運營模式與經驗,專業、嚴謹地保障了比賽的順利進行。雙方將在未來繼續保持合作,為開發者們提供更多切磋技術的高質量技術活動
。
