近日，國際人工智能聯合會議（International Joint Conference on Artificial Intelligence, 簡稱為IJCAI 2023）公布了本屆Olympic AI競賽的獲獎名單，來自網易互娛AI Lab的團隊“SSJL”在初賽和復賽中分別以1540.51分和1412.73分的成績高分領跑，最終憑借1451.06的綜合積分擊敗了其他38支參賽選手，并斷崖式領先第二名143.82分，奪得冠軍。網易互娛AI Lab已將此類游戲AI相關的技術方案應用于自研的AIxGameMaster游戲AI解決方案中，助力游戲開發設計。
IJCAI 迄今已舉辦30多屆，作為人工智能領域規模最大、影響力最大的國際性學術會議之一，每年都會吸引全世界眾多學術界和工業界的科研工作者參與。本屆IJCAI Olympic AI競賽將六個經典的運動項目封裝成游戲環境供參賽者訓練智能體，這6個游戲包括跑步、相撲、桌球、桌面曲棍球、冰壺和足球。參賽者需要開發出能夠同時參與6個運動項目的智能體，比賽難度不容小覷。首先，此次競賽不僅匯集了來自全球的頂尖的39支參賽隊伍，其中包含一支曾在往年奪取過冠亞軍的強勁對手，競爭十分激烈；其次，如何在特定場景下訓練出可成功應對多款項目的智能體、解決游戲AI的泛化性問題，也是考驗團隊的一大難題；最后，由于智能體的可觀測信息被限制在周圍的有限范圍內，其如何能在瞬息萬變的比賽進程中，快速憑借少量信息進行決策，這也對智能體的強度提出了挑戰。
Olympic AI競賽所使用的六個不同比賽項目
針對上述挑戰，網易互娛AI Lab僅用一個月的時間，便根據內部自研框架研發出了具有高強度的AI智能體。該訓練框架基于強化學習算法，結合了最新的多樣性模型池理念和多風格訓練范式，對比其他隊伍所采用的普通自博弈配合歷史模型池的智能體訓練方法，該框架擁有更強的泛化性，更豐富的策略性和更高的技能強度。
- 更強的泛化性：在面對不同場景的比賽環境，網易互娛AI Lab的智能體AI都有十分優異的表現，例如，在桌球場景中，AI可以規劃出最優的路徑，在最短的時間內將己方的球全部擊入袋中；而在桌面曲棍球場景中，雖然視野受限，但AI仍然可以預測球的前進路徑，準確將球從遠側推入對方球門，體現了智能體在不同場景之下的優異泛用性。
- 更豐富的策略性：該訓練框架獨有的多風格訓練方式令該智能體的策略豐富度顯著上升，且可以隨時進行調節。例如，AI在領先時會繼續保持原有步調穩中求勝，而在落后時會通過攻擊對方，令對方智能體產生較大失誤，從而抓住機會獲得勝利。
- 更高的技能強度：借助該框架所訓練出的智能體，避免了強化學習領域棘手的“非傳遞性”問題，即它在一個訓練環境中學到的策略可以直接應用于類似但不同的環境之中，因此，智能體能夠持續穩定的學習，訓練出更高的技能強度，學習不同的環境策略。
臺球比賽畫面：網易互娛AI Lab的智能體在獲勝前僅需擊入1球，而對手還需擊入2球
隨著游戲行業的不斷壯大和玩家需求的不斷提高，游戲AI成了游戲產業的重要組成部分。但目前來說，游戲AI的表現還有許多不足，包括游戲AI的決策能力、行動規劃能力、協同能力等方面，很多對局中的AI會被玩家一眼認出，從而大大影響玩家整局的游戲體驗。而網易互娛AI Lab借助本次大賽所使用的技術方案自研的AIxGameMaster智能游戲AI系統，或許提出了相應解決方案。該系統可以通過強化學習算法來不斷提升AI強度，讓AI也可以做出逼近決策、控制問題的最優解，從而做出遠超職業選手的游戲操作。同時，AIxGameMaster所訓練出的游戲AI強度可控，投入游戲場景中后，可以根據玩家的游戲段位來調節自身強度，讓玩家感受惜敗或險勝的游戲體驗，從而增加用戶粘性，提高游戲留存。
網易互娛AI Lab成立于2017年，一直將游戲AI作為核心研究課題之一，團隊不斷拓展新的研究成果同時，也在力求將游戲AI更好地應用到游戲中去，進一步提升玩家的游戲體驗。同時，團隊也希望能夠將其拓展至游戲外的更多應用場景，向通用型人工智能進一步探索和邁進。
