DeepMind攜手暴雪發(fā)戰(zhàn)帖：周五直播AI打星際II，發(fā)布研究新進(jìn)展

大數(shù)據(jù)文摘出品

作者：魏子敏、蔣寶尚

半年前，OpenAI Five在Ti8賽事中與人類職業(yè)選手大戰(zhàn)DOTA的盛況還歷歷在目，年前，DeepMind AI也要在游戲界搞大事情了。

這次，AI要挑戰(zhàn)的是暴雪的經(jīng)典游戲——星際爭霸II。

DeepMind今天在twitter上公開發(fā)布了“戰(zhàn)帖”，表示要在兩天后當(dāng)?shù)貢r間周四下午6點，也就是北京時間周五凌晨2點，直播打星際II。

這不是一次簡單的直播，更像是一場特別的“發(fā)布會”，DeepMind想要通過這場比賽，公開展示AI“學(xué)到的新戰(zhàn)術(shù)”。

本次的將要出戰(zhàn)的AI是由DeepMind和暴雪聯(lián)合培養(yǎng)的，經(jīng)過了“特別的訓(xùn)練方式”，似乎對這次比賽的勝利很有信心。

比賽將會在星際的Twitch頻道和DeepMind的Youtube頻道同步直播，先給出網(wǎng)址，星際II的玩家們，你們準(zhǔn)備好對抗AI了嗎？

Twitch

https://www.twitch.tv/starcraft

YouTube：

https://www.youtube.com/c/deepmind

暴雪：“所有AI都在以幾何速度學(xué)習(xí)進(jìn)步”

暴雪在最近的BlizzCon上，總結(jié)了自己2018年的工作，并相當(dāng)?shù)驼{(diào)地發(fā)布了“與DeepMind合作正在繼續(xù) ”的更新：

DeepMind一直在努力訓(xùn)練他們的AI更好地了解星際爭霸II。一旦它開始掌握游戲的基本規(guī)則，它開始展示“有趣”的行為，例如立即沖向?qū)κ帧Ｄ壳?，即時在“瘋狂”難度下的星際爭霸II，AI的成功率已經(jīng)可以達(dá)到50％！

而且它還在學(xué)習(xí)：“在向它提供了更多真實玩家的游戲回放之后，AI開始執(zhí)行標(biāo)準(zhǔn)的宏觀策略，以及防御諸如加農(nóng)炮沖擊等激進(jìn)戰(zhàn)術(shù)?！?/span>

暴雪的新年總結(jié)

經(jīng)過三個月的訓(xùn)練，顯然這只AI取得了不錯的進(jìn)展，而DeepMind和暴雪都認(rèn)為現(xiàn)在已經(jīng)到了將其公諸于眾的時候。

暴雪今天也發(fā)布聲明稱，這場比賽將提醒我們，所有AI都在以幾何速度學(xué)習(xí)?！靶请H爭霸游戲已經(jīng)成為人工智能社區(qū)的“巨大挑戰(zhàn)”，因為它們是針對諸如規(guī)劃，處理不確定性和空間推理等問題的進(jìn)展基準(zhǔn)的完美環(huán)境。” 

其實早在2016年，Deepmind已經(jīng)立下Flag要教會AI玩兒星際爭霸II，也已經(jīng)有包括facebook、阿里巴巴等不少科技公司或者研究機構(gòu)開拓過“星際”這片競技場，但DeepMind這樣專治人類各種不服的公司正式宣布與暴雪合作，還是讓一票星際玩家大呼“熱血”。 暴雪承諾將持續(xù)發(fā)布從“星際爭霸II”天梯中收集的數(shù)十萬個匿名錄像，這會將訓(xùn)練變得更加容易。 

2017年7月份，DeepMind已經(jīng)官宣正式與暴雪娛樂合作，共同開發(fā)可以在星際爭霸II中與人類玩家對抗的AI，并且發(fā)布了SC2LE，一個旨在加速即時戰(zhàn)略游戲當(dāng)中AI應(yīng)用的工具集。

這次訓(xùn)練的AI所采用的數(shù)據(jù)，很可能是暴雪承諾過的“星際爭霸II”天梯中收集的數(shù)十萬個匿名錄像。有了這些數(shù)據(jù)，相信AI的能力也會有突飛猛進(jìn)的提升。

后臺回復(fù)“星際爭霸”，即可獲得DeepMind相關(guān)論文

搞定星際爭霸可能需要十只升級版阿爾法狗

不要以為有了優(yōu)質(zhì)數(shù)據(jù)就能訓(xùn)練出來超強的AI。其實這并不是一項輕松的任務(wù)，因為視頻游戲的復(fù)雜性和更多可能性也讓AI戰(zhàn)勝人類要遠(yuǎn)比在棋盤游戲上復(fù)雜。

星際爭霸和星際爭霸II是史上最大和最成功的游戲之一，它們見證了許多玩家從青蔥歲月到為人父母的20多年。其原始游戲早已被AI和ML研究人員使用，并在每年的AIIDE機器人大賽中進(jìn)行角逐。

AIIDE機器人大賽：

http://www.cs.mun.ca/~dchurchill/starcraftaicomp/

使用AI在星際爭霸中對戰(zhàn)人類玩家會比圍棋艱難得多，對于AI來說，最大的難點在于，每一場對決都存在大量可能的方式。

據(jù)估計，每場對決有101685種可能的配置，為了給大家一個直觀感受，阿爾法狗的配置層是10170。

此外，不同于棋類游戲的輪流依次進(jìn)行走步，并且擁有決策的時間，在星際爭霸中，玩家會同時出招，且不能看到對方玩家的狀態(tài)，也就是說，所有決定需要在“不完整信息”的情況下做出。所有這些都意味著，你不能僅靠邏輯和一些步驟找到贏得對決的最優(yōu)方式，玩家更需要的是策略和直覺。

PySC2助力AI訓(xùn)練

星際爭霸II的玩家在同一時間可能有300多種基本行動可以選擇，因此策略集及策略選擇也對AI構(gòu)成了巨大的挑戰(zhàn)。與此形成鮮明對比的是雅達(dá)利游戲，大概只有10種選擇（例如，下，左，右等）。除此之外，星際爭霸中的很多操作是分級的，可以進(jìn)行修改和擴充，其中很多都需要操作屏幕上的一個點進(jìn)行。即使一個小84X84的屏幕也會產(chǎn)生大約1億種可能的行動選擇。

之前發(fā)布的PySC2可以幫助研究人員利用暴雪自己的工具來解決這些挑戰(zhàn)，并且構(gòu)建自己的任務(wù)和模型。

PySC2環(huán)境提供了一個靈活的，易于使用的RL代理游戲界面。在最初的版本中，游戲被分解為‘特征層’，其中的游戲元素，如單元類型、單位的健康度和地圖的可見性彼此隔離，同時保留游戲的核心視覺和空間元素。

之前發(fā)布的PySC2還包括一系列的迷你游戲，一種將游戲分解成小模塊的技術(shù)，可以用來測試特定任務(wù)的代理，比如移動視角、收集礦物碎片或選擇單位。DeepMind希望研究人員可以測試他們的技術(shù)，并且開發(fā)新的迷你游戲，以供其他研究人員進(jìn)行使用和評估。

簡單的RL迷你游戲可以讓研究者測試代理在一些特定任務(wù)上的表現(xiàn)

訓(xùn)練過和未訓(xùn)練過的代理在玩迷你游戲

從棋牌游戲到實時對戰(zhàn)，AI不斷挑戰(zhàn)自己

1997年，國際象棋AI第一次打敗頂尖的人類；2006年，人類最后一次打敗頂尖的國際象棋AI。

在2016年年底，一個名為“Master”的神秘在線圍棋玩家出現(xiàn)在了熱門的亞洲游戲服務(wù)器Tygem上。在接下來的幾天里，這個神秘的玩家橫掃世界范圍內(nèi)的許多一流玩家。

2017年5月，AlphaGo“Master”在對戰(zhàn)世界排名最高的圍棋選手柯潔中屢屢得分。在三場比賽中，人工智能穩(wěn)操勝券。

2017年12月，DeepMind發(fā)布了一個更新版本的系統(tǒng)。這款名為“AlphaZero”的新人工智能可以在短短幾個小時內(nèi)掌握各種游戲。經(jīng)過僅僅8個小時的自我訓(xùn)練，這個系統(tǒng)不僅能打敗AlphaGo Zero的早期版本，而且還可以成為象棋大師和將棋（shogi，又稱日本象棋，一種流行于日本的棋盤游戲）的冠軍。

在拿到棋牌類的王者之后，人工智能向更復(fù)雜的實時對戰(zhàn)游戲領(lǐng)域進(jìn)發(fā)。

2018年，OpenAI Five與DOTA2半職業(yè)玩家團(tuán)隊交手，比賽結(jié)果是2:1，人類輸?shù)袅吮荣?。?017年，比較原始版本的AI在1v1戰(zhàn)斗中就擊敗了人類職業(yè)玩家Dendi。

2018年8月份，人工智能在Ti8賽事中與職業(yè)玩家交手，比賽結(jié)果是兩場比賽，人類玩家守住了DOTA這一高地。其中，第二場與中國玩家交手，在第45分鐘的時候，AI直接認(rèn)輸。

2018年9月，騰訊AI Lab發(fā)布論文稱，他們構(gòu)建的AI首次在完整的蟲族VS蟲族比賽中擊敗了星際2的內(nèi)置機器人Bot。