Как победить ии в старкрафт 2
Что новое поколение искусственного интеллекта сможет перенять у компьютерной стратегии, и почему это важно для геймеров.
Журналист Ars Technica Ник Колен (Nick Cowen) взял интервью у разработчика Google и сотрудника Blizzard. Они рассуждают о том, что может привнести новый ИИ в киберспортивную дисциплину и как подсчет юнитов на экране монитора поможет сократить энергопотребление дата-центров.
DTF публикует перевод материала.
Одна новость с BlizzCon 2016, которую публика почти проигнорировала, возможно, была самой важной из всех.
Анонсы нового контента для Hearthstone, Heroes of the Storm, Overwatch и Diablo III вызвали восторг и овации фанатов. Однако новость о том, что отдел Google DeepMind, который отвечает за разработку искусственного интеллекта, будет работать совместно с Blizzard над дальнейшим улучшением ИИ, игроки оценили не так восторженно.
Возможно, отсутствие энтузиазма было связано с вопросом: «Какой интерес могут разработчики ИИ представлять для игроков StarCraft 2?» Как оказалось, в случае успешной совместной работы двух компаний и достижения поставленных целей, игроки увидят ощутимые результаты. А кроме геймеров их также увидят и люди, не относящиеся к видеоиграм.
Искусственный интеллект уже давно стал неотъемлемой частью видеоигр, и, как утверждает исполнительный продюсер StarCraft2 Крис Сигати (Chris Sigaty), разрабатываемый командой DeepMind ИИ не станет первым проектом, который будет играть в стратегию от Blizzard.
На данный момент игры используют заскриптованный ИИ. Его разрабатывает команда дизайнеров и инженеров, которые понимают, как работает игра. Они создают скрипт, в который добавляют списки различных условий. Например, если собрано X ресурсов, то ИИ потратит Y на юниты Z.
Сигати говорит: «Всё тщательно выверено, против них интересно играть. У ИИ есть элемент случайности и жёсткие закономерности в выборах. Компьютер может захватывать территорию, собирать ресурсы — в целом, все те вещи, которые вам нужно делать в StarCraft2. Но это всё заскриптовано. Компьютер действует предсказуемо, и, если говорить в целом, не существует ИИ, который смог бы победить человека (без читерства)».
Это утверждение верно и для StarCraft2 — профессиональные игроки без проблем расправляются с компьютерным противником. Целью DeepMind стало создание ИИ, который смог бы играть как человек, и, в теории, побеждать лучших геймеров, что открыло бы новые границы для технологии глубинного обучения.
У команды DeepMind уже есть некоторые успехи на поприще видеоигр: в марте 2016 года ИИ под названием AlphaGo встретился с игроком Го мирового уровня, Ли Седолом (Lee Sedol), в серии до трёх побед. Компьютер одержал верх со счётом 4-1, преодолев барьер, ранее недоступный для других ИИ.
Ориол Виньялс (Oriol Vinyals), один из научных сотрудников DeepMind, говорит, что StarCraft 2 сможет помочь исследованиям ИИ сделать огромный шаг вперёд. Всё благодаря тому, что динамичная игра с подвижными элементами помогает создать наиболее подходящие критерии для разработки ИИ.
Ориол считает, что комплексность StarCraft 2 позволяет начать тестирование алгоритмов, о которых несколько лет назад и говорить боялись.
В StarCraft 2 большая часть информации, необходимой игроку для победы, изначально скрыта. Геймеры должны заниматься разведкой, попутно собирая ресурсы и нанимая юнитов, чтобы выяснить расположение противника. Статичный ИИ видит движения на карте как кусочки информации, и для того, чтобы DeepMind смог учиться на StarCraft 2, необходимо держать эту информацию в тайне — точно так же, как играют и люди.
«Процесс намного сложнее, потому что игра прячет юнитов, и игроки не знают, где находится противник. Главным становится планирование затрат ресурсов, а затем геймеры должны дополнительно учесть факт, играли ли они против своего противника ранее, и как можно действовать с учётом такой информации» — говорит Виньялс.
«Всё это — очень серьёзные проблемы ИИ, которые мы сможем решить с помощью новой среды исследования. Самое главное — можно будет начать устанавливать критерии согласно показателям работы ИИ, даже если сразу не получится всё сделать идеально. Это позволит нам двигать границы новейших технологий, что просто замечательно. Опять же, если мы делаем их открытыми, то каждый сможет привнести в проект свои идеи».
«Мы начали сотрудничать совсем недавно. Первый шаг — создать окружение, в которое игроки смогут поместить наш ИИ, чтобы позволить ему наблюдать за игровым процессом. Сейчас мы работаем только над созданием такого окружения, потому что должны выпустить его как можно скорее. Оно также должно служить критерием для других разработчиков ИИ. Сейчас многие работают над созданием искусственного интеллекта, поэтому очень важно сделать наше окружение доступным для общего использования.
Виньялс продолжает: «Следующим шагом станет внедрение управляющей системы. Мы пока ей серьёзно не занимались, лишь на самом базовом уровне».
Искусственный интеллект победил людей в StarCraft 2
Компания Blizzard провела прямую трансляцию матчей по StarCraft 2. В них искусственный интеллект DeepMind сражался против профессиональных игроков-людей. Машина одержала победу со счётом 10:1 по итогам одиннадцати матчей.
Против бота AlphaStar играли Дарио TLO Вунш и Гжегож MaNa Коминч из команды Team Liquid. Именно последний смог единственный раз выиграть у машины. Как оказалось, ИИ бросал все силы на защиту базы даже при небольшой опасности, что позволило Коминчу собрать армию и победить. Запись игры можно посмотреть ниже.
Как сообщается, ИИ обучался, играя против других программных ботов на протяжении недели. А после каждой победы система анализировала ход игры и вырабатывала победную стратегию. При этом разработчики отметили, что машина отлично смогла использовать внутриигровую экономику. А участники соревнования отметили, что бот показал вполне человеческий стиль игры.
Таким образом, StarCraft 2 можно записать в перечень игр, которые ИИ уже освоил лучше человека. Ранее машина уже выиграла у человека в игру го. А ещё OpenAI Five обыграл команду профессиональных игроков в Dota 2.
Мультиплеер в StarCraft 2. Учимся побеждать
StarCraft 2, как и первая часть, – одна из самых лучших real-time-стратегий современности. Не только отличная графика и сюжет делают её таковой, но и отлично подточенный игровой баланс, в духе классических стратегий прошлого века типа Age of Empires или WarCraft 2, от той же Метелицы. Стандартные бои против AI отличаются от боёв с реальными оппонентами точно также как отличаются стандартные death match от прохождения миссий кампании, где в каждом из уровней существует своя особенность. В общем, не отвлекаясь особо на историю и всем известные вещи, давайте поговорим о навыках ведения боя против реального оппонента за все три расы: терранов, протоссов и зергов, куда ж без них. Фундаментальные отличия. Сразу давайте замолвим пару слов об особенностях, которые отличают игру против AI и игру против реального игрока. Во-первых, AI, даже на максимальной сложности действует всегда одинаково, просто делая всё быстрее, а сам игрок поставлен не в самую выгодную ситуацию. Компьютер никогда не нападёт большими силами в самом дебюте игры. Имея совесть, он всё-таки даст вам немного времени на освоение, а потом начнёт нападать на вас небольшими группками. И чем выше сложность, тем эти группы будут больше, особенно эти заметно, когда AI играет за зергов. Ну, а опытный игрок может варьировать свои действия, как ему заблагорассудится, благо, возможности игры ему позволяют это делать. В процессе наблюдения за записями сетевых поединков в StarCraft 2 между профессиональными игроками мирового класса, автор статьи попытается вывести несколько правил, касаемо того, что нужно делать, и того, чего делать ни в коем случае нельзя, играя за каждую из трёх рас. Терраны: морпехи решают.
Терраны – некая золотая середина между зергами, которые берут количеством, и протоссами, которые берут качеством. Основа любого боя, в том числе и за эту расу – создание оборонительных редутов, но перед тем, как строить бункера, нужно заложить максимальный импульс развития в экономику базы. Первое, что приходит в голову – понастроить КСМов в оптимальном количестве для сбора газа-веспена и минералов. Однако пока вы будете отстраивать КСМы, к вам быстро пожалует противник. Особенно оперативно это смогут сделать зерги, которые очень легки на подъём и размножаются в разы быстрее кроликов. Протоссы, кстати, также развиваются быстрее терранов, так что тут людскому космодесанту придётся не очень сладко, особенно, если играть против опытного игрока, который не ставит перед собой цель по максимуму насладиться процессом, а как можно быстрее нанести вам сокрушительное поражение. Следующие правила одинаковы для всех трёх рас: КСМов строим в количестве 9-10. Сначала кидаем на добычу газа одного, а потом добавляем двух, а ещё позже осваиваем вторую точку сбора газа-веспена. Остальных отправляем на минералы. Вначале ничего не строим. Как только система заработала, строим одного КСМа и отправляем его первым делом на строительство одного хранилища. Газ сейчас не нужен в больших количествах, ибо излишние технологическое развитие – непозволительная роскошь при сетевой баталии. Командный центр улучаем в сторону повышения производительности. Как только возможность дадут, нужно призывать МУЛов и кидать их на добычу минералов. Вторым, после хранилища, строим казармы и инженерный комплекс. В комплексе изучаем ракетную турель и радарную вышку. В казармах начинаем строить пехотинцев. На 5-7 пехотинцев можно делать одного огнемётчика. Огнемёты, хоть и сильны в ближнем бою, но требуют газа-веспена, кроме того, огнемётчики не могут поражать воздушные цели, которых, как у зергов, так и протоссов в избытке. Завод можно строить лишь после того, как количество пехотинцев перевалило за 30. Особенность игры за терранов в том, что именно стандартные морпехи-автоматчики решают всё, а не навороченные Торы. В качестве оборонительных мер, можно построить 3-4 танка, обязательно модернизировав закрепляющими «распорками» для стрельбы в режиме осады. Теперь пришла очередь бункеров. Бункера не нужно строить в самом начале игры, а чуток разогнавшись, иначе на них уйдут все ресурсы,. На каждом из входов, их, как правило, не более двух, нужно ставить по 4-5 бункеров, 1 радарную вышку и 3-4 ракетные турели. В инженерном центре обязательно нужно изучить развитие бункеров, увеличив их вместимость и прочность. Главное – оборона. Если мы успели грамотно занять оборону, то хитрый противник не застанет нас врасплох. По крайней мере, именно так действовали профессиональные игроки, на выложенных в Youtube записях боёв.
Теперь атака. Если кто-то думает, что для хорошей атаки нужна мощная техника в виде торов и крейсеров, то он ошибается. Главная мощь терранов – морпехи. Пропорции таковы: 80% морпехов и 20% мародёров/огнемётчиков. Всю эту ватагу поддерживать летающими санитарами медвэками обязательно, иначе, без лечения, армия долго не протянет. В качестве летающей техники можно ограничиться баншами, которые отлично уничтожают наземные цели, а морпехи отлично стреляют и по наземным и по воздушным. В итоге, подкопив сил, можно обрушиться такой армадой морпехов, которой мало никому не покажется. При атаке на протоссов сразу нужно уничтожать их фотонные пушки вместе с живой силой в лице наиболее опасных колоссов и авианосцев. По поводу зергов можно сказать, что отдельно опасных среди них мало. Разве, что оборонительные ползучие плёточники сильно мешают, поэтому их бьём сразу. Протоссы: всё во имя технологий. Протоссы – технологичная раса, берущая качеством исполнения. Никаких толп. Главная ударная сила – авианосцы и колоссы. Самый крутой материнский корабль, хотя и силён, но до его создания в режиме активного сетевого боя, скорее всего не дойдёт. Однако по порядку. Алгоритм развития тот же. Протоссам легче развиваться, так как здания строятся сами. Расставляем по периметру пилоны и размещаем на возможных подступах фотонные пушки. Экономику строим по стандартному типу, описанному в разделе с терранами. В идеале отправлять по три рабочих на каждую из точек добычи газа и 10-15 рабочих на залежи минералов. В случае если оные исчерпаются, то нужно искать ближайшие залежи отстраивать там штаб и передислоцировать рабочих, оставив 1-2 на основной базе для ремонта зданий. То же самое касается и терранов. Здания нужно постоянно ремонтировать, особенно бункера. Так вот, строим оружейную, строим врата, затем строим кибернетическое ядро и звёздные врата с заводом робототехники. Никакие сумеречные советы, маяки флотилии и прочие высокие технологии нас не интересуют. Их можно оставить на PvE бой. В процессе создания армии сначала делаем ставку на зилотов и сталкеров. Но не нужно излишне усердствовать, поскольку ресурсы ещё пригодятся, а от зилотов пользы немного. Основной упор делаем на колоссов (боевых треножников, как у Г. Уэллса) и на авианосцы, ещё называемые дирижаблями и батонами. Колоссы будут испепелять всех на расстоянии, а авианосцы устроят такую жару на позициях врага, что будет тесно всем. Главное – развить у них максимально допустимое количество атакующих мух-дронов. При этом не забываем отстраивать их по новому, так, как дроны гибнут в боях. Потерпев немного, хорошо обнеся собственную базу фотонными пушками и создав с десяток колоссов и с десяток авианосцев, можно идти в бой. Только атаковать нужно не самую гущу врага, а его окраины, выманивая технику и живую силу противника на себя. Протоссы, по скромному мнению автора, – самая сильная раса. Чтобы проиграть, играя за оную – нужно постараться.
Зерги: зерг-раш – основа победы. Зерги – они в Африке – зерги. Ужасные, склизкие, дикие твари, берущие врага количеством. Они немного схожи с терранами, которым также не нужно развивать технологию, поскольку для победы достаточно закидать врага мясом зерглингов и королев роя. Зерги считаются наименее сильной расой, но те же профессиональные игроки, специализирующиеся на зергах, играют на чемпионатах так, что никакие протоссы не могут с ними тягаться. Зерги размножаются личинками. Из них можно делать что угодно. Наша первостепенная задача – увеличить любой ценой производство этих самых личинок, а от личинок добиваться максимального созревания в боевую единицу, в частности, в зерглингов. Сначала заботимся об обороне. Строим омут рождения и эволюционную камеру. Камера даёт возможность производить ползучих плёточников – единственную, более или менее полезную оборонительную единицу. Радиус поражения плёточников не очень высок, зато они могут выкапываться и менять позиции, что очень полезно, если нужно перенести базу в другое место. Тратиться на ультралисков нет смысла. С земли нужно атаковать гидралисками и зерглингами, разбавив их количество камикадзе-гиблингами, при желании. Из летающих юнитов крайне полезны муталиски, они отлично уничтожают наземные объекты, особенно те, которые не могут отстреливаться по воздушным целям. Тактика игры за зергов несколько отличается. Из того, что видел автор, предпочтительней постоянно нападать небольшими отрядами, поскольку зерги, в силу своего быстрого развития, могут очень быстро восполнить боевые потери, за короткие сроки, достигнув максимума популяции. Минус зергов в том, что при их максимуме, они всё равно проиграют ? терранов или даже ? протоссов. Если нападать, конечно же, поскольку обороняться всегда проще.
Итог. Нападать на врага в первые 10 минут можно только в том, случае если вы очень уверены в своих силах. Если не уверены, то играем от обороны, вытягивая соки из противника. Тут во главу угла станет борьба за ресурсы: кто экономнее будет их использовать, и кто проявит больше смекалки по завоеванию и отстаиванию завоёванного, тот и победит. Протоссы сильны, но им нужны пилоны, чтобы расстраиваться, да и их боевые единицы не дешёвы. Терраны послабее, но у них есть отличная пехота и они могут отстраиваться где захотят, поэтому быстрее могут оккупировать соседние ресурсные объекты. Зерги объективно послабее, но если им дать немного развиться, то их толпы сметут любого противника. Зерги также строятся только на собственно заражённой территории, поэтому не могут похвастаться быстрым умением захватывать ничейные ресурсы. А в остальном, ребята из Blizzard отлично поработали над балансом, поэтому, по большому счёту все три расы равны между собой и побеждает та, которой управляют грамотней.
Как нейросеть победила людей в StarCraft II
После победы искусственного интеллекта (ИИ) над человеком в китайской игре го, что считалась невозможным, добившаяся этого успеха британская DeepMind занялась компьютерной игрой StarCraft II.
StarCraft II относится к классу «стратегия реального времени» и считается одной из самых сложных. Её история насчитывает более 20 лет, в течение которых StarCraft стала видом профессионального спорта – регулярно проводятся турниры с серьёзными денежными призами, победители этих турниров много тренируются, добиваясь мастерства.
По сравнению с настольными играми (шахматами, го) сложные компьютерные игры реального времени обладают важной особенностью: события в них развиваются подобно тому, как это происходит в реальном постоянно изменяющемся мире. В этом смысле умение ИИ успешно играть в StarCraft имеет серьёзное прикладное значение.
Прежде чем участвовать в соревнованиях по StarCraft разработчики ИИ (точнее, нейросети AlphaStar) добились предварительного успеха в более простых компьютерных играх реального времени: производства американской компании Atari (Pong, Breakout, Space Invaders, Seaquest, Beam Rider), Mario, Quake III Arena Capture the Flag и Dota 2.
Сравнительная сложность примитивных компьютерных игр, го и StarCraft.
В соревнованиях по Dota 2 разыгрывается 40 миллионов долларов (самый большой в киберспорте приз), так что профессиональные игроки в эту игру могут только ею и заниматься.
Совершенствоваться приходится упорными тренировками, о сложности навыков свидетельствуют данные: чемпионы в StarCraft совершают сотни действий в минуту. Роботы могут совершать десятки тысяч действий в минуту, но это, как стало ясно на практике, не главное – действия должны быть не столько быстрыми, сколько верными.
Нейросеть настраивалась специально под каждую игру, но до AlphaStar ИИ всё еще не мог соперничать с профессиональными игроками даже при упрощённых условиях (на более простых картах виртуальной «местности»).
Игра из сборника Atari 2600 Games: Space Invaders («Космические захватчики»); Игра Mario; Игра Quake III Arena Capture the Flag; Игра Dota 2.
В отличие от прежних версий ИИ AlphaStar играет на полной версии игры StarCraft II, без каких либо упрощений или ограничений.
Игра StarCraft II.
По правилам игры участник должен выбрать одну из трёх различных инопланетных рас – зергов (нехорошие твари; насекомые с коллективным разумом, тоже своего рода «нейросеть»), протоссов («хорошие» инопланетяне) или терранов (гуманоиды). Все они имеют отличительные характеристики и способности (профессиональные игроки, как правило, играют за одну расу). Каждый игрок начинает с определённым количеством рабочих единиц, которые собирают исходные ресурсы мира игры, чтобы превратить их в сооружения, технологии и др. сущности, обеспечивающие успех. Чтобы выиграть, игрок должен тщательно сбалансировать управление своей «экономикой» и управление игровыми единицами, «юнитами». Необходимо выстроить краткосрочные и долгосрочные цели, уметь реагировать на неожиданные ситуации.
В StarCraft II, как и в детской игре «камень, ножницы, бумага», нет лучшей стратегии. Поэтому ИИ должен постоянно исследовать и расширять границы «знаний».
В отличие от шахмат или го, где игроки видят всё, в StarCraft II важная информация скрыта от игрока (находится в неразведанной части мира игры) и может быть обнаружена лишь юнитом-«разведчиком».
Как и в реальном мире, причинно-следственные связи в игре не проявляются мгновенно. Поединок может продолжаться долго, до одного часа, и действия, эффективные в начале игры, окажутся неэффективными в итоге.
В отличие от традиционной настольной игры, где игроки ходят по очереди, в StarCraft игроки должны постоянно выполнять действия в реальном времени. Сотни различных объектов нуждаются в управлении одновременно, что приводит ко множеству вариантов игры, не поддающихся, в отличие от шахмат, грубой вычислительной силе.
Для обучения AlphaStar была создана масштабируемая распределённая программа, которая поддерживает множество т.н. агентов, обучающихся во многих тысячах параллельно существующих экземпляров игры StarCraft II. Программа работает на вычислительной инфраструктуре, построенной на тензорных процессорах TPUs Google v.3.
Её производительность оценена в 420 терафлопс (операций в секунду), это примерно равно производительности суперкомпьютера IBM Blue Gene в 2006 году.
Обучение продолжалось 14 дней. За это время каждый агент провёл за игрой около 200 лет в пересчёте на реальное время игры.
Сначала нейронная сеть обучалась, изучая игры лучших киберспортсменов. AlphaStar узнала правила игры, научилась воспроизводить и комбинировать распространённые тактики. По аналогии с шахматами это был разбор партий, ранее сыгранных гроссмейстерами.
Затем была сформирована «лига AlphaStar». Для этого агентов нейросети (вначале это были копии одного и того же ИИ) заставили играть друг с другом. Получая собственный опыт, агенты стали развиваться уже по-разному. Это было соревнование, похожее на обычное – но с целью выявить победителя не среди людей, а среди по-разному обученных нейросетей.
Затем среди агентов начался искусственный отбор: выявлялись носители лучших частных навыков, затем эти навыки культивировались, передавались другим, более совершенным экземплярам нейросети. К чему это привело, видно на следующем графике: нейросеть по сложности навыков игры, которыми обладала, превзошла людей.
Прогресс AlphaStar.
Только после этого робот выступил против киберспортсменов-профессионалов. Самостоятельная подготовка (обучение) перед первым турниром заняла две недели.
В киберспорте чаще всего турнир проводится как серия из пяти игр один на один (в StarCraft есть также возможность играть командами). На турнире нейросеть играла за расу протоссов. Киберспортсмены тоже играли за протоссов.
Игра 1. AlphaStar пренебрегает защитой. По ходу игры допускает незначительные ошибки, которые исправляет за счёт более точного тактического контроля ситуации. Счет 1:0.
Игра 2. AlphaStar вновь пренебрегает защитой. Упор в игре ИИ делает на получение преимущества в экономике. По ходу игры военное преимущество было у человека, однако ИИ не дал воспользоваться им за счёт лучшего контроля боевых единиц на поле боя и уклонения от решающего сражения до того, как сократил отставание в боевых единицах. Счет 2:0.
Игра 3. ИИ постоянно нападает небольшими отрядами на базу игрока и постепенно получает преимущество в игре. Все попытки киберспортсмена атаковать безуспешны, ИИ постоянно перехватывает инициативу. Счет 3:0. Турнир был выигран роботом по итогам пяти поединков, но продолжился до установления окончательного счёта.
Игра 4. Первые атаки ИИ киберспортсмен успешно отбивает. AlphaStar небольшими силами разобщает оборону игрока. Сконцентрировавшись на обороне, тот не нападает сам и проигрывает экономическую гонку. Счет 4:0.
Игра 5. По ощущениям игрока, AlphaStar плохо проводит разведку в районе своей базы и не готов к диверсиям в собственном тылу. Вунш использует эту стратегию, но внезапно обнаруживает, что ИИ действует точно так же, но успешнее и агрессивнее. Счет 5:0.
«Я был удивлен силой игры соперника», – сказал Вунш. – «AlphaStar брал хорошо известные стратегии и переворачивал их с ног на голову. Он продемонстрировал такие стратегии, с которыми я не был знаком».
После этого AlphaStar самостоятельно обучался ещё одну неделю.
19 декабря 2018 года состоялась игра с Гжегожем Коминцем (Grzegorz Komincz, 25 лет, Польша, специализация – протоссы), профессионал, один из 10 лучших игроков в мире.
Игра 1. AlphaStar пренебрегает защитой. Игрок использует это для получения преимущества. Проигрывая по общему показателю игры, AlphaStar прорывается на базу игрока и не оставляет ему шансов. Счёт 1:0.
Игра 2. AlphaStar одновременно предпринимает простые, но многочисленные действия, которые Коминц мог бы парировать, но только не одновременно – ему не хватает внимания, и инициатива упущена. Киберспортсмен пытается контратаковать, однако проигрывает из-за недостаточно эффективного управлении своими юнитами на поле боя. Счет 2:0.
Игра 3. AlphaStar впервые пытается закрыть вход на свою базу (стандартный оборонительный приём). Коминц применяет схожую тактику. Но после обмена ударами при равных возможностях побеждает ИИ. Счет 3:0.
Игра 4. Соперники включились в экономическую гонку, копят силы, не нападают. ИИ следит за тем, какие боевые единицы производит Коминц, и в ответ производит более дешёвых убийц этих боевых единиц. После серии столкновений Коминц имеет преимущество. ИИ, управляя тремя небольшими отрядами, разобщает более мощный отряд Коминца и заставляет его раз за разом ошибаться. Это новая тактика, которая ранее не была известна. Коминц теряет преимущество и проигрывает. Счет 4:0.
Игра 5. AlphaStar неоднократно пытается провести хитрую операцию по захвату рудника на базе противника, но Коминц чудом успевает парировать угрозу, потом идёт в разведку, но определить, какую стратегию выбрал ИИ, не может. Тем временем AlphaStar неожиданно создаёт военную базу при входе на его базу и не даёт игроку развиваться, постоянно увеличивая свои возможности. Счет 5:0.
По итогам серии Коминц заявил: «Я увидел игру в новом свете».
Слева направо: игрок Dario «TLO» Wünsch (Фото (с) Turtle Entertainment); игрок Grzegorz «MaNa» Komincz (Фото (с) R1CH for Team Liquid).
После турнира разработчики AlphaStar проанализировали игру ИИ и установили, что в играх против киберспортсменов AlphaStar в минуту совершал около 280 действий, что значительно ниже, чем среднее количество действий у профессиональных игроков (390 у Веньша и 678 у Коминца). Пиковые значения количества действий в единицу времени у ИИ также существенно отстают от показателей киберспортсменов. Но действия AlphaStar были более точными.
Разработчики проанализировали, как играл AlphaStar. ИИ постоянно контролировал всю разведанную территорию через доступный ему интерфейс с игрой, не перемещая камеру, а людям приходилось перемещаться по карте, акцентируя свое внимание в каждый момент времени только на каком-либо одном участке. Это давало AlphaStar преимущество.
Как видел игру ИИ через доступный ему интерфейс. Как видел игру человек.
Чтобы уравнять начальные условия, AlphaStar перевели на видеоинтерфейс и позволили переключать внимание около 30 раз в минуту (примерно столько раз переключают внимание Вунш и Коминц). Как и игроки-люди, эта версия AlphaStar выбирает, когда и куда перемещать камеру, восприятие игры ограничено информацией на экране.
Сравнение интерфейсов для обучения.
Версия AlphaStar, использующая видеоинтерфейс, за семь дней обучения научилась играть почти так же хорошо, как и с предыдущим интерфейсом (более 7000 условных единиц сложности). Однако в пробном матче, который не шёл в зачёт турнира, Коминц победил AlphaStar, использующий видеоинтерфейс, поймав ИИ на неизвестной тому стратегии.
Гол престижа. Общий счёт – 10:1 в пользу машины.
Источник: корпоративный блог DeepMind, см., в частности, здесь и здесь.
Читайте также: