Stfw.RuСудя по всему, в список игр, первенство в которых за последнее время машины отобрали у людей, уже можно занести еще одну. Речь о культовом шутере Quake 3 Arena. Компания Google DeepMind объявила о создании искусственного интеллекта, способного играть в эту игру не просто как человек, а даже лучше человека. Сразу оговорим, что речь о режиме Capture The Flag (CTF) — захват флага, в котором для победы нужно захватить вражеский флаг и принести на свою «базу».
Как и в случае с другими схожими проектами создания ИИ для той или иной 3D-игры, главная сложность здесь заключается в том, чтобы обучить бота ориентироваться в огромном трехмерном пространстве, не имея точных топографических данных. Иными словами, уметь сориентироваться на местности без карты.
Специалисты DeepMind использовали метод обучения с подкреплением (reinforcement learning), который уже стал стандартом в отрасли. Аналогичным образом обучалась система AlphaGo и прочие алгоритмы, сумевшие обыграть человека в нескольких видеоиграх Atari. Основное этого метода от классического машинного обучения заключается в том, что ИИ обучается в процессе взаимодействия с окружающей средой методом проб и ошибок, а не на исторических данных.
В самом начале обучения бот не имеет ни малейшего представления о самой игре и что в ней нужно делать. Разобраться во всем ему предстоит в одиночку. Обычно одному боту в противники ставят другого, и они начинают учиться. Но DeepMind решила пойти более сложным путем и организовать групповые занятия для 30 ботов с целью достижения более высокого разнообразия стилей игры.
Сколько потребовалось сыграть игр, чтобы выйти на приемлемый уровень? Около 0,5 млн продолжительностью по 5 минут каждая. Путем несложных подсчетов можно понять, что обучение заняло 1736 дней чистого времени.
