Канадцы придумали нейросеть, которая ищет баги в играх по текстовому описанию

Канадские исследователи разработали нейросеть CLIP, которая занимается поиском багов в видеоиграх по текстовому описанию. 

Подпишись на наш телеграм про игры и кино. Все новости и инсайды там!

Алгоритм ищет в геймплейных роликах кадры, которые можно описать простыми словами, например, «машина, летающая в воздухе». Алгоритм разбивает все видео на отдельные кадры, каждый из них кодируется в эмбеддинг (компактное векторное представление изображение или текста), который потом сравнивается с отдельным эмбеддингом текстового описания бага.

Если векторы эмбеддингов совпадают, CLIP понимает, что на кадре, скорее всего, есть то, что пользователь описал в текстовом запросе. После анализа нейросеть показывает 2 результата: максимальную степень соответствия кадра запросу и количество соответствующих запросу кадров. Указывается, что первая метрика более чувствительна и чаще находит моменты с багами.

Для поиска багов исследователи записали 44 простых фразы, описывающие возможные баги, например, «Человек, застрявший в дереве». Тесты нейросети показали результат в 66,35% средней доли найденных багов относительно всех багов в выборке. Наиболее точной нейросеть была в GTA 5, Just Cause 3 и Far Cry 5.

Что я жду от нового «Ведьмака»: апгрейд Плотвы, хардкорную боевку и меньше вопросиков на карте

Все про Elden Ring в одном месте: гайды, мемы, моды и секреты