Google DeepMind показали новую модель — Genie 4. Она создаёт симуляции мира, вышедшие за пределы обычного видео: модель позволяет генерировать на ходу новые объекты, ландшафт и, что стало прорывом, даже звук. Внутри видео можно двигать камерой или буквально управлять пресонажами, как в видеоигре.
Данил Степанов рассказывает, что показал ИИ-гигант, как на это отреагировали рынки и заинтересованное сообщество, и почему все испугались раньше, чем стоит.
Genie 4
Позавчера компания Google представила новую модель Genie 4 — нейросеть способна генерировать видео в реальном времени, то есть для дальнейшей генерации даже не обязательно покидать модель, можно продолжать её прям внутри начатой генерации. Такая возможность была уже в предыдущей Genie 3, но четвёртая версия способна также в реальном времени генерировать музыку, диалоги, а ещё получила возможность управления камерой внутри видео.
Как это работает глазами пользователя? Картинкой или текстом задаётся стартовая генерация, внутри видео можно ходить и управлять камерами с помощью клавиш (буквально так же, как вы делаете это в видеоиграх), при этом вам в любой момент доступно внесение правок: добавить новый объект или персонажа, сменить погоду, удалить что-то из кадра и увидеть результат моментально, без перезапуска симуляции, а ко всему подтягивается звук.
На данный момент модель находится на стадии тестирования и пока состоялся только анонс, а не официальный релиз. Её обещают выпустить в ближайшие недели для подписчиков Ultra (тариф за $200). Тем не менее, посмотреть на впечатляющую работу модели можно уже сейчас, а заодно задуматься о том, что произойдёт после её релиза.
Видео: Google DeepMind
На это и дальнейшие видео можно кликнуть, чтобы включить или выключить звук
Обещания DeepMind
DeepMind — дочерняя компания Google, которая занимается развитием искусственного интеллекта — заявляет о новых стандартах реализма и интерактивности в симуляциях. Физика мира и действия людей действительно выглядят впечатляюще, при этом работают в реальном времени. Всё это ощущается как большой шаг вперёд относительно прежних генераций.
Компания называет появление симуляции мира в реальном времени важным шагом на пути к AGI, поскольку это позволит лучше тренировать роботов и ИИ-агентов прямо внутри искусственных миров. Это безопасная среда для обучения с бесконечной вариативностью, поскольку в сгенерированных видео есть и интерактивность, и возможность задать какое угодно окружение, а главное для обучения ИИ — это данные.
Аналогичное улучшение благодаря Genie 4 может получить геймдев индустрия, поскольку сможет генерировать части миров прям внутри игры, или проходить путь от идеи до прототипа за считанные минуты, а не за месяцы, как это происходит сейчас. Убедить инвесторов вложить деньги при готовом прототипе намного проще. Всё то же самое верно и для кино, поскольку начинающие авторы смогут создавать видео-синопсисы или трейлеры для продюссеров до съёмок, и для научного сообщества, которое сможет, например, генерировать окружающий мир из фотографий начала ХХ века.
Видео: Google DeepMind
Критика
DeepMind обещает очень много, а что на деле? Genie 4, как понятно из названия, стала уже четвёртой моделью. Предыдущую показали в августе прошлого года, и тогда рынки отреагировали мгновенно — в день анонса акции игровых компаний вроде Take-Two (видимо, инвесторов напугала схожесть с GTA 5) или Roblox потеряли от 8 до 13% стоимости. В этот раз ничего подобного не произошло: сдержанная реакция связана с тем, что при релизе пользователи получили сильно меньше, чем ожидали. С другой стороны, цель новой модели в меньшей степени связана с потребительским рынком и больше направлена на робототехнику и дальнейшее развитие ИИ.
А вот сам Google прибавил 2%, что на его масштабах очень значительно. Пока критика по большей части связана с технической составляющей и отсутствием доступа к ней. Всё, что известно о Genie 4, известно лишь из утверждений самой DeepMind. Отсутствуют бенчмарки, информация об API и его стоимости, нет информации даже о разрешении, частоте кадров или числе параметров модели.
На HackerNews активно обсуждали пресс-релиз с интересными замечаниями. Есть забавные комментарии, например: «Gotta love the kraken destroying the city in the background of the Hong Kong lovers motorcycle scene despite nothing in the prompt about monsters. Filmmakers are still safe». DeepMind действительно опубликовали видео с полными промптами, и в промпте к этому видео действительно нет ничего про разрушение города чудовищем на фоне. Вопросы про чёрный ящик, галлюцинации и неточность понимания запросов всё ещё остаются актуальными, как это было и с Genie 3.
Видео: Google DeepMind
Опасности
Иронично, что заявляя о тех же генерациях по фото прошлого столетия, DeepMind буквально воспроизводит то, о чём почти пять лет назад мир предупреждал Эрик Хорвиц. Ведущий научный сотрудник Microsoft в 2022 году говорил на конференции, что интерактивные фейки могут стать большой проблемой.
Со временем появятся композиционные дипфейки — это ситуация, когда сгенерированная информация (например, видео или аудиофайлы, что идеально подходит для Genie) вплетаются в цепочки реальных событий, заявлений, настоящих записей и так далее. В итоге подобный ряд почти невозможно очистить, поскольку фейком может оказаться даже не целая видеозапись, а малозаметная деталь на ней, которую не запомнили ни очевидцы, ни сами действующие лица, потому что её просто не было.
В итоге нечто сфабрикованное может оказаться убедительнее реальности, потому что будет подготовлено под восприятие. Если модель действительно будет генерировать по промпту что угодно и мир будет обладать реалистичной физикой, мы обязательно столкнёмся с подобным в политике или чёрном пиаре — это происходит уже сейчас, но пока методы отличить фейк от реальности ещё есть. Genie 4 достигла достаточно уровня, чтобы правдоподобность подвергалась сомнению только по содержанию, а не по визуальной составляющей.
Видео: Google DeepMind
Использование
Если вспомнить релизы других моделей, занимающихся генерацией видео, то схема всегда примерно одна: нам обещают технологический прорыв, активное использование в какой-нибудь киноиндустрии и удешевление производства. На деле мы получаем в лучшем случае вертикальные ИИ-дорамы, а в большинстве — выяснение отношений между клубникой и бананом. Вместе с качеством нейрослопа неизбежно повышается и его количество, а это значит, что после релиза моделей мир, вероятно, ждёт значительный всплеск ИИ-рекламы «с полным погружением». В индустриях модели действительно используют, но количественно это несравнимо с происходящим в слоп-сегменте.
Хотя прямых подтверждений этому пока нет, в материале TechCrunch по поводу Genie 4 сказано, что генерация мира возможна стабильно только на две минуты. Пугающе идеальный тайминг, чтобы завалить слопом TikTok, но недостаточно большой, чтобы найти использование в чём-то серьёзном, если не считать обучения роботов.
Поэтому с технической точки зрения Google, вероятно, действительно предлагают прорыв — у нас никогда не было симуляции мира со звуком и настолько потрясающей физикой, как показано на демонстрационных примерах Genie 4. Однако не ясно, готов ли к этому рынок, справится ли человечество с новой волной дипфейков, переживём ли мы качественный слоп и, главное, может ли это всё вообще окупиться в ближайшие годы, учитывая постоянное подорожание вычислительных мощностей.
