Krea представила впечатляющую технологию — генерацию видео в реальном времени, работающую с частотой 12+ кадров в секунду. Это открывает новые возможности: теперь вы можете вводить текст, рисовать на холсте, стримить видео с веб-камеры или экрана и мгновенно наблюдать, как сцена оживает и трансформируется.

По сути, это real-time img2img, но с ключевым отличием: система обеспечивает временную согласованность и консистентность между кадрами. Krea, похоже, учитывает предыдущие генерации, чтобы поддерживать плавность и логичность происходящего на видео. Это создает эффект, который хоть и не является чистым video2video, но ощущается как его «рестайлинг» с невероятной свободой действий. Главная особенность, безусловно, — это реальное время работы.

Под капотом этой инновации лежит подход, основанный на современных идеях «модели мира». Такие системы обучаются понимать, как развиваются события и как объекты меняются во времени, что критически важно для создания когерентного видеоряда.

Хотя практическая польза в повседневном использовании еще предстоит оценить, для концептуальных проектов, музыкальных клипов или интерактивных инсталляций эта технология кажется чрезвычайно перспективной. Поиграться с ней будет очень интересно.

На данный момент доступ к Krea AI Real-time Video осуществляется по записи в вейтлист, но релиз, вероятно, не за горами.