Luma Labs представила свою новую видеомодель Ray 3, способную генерировать видео в 1080p 16-bit HDR длительностью 5 или 9 секунд.

➖ Демо-примеры (черипики) выглядят неплохо, хотя заметно, что детализация не на высоте, особенно на дальних планах. Лица людей вдалеке размыты. Маркетинговый отдел, как обычно, склонен преувеличивать возможности модели (на странице релиза заявления о качестве и ризонинге довольно смелые).

➖ Имеется Draft Mode для быстрой генерации, но только 5 секунд в ужасном качестве (640 × 352). Бесплатная генерация доступна только в этом режиме.

Попробовал сгенерировать видео с премиум-подпиской, и результат оказался далёк от рекламных примеров.

Поскольку через интерфейс мы не напрямую взаимодействуем с моделью, о её реальных возможностях можно судить лишь косвенно. Вот некоторые наблюдения:

1) Сначала промпт переписывается с помощью LLM

LLM (Large Language Model) - большая языковая модель, используемая для обработки и генерации текста.

, добавляя детали.
2) Интересно, что при выборе генерации на 9 секунд, сначала создается грубая версия на 5 секунд, а затем запускается расширение ещё на 5 секунд с перехлёстом в 1 секунду с предыдущим отрезком. То есть, похоже, сама модель может выдавать только 5-секундные отрезки.

Генерация 9-секундного видео в 1080p заняла у меня 5-6 минут. Подписка за $10 в месяц позволяет сгенерировать примерно 6 таких видео, после чего потребуется доплата.

Примеры можно посмотреть здесь: https://lumalabs.ai/ray

А вы уже успели протестировать? Что думаете?