Решила проверить насколько хорошо Runway References и Midjourney Omni-References для переноса персонажа на изображение, справятся не с одной-двумя случайными сценами, а с целой последовательностью разноплановых сцен в рамках одного сюжета.

Для эксперимента взяла персонажа и сгенерировать несколько изображений, которые пригодились бы, если бы я, например, хотела собрать ролик о дороге этой девушки на работу и немного о самой работе. Ничего сложного, но это должно было помочь выявить нюансы.

Runway мне понравился больше. Он предсказуемее. Никогда бы не подумала, что скажу такое про Runway, но здесь у них UX реально лучше: можно задавать названия для референсов, ссылаться на них, подгружать сразу несколько. Плюс Runway куда лучше следует запросу.

Midjourney же вечно выдает фронтальный ракурс, даже если в описании указано «вид сзади» или «вид сбоку». Контролировать его получалось только если загрузить пример нужной композиции и отметить его как «image prompt». Но все равно сложно получить сложную позу и ракурс. Можно выбрать только один omni reference.

Еще один плюс Runway заключается в том, что если в запросе явно не менять одежду, персонаж в основном остается в оригинальном. Midjourney же постоянно переодевает героя, если не описать детально, во что он должен быть одет.

Из минусов Runway: гораздо больше мелких косяков, кривые руки и пальцы, лица на заднем плане и т. д. Но, кажется, это сейчас просто поправить редактированием.

У Midjourney вроде бы детали более правильные, и вообще их больше. Но что-то как случилось с картинкой, и все кадры, на мой вкус, какие-то довольно пластиковые.

Ну и что в первом, что во втором случае, часто 1–2 из 4 сгенерированных изображений обычно будут совсем непригодными.

P.S. выложу все варианты в комментариях

@wealldesigners