В поисках идеального кэпшонера для генерации промптов

В процессе экспериментов с различными инструментами я чётко осознал потребность в эффективном кэпшонере – инструменте, который способен точно описывать изображения для дальнейшей генерации текстовых промптов. Это ключевой элемент для работы с нейросетями, особенно когда требуется максимально точно передать суть визуального контента.

Проблемы с текущими решениями

Я уже пробовал несколько вариантов, но каждый из них имеет свои ограничения:

• Joycaption в Pinokio: У меня установлен Joycaption в связке с Pinokio, но его запуск как отдельного приложения оказался крайне неудобным. Кроме того, папка с моделями занимает колоссальные 34 Гб, что тоже не способствует гибкости.


• Joycaption в ComfyUI: Попытки использовать Joycaption напрямую в ComfyUI не увенчались успехом – он отказывается подгружать необходимые модели. А запустить Gguf в этой среде мне и вовсе не удалось.


• Florence: Модель Florence показала себя довольно быстрой, но, к сожалению, её способности в детальном описании оказались слабоватыми для моих задач.


• Pixtral (по API): Вчера я экспериментировал с Pixtral через API. Результаты были обнадеживающими, но там есть определённые лимиты использования, и нужно глубже вникать в детали его работы.

Вопрос к сообществу

Учитывая все эти сложности, мне было бы очень интересно узнать, чем пользуетесь вы для получения качественных промптов на основе изображений? И, что еще важнее, возможно, есть решения, которые также хорошо работают и для видео? Поделитесь своим опытом и рекомендациями!