Видеокарта для своих нейронок
Продолжаю делиться наблюдениями про запуск нейронок у себя локально. Поработал с RTX 3060, 3090, 5090.
3060
Оч медленно и больно на любых нормальных моделях. Но она у нас отлично трудится на транскрибаторе (whisper от openai) и справляется с обработкой аудио крайне быстро.
Также хорошо показывает себя в генерации аудиофайлов.
3090
Пока самое универсальное решение в соотношении "цена/качество" — RTX 3090. 24 гигабайта видеопамяти позволяют вмещать почти любую модель до 30 млрд параметров (в ollama с штатной квантизацией). Скорость работы всех этих моделей более чем приемлимая.
На вторичке 3090 можно найти за 50-55к и отлично конвертировать потраченные деньги в нейросетевые токены.
5090
Есть, конечно, RTX5090, скорость которой выше примерно в 2.5 раза, стоит карта в 5 раз дороже. Цены на неё начинаются от 250 тыс рублей, она отлично подойдет как "быстрый универсальный солдат" для личного пользования.
Между 16 и 24 гб видепамяти пропасть в контексте возможных моделей для запуска. Между 24 и 32гб пропасть уже не такая огромная. Потому себе 5090 я бы брал только если денег так много, что не знаешь куда их тратить.
Мой друг моушн-дизайнер взял себе именно такую и говорит, что для него она оправдана — генерация происходит заметно быстрее 3090.
Планы по видеокартам
В офисный сервер планируем еще одну 3090 купить, чтобы можно было держать одновременно в vllm модели: vision
А со временем я бы купил еще одну 3090 для серверного запуска ComfyUI, но пока это происходит так редко, то просто дал нашим локальным интеграциям доступ к видеокарте на моем компе. Закрываю этот доступ только когда играю :)
Продолжаю делиться наблюдениями про запуск нейронок у себя локально. Поработал с RTX 3060, 3090, 5090.
3060
Оч медленно и больно на любых нормальных моделях. Но она у нас отлично трудится на транскрибаторе (whisper от openai) и справляется с обработкой аудио крайне быстро.
Также хорошо показывает себя в генерации аудиофайлов.
3090
Пока самое универсальное решение в соотношении "цена/качество" — RTX 3090. 24 гигабайта видеопамяти позволяют вмещать почти любую модель до 30 млрд параметров (в ollama с штатной квантизацией). Скорость работы всех этих моделей более чем приемлимая.
На вторичке 3090 можно найти за 50-55к и отлично конвертировать потраченные деньги в нейросетевые токены.
5090
Есть, конечно, RTX5090, скорость которой выше примерно в 2.5 раза, стоит карта в 5 раз дороже. Цены на неё начинаются от 250 тыс рублей, она отлично подойдет как "быстрый универсальный солдат" для личного пользования.
Между 16 и 24 гб видепамяти пропасть в контексте возможных моделей для запуска. Между 24 и 32гб пропасть уже не такая огромная. Потому себе 5090 я бы брал только если денег так много, что не знаешь куда их тратить.
Мой друг моушн-дизайнер взял себе именно такую и говорит, что для него она оправдана — генерация происходит заметно быстрее 3090.
Планы по видеокартам
В офисный сервер планируем еще одну 3090 купить, чтобы можно было держать одновременно в vllm модели: vision
gemma3:27b и gpt-oss. Покроет 100% наших кейсов использования LLM в интеграциях.А со временем я бы купил еще одну 3090 для серверного запуска ComfyUI, но пока это происходит так редко, то просто дал нашим локальным интеграциям доступ к видеокарте на моем компе. Закрываю этот доступ только когда играю :)