Продолжаю делиться опытом запуска нейросетей локально. Поработал с видеокартами RTX 3060, 3090 и 5090, и вот мои наблюдения.
RTX 3060
На любых серьезных моделях работает очень медленно. Но отлично подходит для транскрибации аудио с использованием Whisper от OpenAI, справляясь с этой задачей крайне быстро. Также хорошо показывает себя в генерации аудиофайлов.
RTX 3090
На данный момент, это самое универсальное решение по соотношению цена/качество. 24 ГБ видеопамяти позволяют запускать почти любые модели до 30 млрд параметров (в Ollama с квантизацией). Скорость работы вполне приемлемая. На вторичном рынке RTX 3090 можно найти за 50-55 тысяч рублей, что делает ее отличным вариантом для энтузиастов нейросетей.
RTX 5090
RTX 5090, конечно, быстрее примерно в 2.5 раза, но и стоит в 5 раз дороже. Цены начинаются от 250 тысяч рублей. Она отлично подойдет как универсальное и быстрое решение для личного использования, если позволяют финансы.
Разница между 16 и 24 ГБ видеопамяти критична в контексте запускаемых моделей. Между 24 и 32 ГБ разница уже не так велика. Поэтому я бы выбрал RTX 5090 только при неограниченном бюджете.
Мой друг, моушн-дизайнер, приобрел RTX 5090 и утверждает, что для его задач она полностью оправдана, так как генерация происходит значительно быстрее, чем на RTX 3090.
Планы по видеокартам
В офисный сервер планируем добавить еще одну RTX 3090, чтобы одновременно запускать модели vision
В будущем, возможно, приобрету еще одну RTX 3090 для запуска ComfyUI на сервере. Но пока это требуется нечасто, поэтому предоставляю доступ к видеокарте на своем компьютере нашим локальным интеграциям. Доступ закрываю только во время игр.
RTX 3060
На любых серьезных моделях работает очень медленно. Но отлично подходит для транскрибации аудио с использованием Whisper от OpenAI, справляясь с этой задачей крайне быстро. Также хорошо показывает себя в генерации аудиофайлов.
RTX 3090
На данный момент, это самое универсальное решение по соотношению цена/качество. 24 ГБ видеопамяти позволяют запускать почти любые модели до 30 млрд параметров (в Ollama с квантизацией). Скорость работы вполне приемлемая. На вторичном рынке RTX 3090 можно найти за 50-55 тысяч рублей, что делает ее отличным вариантом для энтузиастов нейросетей.
RTX 5090
RTX 5090, конечно, быстрее примерно в 2.5 раза, но и стоит в 5 раз дороже. Цены начинаются от 250 тысяч рублей. Она отлично подойдет как универсальное и быстрое решение для личного использования, если позволяют финансы.
Разница между 16 и 24 ГБ видеопамяти критична в контексте запускаемых моделей. Между 24 и 32 ГБ разница уже не так велика. Поэтому я бы выбрал RTX 5090 только при неограниченном бюджете.
Мой друг, моушн-дизайнер, приобрел RTX 5090 и утверждает, что для его задач она полностью оправдана, так как генерация происходит значительно быстрее, чем на RTX 3090.
Планы по видеокартам
В офисный сервер планируем добавить еще одну RTX 3090, чтобы одновременно запускать модели vision
gemma3:27b и gpt-oss в vllm. Это покроет все наши кейсы использования LLM в интеграциях.В будущем, возможно, приобрету еще одну RTX 3090 для запуска ComfyUI на сервере. Но пока это требуется нечасто, поэтому предоставляю доступ к видеокарте на своем компьютере нашим локальным интеграциям. Доступ закрываю только во время игр.