Вышел полностью локальный ChatGPT на базе Llama.cpp, который наконец-то получил удобный веб-интерфейс, работающий прямо у вас дома! Разработчики Llama.cpp создали свой аналог Automatic1111 — интуитивно понятный WebUI, который по своей сути больше напоминает Qwen Chat или ChatGPT, чем интерфейсы для генерации изображений с их множеством параметров.
Чтобы начать работу, достаточно запустить свой локальный сервер. Затем введите в браузере адрес 127.0.0.1, и вы получите доступ к полноценному веб-интерфейсу. Он открывает двери к сотням тысяч открытых моделей GGUF — это практически все существующие нейронные сети в опенсорсе!
Возможности нового WebUI включают:
- Поддержку более 150 тысяч моделей в формате GGUF.
- Возможность загружать различные файлы: PDF, изображения и другие документы.
- Генерацию сложной математики, формул и кода, аналогично возможностям обычного ChatGPT.
- Запуск нескольких чатов параллельно, что удобно для многозадачности.
- Мгновенную работу даже на относительно слабых устройствах, таких как ноутбуки и даже смартфоны.
- 100% приватность и автономность — никаких подключений к интернету.
- Полное отсутствие ограничений и цензуры.
- Абсолютно бесплатное использование!
Инструкции по установке и использованию можно найти здесь.