На Data Fest 2025 команда Авито поделилась информацией о своей внутренней ML-разработке. Основу большинства продуктовых ИИ-решений составляет собственная языковая модель A-Vibe (до 7 млрд параметров), обученная на 700 млрд токенов.
Для A-Vibe был разработан специальный токенизатор под русский язык, который на 29% эффективнее стандартных решений. Это позволило вдвое ускорить работу модели. A-Vibe уже используется в production-среде и заняла первое место среди моделей до 7 миллиардов параметров в бенчмарке МЕРА.
Для поддержки пользователей был создан инструмент на базе LLM, который перефразирует ответы агентов, делая их более эмпатичными и человечными, а также автоматически суммирует обращения при передаче между сотрудниками. По словам агентов, 97% отметили повышение удобства работы.
Для обеспечения работы всех этих инструментов в Авито была построена собственная ML-платформа. Она включает в себя хранилище признаков для моделей, систему разметки с контролем качества и решение Aqueduct, которое интегрируется непосредственно в модель и позволяет экономить до 30% ресурсов на инференсе. Платформа позволяет запускать production-модели без необходимости программирования, используя no-code интерфейс.
Стажеры также активно вовлечены в решение реальных задач, включая обучение моделей с нуля и оптимизацию пайплайнов. Один из таких проектов позволил в 10 раз сократить расходы на проверку звонков.
Отдельный блок на фестивале был посвящен ML Cup от Авито. Участники решали задачи, связанные с рекомендациями и поиском дубликатов, которые используются в production-среде и обрабатывают 4 миллиарда событий в день. В течение двух месяцев было подано 6500 решений, а в конкурсе приняли участие почти 900 человек.
Для A-Vibe был разработан специальный токенизатор под русский язык, который на 29% эффективнее стандартных решений. Это позволило вдвое ускорить работу модели. A-Vibe уже используется в production-среде и заняла первое место среди моделей до 7 миллиардов параметров в бенчмарке МЕРА.
Для поддержки пользователей был создан инструмент на базе LLM, который перефразирует ответы агентов, делая их более эмпатичными и человечными, а также автоматически суммирует обращения при передаче между сотрудниками. По словам агентов, 97% отметили повышение удобства работы.
Для обеспечения работы всех этих инструментов в Авито была построена собственная ML-платформа. Она включает в себя хранилище признаков для моделей, систему разметки с контролем качества и решение Aqueduct, которое интегрируется непосредственно в модель и позволяет экономить до 30% ресурсов на инференсе. Платформа позволяет запускать production-модели без необходимости программирования, используя no-code интерфейс.
Стажеры также активно вовлечены в решение реальных задач, включая обучение моделей с нуля и оптимизацию пайплайнов. Один из таких проектов позволил в 10 раз сократить расходы на проверку звонков.
Отдельный блок на фестивале был посвящен ML Cup от Авито. Участники решали задачи, связанные с рекомендациями и поиском дубликатов, которые используются в production-среде и обрабатывают 4 миллиарда событий в день. В течение двух месяцев было подано 6500 решений, а в конкурсе приняли участие почти 900 человек.
