Мы запускаем AI ассистента для продавца в чатах на Авито, который отвечает на популярные вопросы покупателей за продавцов. Для ответа используются структурированные данные из объявления, а также поиск ответа в текстовом описании как раз через LLM.

Для каждой тематики, по которой обращается покупатель, нужно обучить LLM таким образом, чтобы ответы были релевантны и помогали принять покупателю решение о покупке. Пилотный запуск показал, что ответы по такой схеме действительно упрощают диалог и покупатели стали статзначимо больше покупать, поэтому решили перейти к масштабированию на большее количество кейсов.

Но был нюанс - первые модели мы учили квартал и нужно было кратно ускориться. Для этого мы отошли от первоначального процесса взаимодействия, в котором участвовал только продакт и LLM инженер, выполняющий весь пайплайн обучения, к схеме, в которой продуктовая команда забрала на себя написание промптов и подготовку обучающего датасета.

В докладе я расскажу, как мы с нуля научились в команде готовить промты и правильные датасеты и ускорили обучение моделей в несколько раз.