Как мы начали учить LLM-модели в несколько раз быстрее, просто поменяв роли в процессе

Передача знаний между отделами

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Вы тоже считаете, что использование LLM-моделей — дорогое удовольствие и требует штат выделенных специалистов? Галина расскажет, в какой части вы ошибаетесь и как можно оптимизировать затраты.

Целевая аудитория

Продакты, аналитики, разработка и DS.

Тезисы

Мы запускаем AI-ассистента для продавца в чатах на Авито, который отвечает на популярные вопросы покупателей за продавцов. Для ответа используются структурированные данные из объявления, а также поиск ответа в текстовом описании как раз через LLM.

Для каждой тематики, по которой обращается покупатель, нужно обучить LLM таким образом, чтобы ответы были релевантны и помогали принять покупателю решение о покупке. Пилотный запуск показал, что ответы по такой схеме действительно упрощают диалог и покупатели стали статзначимо больше покупать, поэтому решили перейти к масштабированию на большее количество кейсов.

Но был нюанс — первые модели мы учили квартал и нужно было кратно ускориться. Для этого мы отошли от первоначального процесса взаимодействия, в котором участвовал только продакт и LLM-инженер, выполняющий весь пайплайн обучения, к схеме, в которой продуктовая команда забрала на себя написание промптов и подготовку обучающего датасета.

В докладе я расскажу, как мы с нуля научились в команде готовить промпты и правильные датасеты и ускорили обучение моделей в несколько раз.

Product Unit Lead, Messenger&Bot automation, Avito.
Ex-Product Lead, VK. Запустила умного помощника «Марусю» в социальной сети ВКонтакте и почте Mail.ru.
7 лет в продукте и 5 в бизнес-анализе. Автор нескольких курсов по управлению продуктом, ментор для продактов.
Ведет канал про рост и развитие в больших IТ-компаниях https://t.me/poltora_producta

Видео