Machine Learning с человеческим лицом. Кейс службы поддержки «ВКонтакте»

Создатели ML-моделей рассказали, почему не доверяют своих пользователей ботам.

Руководитель службы поддержки «ВКонтакте» Анастасия Фёдорова и продакт-менеджер AI Research Иван Самсонов выступили на конференции по Machine Learning, прошедшей в Selectel. В тексте — про первые попытки автоматизировать службу поддержки и целый ансамбль ML-моделей, которые заменяют 30 сотрудников.


                    Machine Learning с человеческим лицом. Кейс службы поддержки «ВКонтакте»           0

У любой службы поддержки есть три основные точки контроля качества работы, рассказывает Иван:

  1. Время от первого ответа до решения проблемы. UX-исследования показывают, что качество ответа не окупает долгого ожидания.
  2. Содержательные и доброжелательные ответы.
  3. Время до первого ответа пользователю. Всем знакомо чувство раздражения, когда у вас какая-то проблема, а чат поддержки молчит. Нужно реагировать быстро, но ботов с их «Спасибо за обращение» во «ВКонтакте» использовать не хотят.


                    Machine Learning с человеческим лицом. Кейс службы поддержки «ВКонтакте»           1 Иван Самсонов продакт-менеджер AI Research «ВКонтакте»

С момента внедрения ML-моделей пользователи «ВКонтакте» стали получать первые ответы в 5 раз быстрее. Чтобы понять, как команда пришла к таким результатам, вернемся в 2011 год.

Что было до внедрения ML

В компании сразу поняли, что ответам службы поддержки нужна автоматизация. Большая часть вопросов связана с массовыми «поломками» соцсети — в таком случае в поддержку валятся тысячи сообщений на одну тему. Ответить нужно каждому, а в службе на тот момент было 30-50 человек.

В первую очередь внедрили скрипт, который позволял отвечать на однотипные вопросы одновременно. Сотрудникам не нужно было писать каждому отдельно, сформированное один раз сообщение отправлялось сразу нескольким десяткам пользователей. Другой скрипт распределял вопросы по ключевым словам: они сразу попадали к специалисту, который мог быстро разрешить проблему.

В 2017 году, когда «ВКонтакте» начала работать с платежными сервисами, ввели приоритизацию вопросов. На сообщения, связанные с вымогательством денег, мошенничеством, взломом аккаунтов, нужно было реагировать в срочном порядке. Поэтому они получали высший приоритет и направлялись специалистам «скорой помощи».

Все это повысило скорость ответа поддержки, но настоящим бустом для соцсети стала коллаборация с командой прикладных исследований.

Рождение Долорес

Первую модель машинного обучения для поддержки «ВКонтакте» создали в 2019 году. На тот момент технологии искусственного интеллекта уже были достаточно развиты, а соцсеть накопила большое количество данных для обучения модели — и вопросы пользователей, и классные ответы агентов.

Модель генеративная, то есть она учится генерировать данные на существующем массиве данных. Назвали Долорес — в честь героини сериала «Мир дикого Запада», который был популярен в то время.


                    Machine Learning с человеческим лицом. Кейс службы поддержки «ВКонтакте»           2 Анастасия Фёдорова руководитель поддержки «ВКонтакте»

Как работает модель

Пользователь отправляет в поддержку запрос с описанием проблемы. Модель «смотрит», как раньше реагировали агенты, и генерирует несколько подходящих, по ее мнению, ответов. Это не какие-то предзагруженные шаблоны.

Допустим, модель сгенерировала три ответа, как на картинке ниже, и агент должен выбрать наиболее подходящий.


                    Machine Learning с человеческим лицом. Кейс службы поддержки «ВКонтакте»           3

Сотруднику поддержки не нужно руками вписывать ответ. Он просто выбирает корректный вариант и кликает «Использовать ответ».

Рядом есть кнопка «Передать». Ее агенты используют, если их компетенций не хватит, чтобы поддержать дальнейший разговор с пользователем. Юзер получает быстрый ответ, но модель переадресовывает переписку на «суперагентов», которые отвечают на сложные и специфические вопросы.

Бывают ситуации, когда сгенерированный ответ Долорес не подходит. Для этого есть две кнопки в интерфейсе: «Не подходит» и «Не подходит совсем». В первом случае модель правильно угадала направление мысли, но неправильно или неполно сформулировала. Агент может дописать или скорректировать ответ. «Не подходит совсем» дает понять, что ИИ сгенерировал какую-то дичь — сотрудник пишет ответ сам.


                    Machine Learning с человеческим лицом. Кейс службы поддержки «ВКонтакте»           4

Вот так по-разному можно написать слово «верификация».

«Но все это не безнадежные случаи. Да, люди задают вопросы в странных формулировках, но на них тоже находятся ответы. А значит, Долорес будет обучаться и в будущем поймет, что на самом деле хочет пользователь. Сейчас наша модель понимает: когда ее спрашивают, любит ли она “Группу крови”, имеют в виду песню, а не биологическую жидкость. И это здорово», — говорит Иван Самсонов.

#selectel #machinelearning #вконтакте #искусственныйинтеллект

Источник: портал vc.ru

Добавить комментарий