Ada выводит новый стандарт обслуживания клиентов с помощью GPT‑4

Компания Ada, являющаяся одним из лидеров в автоматизации клиентской поддержки на сумму свыше 100 млрд долларов, продолжает укреплять свои позиции благодаря своей платформе, полностью основанной на ИИ. Основанная в 2016 году и оценённая в 1,2 млрд долларов при общих инвестициях в 200 млн, Ada обслуживает таких клиентов, как Verizon, YETI, Canva и Square.

Ada не новичок в использовании ИИ – с момента своего основания она строилась на кастомных NLP-моделях, разработанных и обученных внутри компании. Однако со временем команда обнаружила, что, несмотря на высокий процент "контейнерации" запросов (то есть обработки вопросов исключительно чат-ботом), качество решений оставляло желать лучшего.

«Мы были в восторге от возможностей OpenAI и того, что происходит в отрасли. В 2022 году мы решили пойти ва-банк и перестроить продукт, используя возможности LLM для рассуждения», – отмечает Майк Гоццо, директор по продукту и технологиям.

Новый показатель качества – уровень разрешения

Стандартным показателем в поддержке клиентов является коэффициент контейнерации, измеряющий долю запросов, полностью обработанных чат-ботом без участия человека. Однако команда Ada заметила, что даже при 80–100%-ой контейнерации качество ответов часто оставляло желать лучшего при прочтении транскриптов. Фокус сместился на оценку того, насколько полно решаются запросы, чтобы установить новый стандарт в индустрии.

Используя GPT‑4 вместе с историческими данными, Ada разработала новую систему оценки, способную автоматически анализировать качество разрешения запросов. Система оценивает каждый диалог по тому, насколько релевантные, точные и безопасные ответы получает клиент – всё это без участия человека. «В наших тестах система достигала 80–90%-го согласия с оценками экспертов», – говорит Гоццо.

Тестирование моделей и выбор OpenAI

Определив для себя ключевой показатель – уровень разрешения – команда Ada использовала API OpenAI для оценки производительности моделей и сотрудничества в разработке нового поколения ИИ-агентов. Ранее они применяли модели OpenAI для генерации обучающих данных, но при тестировании новых сценариев стали очевидны их преимущества:

• Качество вывода: Ada создала синтетическую тестовую среду, имитирующую общение сотен тысяч конечных пользователей, и регулярно оценивает модели. «Мы тестируем каждую крупную модель в течение нескольких недель после её выпуска, и до сих пор ни одна не превзошла OpenAI по нашему набору критериев», – отмечает Гоццо.
• Низкая задержка: Для голосовых кейсов особенно важна минимальная задержка. «Для реального времени мы наблюдали значительный скачок в качестве и времени отклика с GPT‑4o», – добавляет он.
• Донастройка: Ada использует API донастройки OpenAI для получения оценки уровня "галлюцинаций" в ответах, что помогает снизить их количество и улучшить способность системы рассуждать. «Мы с нетерпением ждем возможности донастроить наши модели, чтобы даже меньшие, более экономичные модели могли демонстрировать производительность передовых решений», – говорит Гоццо.

Удвоение уровня разрешения с помощью OpenAI

Ранее продукт Ada достигал 70% контейнерации, но лишь 30% запросов разрешались удовлетворительно. С новыми решениями, при сохранении схожих показателей контейнерации, уровень разрешения вырос до 60%, а у лучших клиентов – выше 80%. «С переходом от одной технологии к другой мы удвоили количество разговоров, которые система способна разрешить с отличным качеством», – отмечает Гоццо. Этот показатель имеет огромное влияние на ROI, экономию ресурсов, удовлетворенность клиентов, их удержание и привлечение новых.