Каждый год розничный Контактный центр ВТБ совершенствуется и внедряет новые технологии в лучшее #itрешение24
В 2023 мы создали целую ИТ-платформу по управлению КЦ в голосе и чате, на домашних и аутсорс площадках, для работы с сервисом и продажами, на входящих и исходящих звонках, c AI и прочими фишками! Проект внес свою лепту в общебанковскую награду Прорыв года в розничном финансовом бизнесе, но оказался недостаточно мечтательным для индивидуальной награды 🙂 Что ж… помечтаем!
в 2024 платформа дополнилась масштабным блоком по использованию LLM моделей в КЦ. Мы научились обучать и использовать модели для ответов на самые сложные вопросы клиентов: понимать естественную речь, уточнять детали по общим вопросам, суммаризировать запросы и диалоги, подбирать оптимальный размер контекста для генерации ответов, автоматически проверять качество и полноту ответов, формировать резюме диалога, анализировать причины, когда что-то пошло не так и многое другое.
4 месяца масштабных исследований, около 100 проверенных гипотез и их комбинаций, разработки, внедрения, дообучения, отбор лучших практик, креативная встройка LLM в текущий AI ландшафт КЦ, и это только начало.
Мы продолжаем бросать вызовы технологиям и расширять горизонты мечтателей-исследователей с Вами и для Вас!
Василий
В презентации указано, что киберсуфлёр решает проблему большой трудоемкости в части ресурсов тестирования и поддержки более классических решений. Отказ от большого объёма ручного тестирования ответов, выдаваемых LLM, приводит к неконтролируемым результатам, которые способны навредить бизнесу компании. Ранее крупные корпорации уже неоднократно проводили такие эксперименты и получали такие проблемы, например, бот компании Microsoft по имени Тэй, который общается со всеми желающими в Twitter, полюбил Адольфа Гитлера и возненавидел евреев ( https://russian.rt.com/inotv/2016-03-27/DWN-Za-paru-chasov-v ).
Владимир
Согласен с прошлым комментарием. Не считаю себя специалистом, но даже с моей поверхностной экспертизой кок-какие моменты в презентации вызывают вопросы.
Алла
Вы заявили, что используете модель LLM on-prem вместе с двумя фреймворками. Можете ли вы рассказать, как вы справлялись с ограничениями, связанными с вычислительными ресурсами и масштабируемостью? Неужели вы действительно считаете, что такой подход может быть эффективным и устойчивым на практике?