Вы заявили, что используете модель LLM on-prem вместе с двумя фреймворками. Можете ли вы рассказать, как вы справлялись с ограничениями, связанными с вычислительными ресурсами и масштабируемостью? Неужели вы действительно считаете, что такой подход может быть эффективным и устойчивым на практике?

Согласен с прошлым комментарием. Не считаю себя специалистом, но даже с моей поверхностной экспертизой кок-какие моменты в презентации вызывают вопросы.

В презентации указано, что киберсуфлёр решает проблему большой трудоемкости в части ресурсов тестирования и поддержки более классических решений. Отказ от большого объёма ручного тестирования ответов, выдаваемых LLM, приводит к неконтролируемым результатам, которые способны навредить бизнесу компании. Ранее крупные корпорации уже неоднократно проводили такие эксперименты и получали такие проблемы, например, бот компании Microsoft по имени Тэй, который общается со всеми желающими в Twitter, полюбил Адольфа Гитлера и возненавидел евреев ( https://russian.rt.com/inotv/2016-03-27/DWN-Za-paru-chasov-v ).