Российские учёные нашли способ оптимизировать работу моделей искусственного интеллекта

Алгоритм детекции ошибок сжатия позволяет ИИ обрабатывать длинные диалоги, не теряя детали и не расходуя лишние мощности.

Человек общается с ИИ-помощником, и тот помнит детали разговора месячной давности и не путается в фактах, а компания при этом не тратит состояние на вычислительные ресурсы. Исследователи Центра практического искусственного интеллекта Сбербанка в сотрудничестве с учёными Института AIRI и Сколтеха нашли способ определять тот самый момент, когда нейросеть при экономии памяти начинает терять смысл. Разработчики применили новый метод при обновлении ИИ-помощника: теперь он запоминает ключевые факты о пользователе и использует их в дальнейшем общении — делая взаимодействие более естественным и персонализированным.

Современные ИИ-модели умеют рассуждать уже почти как человек, но с памятью часто возникают вопросы. Эффективным методом обработки больших объёмов данных является сжатие информации с последующим переводом в векторные представления.

Российские исследователи создали лёгкий обучаемый классификатор, который работает как детектор качества. Он проверяет сжатые токены ещё до того, как они попадут в большую языковую модель. Если классификатор видит, что смысл нарушен, он не пропускает испорченный контекст дальше. И тогда система может подставить оригинальный несжатый текст или поискать свежие документы. В любом случае некорректные данные не уйдут в генерацию, пользователь не получит недостоверный ответ, а компания не потратит лишних средств на вычисления.

Для бизнеса, который встраивает ИИ-модели в свои корпоративные поисковики, ассистентов или боты поддержки, это прямая экономия. Учёным исследование даёт строгую методологию: теперь понятно, где проходит граница сжимаемости текста и как отследить момент переполнения токенов. В обществе же это повышает доверие к технологиям и популярность ИИ-помощников.  Например, разработчики применили метод при обновлении флагманской модели Сбера — нейросеть научилась запоминать факты о пользователе и использовать их для дальнейшей персонализации общения. Это делает взаимодействие более естественным и комфортным, отметили в пресс-службе 

«Представьте, что нужно пересказать итоги трёхчасового стратегического совещания парой фраз. Ключевые тезисы вы выделите, но высок риск упустить критически важные нюансы или исказить смысл. Так же работает механизм сжатия контекста в языковых моделях. Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестаёт быть оптимизацией и ведёт к ошибкам, вызывая потерю устойчивости модели. Для бизнеса это означает принципиально новый уровень надёжности искусственного интеллекта — сокращение издержек и повышение точности принятия решений»,

— отметил директор Центра практического искусственного интеллекта Сбербанка Николай Тиден.