Красноярские ученые нашли способ отучить ИИ врать.
Стремительное развитие нейросетей привело к неожиданной проблеме: искусственный интеллект начал генерировать ложные данные. Причиной стало некритичное отношение ИИ к источникам информации в интернете, где достоверность фактов никем не гарантируется.
Ученые из красноярского Университета Решетнева разработали методику, позволяющую выявлять и устранять недостоверные ответы нейросетей. Специалисты проанализировали типичные ситуации, в которых ИИ чаще всего ошибается, и создали классификатор ошибок. На его основе была разработана автоматизированная инструкция для стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность.
Ключевым результатом стал прототип модуля мониторинга, работающего в реальном времени. Он фиксирует все запросы, оценивает риск выдачи ложного ответа и присваивает модели балл уверенности. При ошибке или низкой уверенности модуль подает сигнал оператору.
Методика применима для чат-ботов, государственных сервисов и профессиональных помощников в медицине, юриспруденции и других сферах.
#Красноярск #ИИ #Нейросети #ИскусственныйИнтеллект #Наука #Технологии
