Облачное подразделение Amazon Web Services (AWS) представило систему автоматического рассуждения на мероприятии re:Invent 2024. Эта система предназначена для борьбы с «галлюцинациями» — проблемами с моделями искусственного интеллекта, когда они дают ответы, не соответствующие действительности.
Автоматизированные проверки рассуждений направлены на снижение количества потенциально опасных ошибок, вызванных «галлюцинациями» — такие нарушения ставят под угрозу безопасность сервисов ИИ и могут привести к финансовым потерям для компаний. Причины возникновения галлюцинаций в генеративном искусственном интеллекте связаны с ошибками в наборах данных, на которых обучаются модели ИИ. AWS описывает автоматизированное рассуждение как «первая и единственная генеративная защита искусственного интеллекта, которая помогает предотвратить фактические ошибки из-за модельных галлюцинаций«. Система пытается решить проблему, сверяя ответы, сгенерированные моделью, с информацией, предоставленной клиентом. Если он не может определить, является ли ответ точным совпадением, он отправляется обратно той же модели для дальнейшей самопроверки..
Automated Reasoning — это часть набора инструментов Amazon Bedrock Guardrails, новой системы проверки, которая пытается отследить, как модель пришла к заданному ответу, и если в цепочке обнаруживается ошибка, она сверяется с набором данных, предоставленным клиентом. Система предлагает собственный ответ на запрос, позволяя клиенту увидеть возможный реальный разрыв и при необходимости внести дополнительные корректировки в модель. В качестве примера AWS приводит поставщика медицинских услуг, который использует этот инструмент, чтобы гарантировать, что ответы на запросы клиентов о политике компании не вводят в заблуждение.
