Чат-боты с высокими результатами тестов плохо работают в реальных сценариях лечения людей.
Использование чат-ботов на базе искусственного интеллекта для получения медицинских консультаций может быть опасным для пациентов. Чат-боты часто предоставляют неточную или противоречивую информацию. К такому выводу пришли исследователи из Оксфордского института Интернета и Наффилдского факультета первичной медицинской помощи Оксфордского университета, сообщает BBC.
Исследование, опубликованное в журнале Nature Medicine, показало, что искусственный интеллект имеет тенденцию предоставлять неточную и противоречивую информацию, создавая риски при принятии медицинских решений. Несмотря на высокие баллы по стандартизированным тестам, искусственный интеллект не гарантирует правильного поведения в реальных ситуациях.
«Несмотря на всю шумиху, ИИ просто не готов взять на себя роль врача— сказала соавтор исследования доктор Ребекка Пейн. По ее словам, проблема заключается не только в качестве ответов, но и во взаимодействии людей и модели.
В рандомизированном исследовании исследователи набрали 1298 взрослых участников из Великобритании. Им были представлены десять медицинских сценариев и предложено определить потенциальные заболевания и рекомендуемые действия.
Некоторые участники использовали языковые модели GPT-4o, Llama 3 или Command R+, тогда как контрольная группа полагалась на традиционные методы, включая поиск в Интернете или собственные знания. Результаты показали, что пользователи с помощью искусственного интеллекта идентифицировали правильные заболевания менее чем в 34,5% случаев.
В то же время программное обеспечение продемонстрировало значительно более высокий уровень точности отдельных тестов без вмешательства человека. Это говорит о том, что ключевая проблема заключается во взаимодействии пользователя с моделями, а не только в его знаниях.
«Пациенты должны знать, что задавать сложные вопросы об их симптомах может быть опасно.Пейн подчеркнул, добавив, что это может привести к неправильному диагнозу или игнорированию ситуаций, требующих неотложной помощи.
Ведущий автор Эндрю Бин отмечает, что даже лучшие языковые модели сталкиваются с проблемами при взаимодействии с реальными людьми. Он выразил надежду, что «эта работа будет способствовать разработке более безопасных и полезных систем искусственного интеллекта.«.
Исследователи рекомендуют систематическое тестирование на реальных пользователях, прежде чем внедрять ИИ в здравоохранение. Они считают, что стандартные тесты и моделирование не способны выявить ключевые риски для пациентов.
Это исследование является результатом запуска специализированных услуг по управлению здравоохранением от Anthropic и OpenAI. Claude for Healthcare специализируется на клинической практике, администрировании и взаимодействии с пациентами. По словам Anthropic, цель — помочь врачам сократить время, затрачиваемое на рутинные процессы, а пациентам лучше понять медицинскую информацию.
ChatGPT Health от OpenAI помогает интерпретировать результаты тестов, готовиться к визитам к врачу, анализировать данные с носимых устройств и сравнивать варианты страхования. Однако Сервис не предназначен для диагностики или лечения и предназначен исключительно для оказания помощи в принятии медицинских решений.
