Научные исследования вскоре могут претерпеть фундаментальные изменения — искусственный интеллект оказался непревзойденным человеческим инструментом для анализа невообразимых объемов специализированной литературы. В ходе эксперимента ИИ смог оценить ложные и истинные научные результаты точнее, чем эксперты-люди. Это облегчит научные исследования для людей, позволяя машинам просеивать тонны необработанной информации в поисках многообещающих результатов.
С самого начала разработчики генеративного ИИ (ChatGPT и другие) сосредоточились на способности больших языковых моделей (LLM) отвечать на вопросы путем суммирования огромных данных, на которых они обучаются. Ученые Университетского колледжа Лондона (UCL) поставили перед собой еще одну цель: выяснить, могут ли студенты магистратуры синтезировать свои знания — извлекать закономерности из научной литературы и использовать их для анализа новых исследовательских работ? Опыт показывает, что ИИ может превосходить людей с точки зрения точности оценки проверяемых документов.
«Научный прогресс часто основан на методе проб и ошибок, но любой тщательный эксперимент требует времени и ресурсов. Даже самые опытные исследователи могут упустить важные выводы из литературы. Наша работа исследует, могут ли LLM обнаруживать закономерности в больших научных текстах и предсказывать результаты экспериментов.» — поясняют авторы работы. Нетрудно представить, что использование ИИ для проверки информации выйдет далеко за рамки простого открытия знаний. Это может оказаться прорывом во всех областях науки, сэкономив ученым время и деньги.
Эксперимент основан на анализе ряда научных работ по нейробиологии, но может быть распространен на любую область науки. Исследователи подготовили множество пар тезисов, состоящих из настоящей научной статьи и поддельной, содержащей правдоподобные, но ложные результаты и выводы. Пары статей были проанализированы 15 студентами магистратуры общего назначения и 117 экспертами в области нейробиологии человека. Им пришлось отличать настоящие произведения от подделок.
Все LLM превзошли нейробиологов: точность ИИ составила в среднем 81%, а у человека — 63%. Когда лучшие эксперты-люди проанализировали документы, точность выросла до 66%, но не приблизилась к точности ИИ. А когда LMM специально обучен на нейробиологических данных, точность прогнозирования возрастает до 86%. Исследователи говорят, что это открытие открывает путь в будущее, в котором эксперты-люди смогут сотрудничать с хорошо откалиброванными моделями.
Проделанная работа также показывает, что большинство новых открытий вовсе не новы. ИИ прекрасно раскрывает эту характеристику в современной науке. Благодаря новому инструменту учёные, по крайней мере, будут знать, стоит ли продолжать выбранную ими область исследований или проще искать её результаты в Интернете.
