Институт искусственного интеллекта Аллена (Ai2) представил Theorizer, платформу искусственного интеллекта для построения научных теорий. В отличие от обычных нейронных сетей, которые просто пересказывают статьи, Theorizer анализирует огромные объемы литературы, чтобы обнаружить скрытые закономерности. Система превращает хаос тысяч публикаций в конкретные модели, приложения и доказательства. Искусственному интеллекту требуется всего 30 минут, чтобы выполнить работу, на которую у ученого ушли бы месяцы.
Теоретик отвечает на ключевой вопрос: сможет ли ИИ самостоятельно синтезировать научные теории на основе научной литературы. Пользователь формулирует запрос типа «создать теории об X», после чего система изучает соответствующие публикации и готовит набор резюме о выявленных моделях, условиях их применимости и подтверждающих их данных. По задумке, это обеспечивает обзор теоретического ландшафта за считанные минуты, на что у человека ушли бы месяцы работы.
В отличие от инструментов, которые перефразируют различные статьи или составляют обзоры литературы, Theorizer выявляет последовательные закономерности, которые повторяются в разных исследованиях. Каждая теория представлена в структурированном виде: «закон – сфера применения – доказательства» и имеет название и краткое описание. Как правило, теория содержит 1-2 закона, сформулированных в виде качественных или количественных зависимостей. Область применения определяет, при каких условиях закон действует, каковы ограничения и исключения. В качестве доказательств используются эмпирические и наблюдательные данные, например результаты проведенных экспериментов.
Работа системы построена как многоступенчатый конвейер. Сначала Theorizer формирует корпус литературы, отбирая до 100 соответствующих статей с помощью Semantic Scholar и других инструментов. Затем он извлекает из них ключевые идеи и эмпирические результаты, используя предварительно созданную схему, адаптированную к конкретному запросу.
На последнем этапе эти данные обобщаются и на их основе формируются теории-кандидаты, которые затем проходят этап самооценки и уточнения. Один запрос обрабатывается в течение 15-30 минут.
Чтобы оценить качество создаваемых теорий, исследователи разработали специальный тест. Он учитывает пять критериев: специфичность, эмпирическое подтверждение, точность прогнозирования, новизна и правдоподобие. Проверка показала, что теории, основанные на анализе литературы, значительно превосходят теории, созданные ИИ на основе только его параметрических знаний.
Особое внимание было уделено способности Теоретика предсказывать будущие научные результаты. Для этого была запущена система с фиксированной «датой окончания» знаний: теории генерировались на основе более ранней литературы. Затем ИИ анализирует новые публикации и определяет, подтверждают ли они соответствующие данные, противоречат им или не содержат их. Всего таким образом было проверено 3000 законов на основе 4500 статей и более 16 000 сравнений законов и публикаций. Анализ показал, что теории, основанные на систематическом обзоре литературы, дают более точные и проверяемые предсказания, особенно при создании новых, нетривиальных моделей.
Разработчики подчеркивают, что Theorizer — это инструмент исследования, а не «истина в последней инстанции». Его выводы следует рассматривать как отправную точку для дальнейшей работы. Вместе с системой авторы опубликовали исходный код, интерфейс и набор данных около 3000 теорий в области искусственного интеллекта и обработки естественного языка. По их мнению, такие инструменты помогают ориентироваться в быстрорастущем объеме научных публикаций и упрощают переход от разнородных результатов к теоретическим обобщениям.
