Модели близки к способности выполнять сложные задачи без вмешательства человека.
Современные системы искусственного интеллекта по-прежнему уступают людям в выполнении долгосрочных задач, но их развитие настолько быстрое, что эта разница может исчезнуть больше, чем ожидалось. Этот вывод был сделан METR -исследователями, непрофильной организацией, базирующейся в Беркли, штат Калифорния.
Команда METR разработала почти 170 реальных задач в таких областях, как программирование, кибербезопасность, логическое мышление и машинное обучение. Чтобы оценить прогресс искусственного интеллекта, эксперты выявили «Уровень человеческой базы«Оценив, сколько времени потребовалось экспертам, чтобы выполнить их. Затем они предложили новый индикатор -»Задача горизонта«Этот показатель отражает, сколько времени требуется для разработки программистов, чтобы выполнить задачи, с которыми модели выполняются с определенной степенью успеха.
В статье, опубликованной в Arxiv, исследователи Они анализируют 13 современных моделей ИИ и обнаруживают, что их «горизонт производительности» удваивается примерно каждые семь месяцев с 2019 года. В 2024 году скорость роста ускорилась: теперь он удваивается каждые три месяца. В 2019 году GPT-2, одна из первых крупных моделей Language Openai, сбои в каждой задаче, чья производительность занимает человека более минуты. А Claude 3.7 Sonnet, запущенный в феврале 2024 года, уже успешно справился с 50% задач, требующих 59 минут работы.
Если текущая тенденция сохраняется, к 2029 году модели смогут выполнять задачи, требующие около месяца работы от человека с 50 -процентным успехом. Это важный этап, потому что месяц целенаправленной человеческой работы может быть достаточным для создания стартапа или научного открытия.
Однако не все ученые разделяют восторженные прогнозы. Джошуа Ганс, профессор менеджмента в Университете Торонто, считает, что такие экстраполяции не имеют большой ценности. Он подчеркивает, что все еще слишком много неизвестных о том, как именно ИИ будет использоваться в реальных задачах.
Исследователи METR выбрали 50% успех в качестве ключевого порога, потому что этот уровень оказался наиболее устойчивым к небольшим изменениям в распределении данных. Если порог надежности возрастает до 80 процентов, средний временный горизонт сокращается пять раз, хотя общая тенденция к росту остается неизменной.
Прогресс моделей искусственного интеллекта за последние пять лет связан в основном с увеличением масштаба — объема учебных данных, времени обучения и количеством параметров. Однако авторы исследования отмечают, что На рост временного горизонта сильно влияет улучшения в логическом мышлении, способность использовать инструменты, правильные ошибки и способность реализовать контекст набора задачС
Подход METR преодолевает некоторые ограничения на традиционные тесты искусственного интеллекта, которые плохо связаны с реальными рабочими задачами и быстро становятся неуместными для уточнения моделей. Новая метрика обеспечивает более точное представление долгосрочного прогресса в разработке технологий.
Хотя ведущие модели II уже демонстрируют сверхчеловеческие результаты тестов, их экономическое воздействие остается ограниченным. Один из авторов исследования, Бен Уэст, объясняет это с тем фактом, что В текущих моделях есть временный горизонт около 40 минут — и в течение этого периода у людей редко бывает время сделать что -то реальноеС По словам Запада, это частично объясняет, почему ИИ еще не оказал существенного влияния на экономику.
В то же время предприниматель и исследователь Антон Трояников считает, что модели ИИ могут быть гораздо более полезными, если компании более активно инвестируют в их интеграцию в бизнес -процессы.
Хотя новый индикатор полезен, он не может полностью оценить способность ИИ суммировать — т.е. Выполнять задачи, отличные от тех, для которых модель была обучена. Исследователи METR признают, что их метод не охватывает всю сложность реальной работы, но гарантируют, что тенденция роста временного горизонта, который они обнаружили, сохраняется даже с задачами, которые как можно ближе к реальным условиям.
Прогноз развития искусственного интеллекта зависит от многих факторов. За последние пять лет вычислительная мощность увеличилась много раз, но в будущем физические и экономические ограничения могут замедлить этот рост. Тем не менее, эксперты считают, что этот эффект будет частично компенсирован улучшениями в алгоритмах. Metr также ожидает дальнейшего прогресса в технологии для Автономные модели И их способность автоматизировать исследования приведет к новому прогрессу.
Джошуа Ганс предполагает, что следующим шагом является изучение того, как ИИ и человеческое взаимодействие может улучшить совместную работу в задачах. Этот подход может дать более точное представление о практической ценности искусственного интеллекта.
Ситуация сопоставима с промышленной революцией в сельском хозяйстве: в настоящее время фермер с трактором может достичь большего, чем его предшественник с 500 волами в 1950 -х годах. Уровень развития продолжает ускоряться. А это означает, что буквально теперь изменения в эволюции вносятся, как мы ее знаем.
