Андрей Карпати, бывший руководитель проекта искусственного интеллекта Tesla и соучредитель OpenAI, придумавший термин «кодирование вибрации», опубликовал свой новый проект с открытым исходным кодом на GitHub. Это не готовая модель и не масштабный корпоративный продукт — это простой скрипт в 630 строк, но с большими амбициями: автоматизация научного метода с помощью агентов ИИ без вмешательства человека — например, в ночное время.
«Цель состоит в том, чтобы агенты ИИ были разработаны таким образом, чтобы они могли очень быстро продвигать исследования без вашего участия»,
— пишет Карпат в соцсети Х.
Пост мгновенно стал вирусным и за два дня собрал более 8,6 миллиона просмотров.
Система функционирует как автономный цикл оптимизации. Агенту ИИ предоставляется сценарий обучения и фиксированный бюджет вычислений (обычно 5 минут на каждый графический процессор). Агент читает собственный исходный код, формулирует гипотезу улучшения (например, изменение скорости обучения или глубины архитектуры), модифицирует код, проводит соответствующий эксперимент и оценивает результаты.
Если потери при проверке, измеряемые в битах на байт (val_bpb), уменьшаются, изменения сохраняются; в противном случае агент отменяет его и повторяет попытку. За ночь ИИ-агент провел 126 экспериментов, сократив потери с 0,9979 до 0,9697. За два дня настройки модели агент успешно обработал около 700 автономных изменений. Он обнаружил около 20 аддитивных улучшений, которые прекрасно передаются на более крупные модели.
«Видеть, как один агент проходит весь рабочий процесс от начала до конца, совершенно самостоятельно… это потрясающе».
— прокомментировал Карпатян, отметив, что агент обнаружил ошибки в масштабировании и регуляризации внимания, которые он сам упустил за два десятилетия работы.
По мнению экспертов, автоматические исследования — фундаментальное изменение в совершенствовании искусственного интеллекта. Автоматизировав «научный метод» кода, Карпати превратил машинное обучение в эволюционный процесс, который работает со скоростью кремния, а не со скоростью человеческой мысли. Этот тип процесса можно применять далеко за пределами ИТ, в таких областях, как маркетинг, здравоохранение – практически во всем, что требует исследований.
Варун Матур, руководитель платформы агрегации инструментов искусственного интеллекта Гиперпространственный ИИпровел эксперимент с одним агентом в одноранговой сети. Каждый узел, на котором работает агент Hyperspace, стал автономным исследователем. За одну ночь 35 автономных агентов провели 333 эксперимента совершенно без присмотра.
По словам Матура, хотя графические процессоры H100 будут использовать метод «грубой силы», агенты, работающие только с процессорами ноутбуковбыли вынуждены «проявить изобретательность». Они сосредоточились на стратегиях инициализации (таких как Kaiming и Xavier init) и вариантах нормализации, поскольку не могли рассчитывать на высокую пропускную способность.
Используя протокол GossipSub, агенты делятся своими успехами в режиме реального времени. Когда один из агентов обнаружил, что стратегия Кайминга снижает потери на 21%, эта информация распространилась по сети, как компьютерный вирус. В течение нескольких часов 23 других агента включили это открытие в свои собственные гипотезы. Всего за 17 часов агенты независимо заново открыли важные этапы машинного обучения, такие как RMSNorm и связанные с ним внедрения, на формализацию которых у исследователей из таких лабораторий, как Google Brain и OpenAI, ушло почти восемь лет.
Появление автоматизированных исследований может изменить будущее научных исследований в различных областях, где простые механизмы управления ИИ сместят роль человека с «экспериментатора» на «разработчика экспериментов». С появлением таких инструментов узким местом для прогресса ИИ больше не является способность человека программировать, а его способность определять ограничения поиска.
По мнению аналитиков, «Андрей Карпатий снова изменил ситуацию — мы больше не просто кодируем модели, а создаем экосистемы, которые учатся, пока мы спим«.
Все важное из мира технологий прямо на ваш почтовый ящик.
Подписываясь, вы принимаете наши Условия и Политику конфиденциальности. Вы можете отказаться от подписки одним щелчком мыши в любое время.
