Более 7 лет назад Google совершила прорыв, разработав архитектуру нейронной сети Transformer, которая теперь лежит в основе приложений генеративного искусственного интеллекта, включая ChatGPT на ОпенАИ.
Теперь компания представила свою новую архитектуру Titans — новый шаг на пути к искусственному интеллекту, который может думать как человек.
Архитектуре Transformer не хватает долговременной памяти, что ограничивает ее способность сохранять и использовать информацию в течение длительных периодов времени, хотя это неотъемлемая особенность человеческого мышления. «Титаны» предусматривают возможность нейронной долговременной памяти, кратковременной памяти и системы обучения, основанной на неожиданностях — всех элементов, которые люди используют для запоминания неожиданных или очень важных событий.
В Трансформере есть своего рода «прожектор» — механизм, который позволяет ИИ выделять самые важные слова в предложении и фрагменты набора данных в любой момент. У Титанов он тоже есть, но работает он в связке с огромной библиотекой — модулем долговременной памяти, отвечающим за хранение важной информации. Этот механизм напоминает студенту, что он может вернуться к заметкам, сделанным в начале семестра, вместо того, чтобы пытаться запомнить все сразу.
Сосредоточенность Титанов на важных деталях и их способность обращаться к накопленным знаниям позволяют им обрабатывать огромные объемы данных, не упуская важных деталей. Благодаря умной «метрике неожиданности», которая помогает расставить приоритеты в ключевых фрагментах данных, Titans превосходит существующие модели искусственного интеллекта в различных задачах: языковом моделировании, прогнозировании и моделировании ДНК. Таким образом, новая архитектура приближает ИИ к механизмам человеческого познания.
Способность нового ИИ сохранять обширный контекст поможет ему совершить революцию в научных исследованиях, например, отслеживая научную литературу или обнаруживая аномалии в огромных наборах данных в медицине или финансах, поскольку система «запоминает», что является нормой, и выделяет это. что квалифицируется как «сюрприз».
Новая архитектура частично воспроизводит когнитивные процессы человека — помимо кратковременной и долговременной памяти, это способность «забывать» менее важную информацию и точнее расставлять приоритеты. Аналогичным образом, люди могут легче запоминать события, которые нарушают их ожидания — функция, которая поможет создать более тонкие и контекстно-зависимые системы искусственного интеллекта. Современные системы на базе архитектуры Transformer способны обрабатывать запросы с контекстом до 2 миллионов токенов, и Titans сохраняет эффективность даже за этим пределом, сохраняя высокую точность на огромных объемах входных данных.
Механизм «метрики неожиданности» позволяет системе определить, какую информацию следует хранить в долговременной памяти, определяя приоритетность элементов, которые нарушают ожидания. Это не только отражает когнитивные механизмы человека, но и является новым решением для управления ограниченными ресурсами памяти в ИИ. Первые испытания систем на базе архитектуры «Титаны» показали многообещающие результаты в ряде задач, например, в задачах, связанных с извлечением определенной информации из огромных текстов: при увеличении длины контекста существующие модели демонстрируют резкое падение точности. , в то время как новая архитектура сохраняет свою эффективность .
Однако следует отметить, что технология «Титанов» все еще находится на ранней стадии и нельзя исключать трудности с ее внедрением в практические приложения.
Пока слишком рано судить о требованиях системы к вычислительным алгоритмам, эффективности обучения и возможных угрозах — все это станет яснее по мере развития технологии, а способность ИИ хранить и оценивать информацию может вызвать вопросы о конфиденциальности, механизмах обработки данных и непредсказуемое поведение систем искусственного интеллекта.
