Ученые решили одну из главных проблем моделей ИИ — создан первый ИИ с «бесконечной» памятью

Ученые Массачусетского технологического института (MIT) изящно решили одну из главных проблем искусственного интеллекта: ограничения контекстных окон. LLM обычно работает с сотнями или тысячами токенов, что не позволяет ему полноценно обрабатывать многотомные архивы. Новая рекурсивная модель преодолевает этот недостаток за счет использования системы контекстной навигации вместо памяти.

Новый подход реализован в архитектуре рекурсивной языковой модели (RLM). Традиционные модели большого языка хранят всю необходимую информацию в так называемом контекстном окне с довольно жестким и ограниченным количеством токенов и быстро теряют точность своих выводов, когда объем входных данных превышает этот предел. Модель RLM предлагает другой подход: он не пытается запомнить исходные исходные данные целиком, а скорее рассматривает их как внешнее пространство, по которому можно перемещаться и из которого при необходимости можно извлечь соответствующие соответствующие фрагменты. Навигация заменяет память.

Ключевое отличие RLM от LLM состоит в том, что механизм поиска информации становится динамическим и рекурсивным (с вложенностью, как в случае с древовидной структурой папок файловой системы). Модель анализирует запрос, генерирует действие поиска, извлекает необходимые сегменты данных и повторяет процесс до тех пор, пока не будет достигнута заданная глубина понимания. В результате архитектура способна обрабатывать наборы данных, в десятки или сотни раз превышающие традиционную емкость контекстного окна, без чрезмерного увеличения вычислительных ресурсов.

Предлагаемая технология открывает новые возможности для областей, требующих обработки больших документов или сложно структурированных данных. Например, в юридической практике искусственный интеллект сможет анализировать целые материалы дела, а не только отдельные фрагменты; в программировании сможет обрабатывать большие объемы кода; а в аналитике он сможет объединять и сравнивать несколько научных публикаций без предварительной обработки. Способность модели работать с большими наборами данных снижает риск фактических искажений и ошибок, связанных с «потерей» контекста из-за отсутствия достаточной памяти модели в соответствующий момент времени.

Специалисты MIT предоставили как полноценную библиотеку, реализующую принципы RLM, так и минимальный справочный код, что упростит внедрение технологии для всех заинтересованных сторон и ускорит ее внедрение. Некоторые компании уже начали адаптировать архитектуру для своих продуктов, что еще раз подтверждает применимость RLM за пределами лабораторных условий. Таким образом, рекурсивные языковые модели могут стать существенным шагом в эволюции нейросетевых архитектур, поскольку они предлагают не увеличение объема памяти моделей, а принципиально новый способ работы с большими наборами данных.