Если у вас есть тонны файлов, которые вам постоянно приходится искать, вы, вероятно, платите за программное обеспечение, которое незаметно считывает и суммирует их. Но учитывая, что местные LLM могут превратить любой файл в интеллектуальную карту, как вы думаете, что произойдет, если вы предоставите им доступ к вашим файлам?
Именно это я и сделал, и, к моему удивлению, результаты оказались великолепными. Здесь нет облака, нет ключей API, ничего не покидает компьютер, и, прежде чем вы это заметите, оно просто заменит приложения, за которые вы в противном случае заплатили бы.
Как на самом деле работает локальное индексирование ИИ
Предоставить местному LLM доступ к вашим файлам не так сложно, как кажется..
Предоставление локальному доступу ИИ к вашим файлам может показаться устрашающим, но на самом деле это проще, чем вы думаете. Я использовал подход RAG (генерация с расширенным поиском). Вместо того, чтобы переносить весь документ в окно контекста модели, что медленно, дорого в токенах и быстро достигает предела, RAG может разбить ваши файлы на более мелкие фрагменты и преобразовать их в векторные аватары, которые хранятся в локальной базе данных.
Когда вы задаете ИИ вопрос, система извлекает только самые важные детали и отправляет их в модель. Ваши файлы никогда не выходят наружу; модель читает только те фрагменты, которые ей нужны.
Для этого я использовал несколько инструментов. Функция LocalDocs GPT4All позволяет указать папку, и он автоматически начинает индексировать файлы. Для чего-то более сложного вы можете использовать Что угодноLLMкоторый обрабатывает файлы PDF, Word, TXT и CSV и позволяет создавать отдельные рабочие пространства для разных проектов.
Оба инструмента работают полностью в автономном режиме, единственное требование — ваша модель (и компьютер) достаточно мощная.. В итоге я использовал 3B-квантованную версию LLaMA 3 от Ollama, которой более чем достаточно для задач, которые я имел в виду, но не стесняйтесь попробовать модель 8B или 13B, если у вас есть необходимые аппаратные возможности. Управление файлами также является одним из наиболее интересных способов использования локального LLM с инструментами MCP.
Я наконец-то отказался от приложения PDF Chat (и не скучаю по нему)
Как мой местный LLM лучше справляется с грязными документами?
Те из нас, кто ежедневно работает с тоннами PDF-файлов, знакомы с СпроситеВашPDF. Это простой инструмент, который позволяет загружать документ, задавать о нем вопросы и получать краткие описания или цитаты. Он работает нормально, но каждый раз, когда вы используете его с файлом, он отправляется на их серверы, и уровень бесплатного пользования хорош, но вам понадобится Премиум-план как минимум за 11,99 долларов в месяц, если вы планируете выполнять серьезную работу.
Моя замена? Просто поместите папку с PDF-файлами в Локальные документы GPT4Allдождитесь завершения процесса интеграции и начните задавать вопросы. Результаты не идеальны, но это отличный способ извлечь конкретные данные, обобщить разделы или задать конкретные вопросы о содержании документа.
Для более сложных запросов вы можете использовать Что угодноLLMкуда можно вставлять статьи один раз и задавать вопросы в разных сессиях. Кроме того, поскольку нет необходимости загружать, ждать на сервере и принимать решения о том, что мне разрешено отправлять на сторонний сервер, мой рабочий процесс значительно ускорился.
Поиск вопросов и ответов в программе Notion AI для меня теперь остался в прошлом.
Задавайте более сложные вопросы обо всех ваших файлах.
Раньше я платил за подписку Notion Plus каждый месяц, но это уже в прошлом. Я уже перешёл с Notion на АФФИНЕи поскольку мои местные LLM могут искать в моих заметках, функция вопросов и ответов Notion AI — та, в которой вы задаете вопрос, и она ищет по всему вашему рабочему пространству, чтобы ответить на него — мне не нужна.
Понимаете местная РАГ так и делает, но без абонентской платы. Reor — это собственное приложение для создания заметок с открытым исходным кодом, которое использует Ollama под капотом и автоматически объединяет связанные заметки, используя векторное сходство. Я просто указал на свой репозиторий заметок AFFiNE, которые хранятся в формате Markdown, и прежде чем я это осознал, у меня появился семантический поиск, автоматическое связывание связанных заметок и встроенный интерфейс чата, который позволяет задавать вопросы по всей вашей базе знаний. Все это делается локально, все записи хранятся на диске, и ничего никогда никуда не загружается.
Поиск файлов стал намного мощнее
Традиционные поисковые инструменты даже близко не могут сравниться с местными LLM..
Я использую три разных поисковых приложения Windows, чтобы находить файлы на компьютере, который в будние дни часто бывает занят. Если вы используете что-то вроде X1 Search, настольного поискового приложения для профессиональных пользователей, которое индексирует локальные файлы, почту, вложения и облачное хранилище, чтобы вы могли относиться к своему компьютеру как к своему личному Google, эта подписка будет совершенно бесполезна.
Как только у вас есть местный LLM с серверной частью RAGпредназначенная для ваших основных рабочих папок, эта подписка больше не имеет смысла. Вы можете вставлять документы, код, заметки и экспорты в локальный векторный репозиторий, поверх ставить интерфейс чата и задавать вопросы на понятном языке. Вы можете находить файлы по их содержимому и получать как ответы, так и пути к файлам. Конечно, у вас будет гораздо более приятный пользовательский интерфейс с такими приложениями, как X1 Search или даже бесплатными альтернативами, такими как Fluent Search или Command Palette, но ваш местный LLM сможет сделать гораздо больше, чем конкуренты.
Стоимость использования локального ИИ
Она не такая высокая, как вы думаете.
Кроме времени и терпения в настройке, тратить ничего не нужно. Это верно, если у вас есть компьютер, на котором можно запустить достойную модель ИИ. Вам также не нужно самое современное оборудование для запуска моделей искусственного интеллекта; если ты включен система среднего класса с 16 ГБ ОЗУ и графическим процессором примерно с 6 ГБ видеопамяти, квантованная модель 7B или 13B с помощью Олламы, как LLaMA 3, Мистраль или Квенвполне может справиться с этой задачей. Если вы знаете, что такое TOPS, вам также поможет компьютер с 45 TOPS.
Что вам не нужно делать, так это платить ежемесячную плату, подписывать контракт на передачу данных с неизвестной компанией или беспокоиться о том, что произойдет с вашими файлами после того, как вы загрузите их на чужой сервер. Раньше локальный ИИ требовал технических знаний и дорогостоящего оборудования, но это уже в прошлом.. Существует множество приложений, которые вы можете использовать, чтобы воспользоваться преимуществами локального искусственного интеллекта на вашем компьютере, и есть задачи, которые ваш локальный LLM может выполнить так же хорошо, как и любая облачная модель.
Перестаньте платить за искусственный интеллект, когда у вас будет локальный ИИ, которым вы сможете управлять самостоятельно.
Оказывается, мои файлы умнее, чем приложения, которые их читают.
Ничто из этого не является анти-ИИ или анти-SaaS. Конечно, существуют как отличные сервисы, так и программное обеспечение для искусственного интеллекта, и оба они вполне оправдывают взимаемую за них абонентскую плату. Но когда платный инструмент просто размещает модель ИИ в облаке и читает ваши файлы, имеет смысл воспроизвести эту функциональность на вашем локальном компьютере.
Модели ИИ могут безопасно работать на вашем оборудовании, ваши файлы могут оставаться на вашем диске, а эти подписки можно отменить. Для настройки этих служб требуется всего несколько небольших шагов, и для многих рабочих процессов преимущества удобства и конфиденциальности стоят затраченных усилий.
