Крупные языковые модели искусственного интеллекта требуют значительных ресурсов не только для обучения, но и для запуска — необходимы значительные объемы операционной памяти и мощных графических процессоров. Альтернатива была предложена создателями EXO, бесплатная программа для распределенного запуска крупных языковых моделей (LLM) нескольких устройств. Почти как торрент, только чтобы начать ИИ.
Приложение позволяет объединить вычислительные ресурсы нескольких компьютеров, смартфонов и даже одного плательщика, включая Raspberry Pi, для выполнения и моделей, с которыми ни одна из систем, доступных пользователю. Ресурсы устройства объединяются в сеть однорангового типа.
EXO динамически распределяет нагрузку, генерируемую LLM между устройствами, доступными в сети, со слоями на основе доступной оперативной памяти и доступной вычислительной мощности. Llama, Mistral, Llava, Qwen и Deepseek поддерживают. Программное обеспечение может быть установлено на устройствах с Linux, MacOS, Android или iOS — до сих пор нет версии Windows. EXO требует минимальной версии Python 3.12.0 и в случае графики Linux и Nvidia, ряд других компонентов.
Пример: I-модель, которая нуждается в 16 ГБ оперативной памяти, может быть запущена на двух ноутбуках с 8 ГБ каждый, а мощный Deepeek R1, который нуждается в 1,3 ТБ памяти, теоретически может быть запущен на кластере из 170 Raspberry Pi 5 с 8 ГБ ОЗУ. Скорость сети и задержка могут ухудшить производительность разработчиков II-модели и EXO, предупреждающих, что устройства с низким уровнем эффективности могут задержать работу ИИ, но с любой добавленной сетью общая производительность увеличивается. Мы также не должны забывать о рисках безопасности, которые неизбежно возникают, когда между многими машинами используются рабочие нагрузки. Даже с этими резервациями EXO, кажется, является многообещающей альтернативой облачным ресурсам.
