Агрессивное стремление Microsoft интегрировать искусственный интеллект в Windows сопровождается небольшим аппаратным дополнением — модулем нейронной обработки (NPU). Если вы в последнее время искали новый ноутбук и задавались вопросом, что такое TOPS, то это показатель производительности встроенного NPU.
Microsoft хочет, чтобы вы поверили, что вам нужно купить компьютер с процессором NPU не менее 40 TOPS, чтобы иметь возможность использовать все их блестящие функции искусственного интеллекта. Ну, я купил один и два года спустя, он до сих пор не используется в моем ноутбуке.
Microsoft продала мне будущее искусственного интеллекта, но это совсем не то
Copilot+, NPU и перспективы ИИ-вычислений.
На бумаге идея довольно убедительна. Microsoft и ее партнеры по аппаратному обеспечению утверждают, что с NPU ваш ноутбук становится частной локальной машиной искусственного интеллекта, которая запускает LLM, расшифровывает речь, применяет видеоэффекты в реальном времени и многое другое, не отправляя данные в облако для обработки.
Большим обещанием стал встроенный в устройство интеллект, ставший доступным и эффективным благодаря NPU. NPU выполняет задачи искусственного интеллекта, в то время как процессор и графический процессор остаются свободными. Это продлевает срок службы батареи и освобождает ресурсы ЦП и графического процессора для других приложений, которые могут вам понадобиться.
Отзывать была флагманской функцией Windows, использующей NPU, позволяющей выполнять поиск по активности на рабочем столе, используя естественный язык. Другие подходы к Второй пилот+ такие как семантический поиск файлов, субтитры в реальном времени с переводом, размытие фона веб-камеры и коррекция зрительного контакта, а также даже настройка изображения с помощью искусственного интеллекта в приложении «Фотографии», стали веским аргументом в пользу использования NPU в вашем следующем ноутбуке.
Стремление к созданию NPU — это скоординированные усилия Microsoft, Intel, AMD, Qualcomm и других крупных OEM-производителей. Microsoft требовалось аппаратное обеспечение, чтобы конкурировать с чипами Apple серии M, которые уже много лет интегрируют нейронные механизмы и эффективно их используют. Intel и AMD нуждались в дифференциации, выходящей за рамки тактовой частоты процессора, а Qualcomm требовалось, чтобы серия Snapdragon X выглядела как нечто большее, чем просто чип ARM для ноутбуков.
Результатом стал маркетинговый перевороткоторый определил ПК с искусственным интеллектом как нечто большее, чем просто улучшение характеристик. Это был совершенно новый способ использования персонального компьютера, или, по крайней мере, это была мечта, которую продавала Microsoft.
Вот что на самом деле чувствует НПУ
Большую часть времени он просто сидит там.
Intel дебютировала с NPU в потребительских ноутбуках со своей линейкой процессоров Метеоритное озеро в 2024 году. С тех пор локальные NPU прошли долгий путь и отлично подходят для определенных задач, но большинство популярных приложений, таких как LM Studio или Ollama, по-прежнему используют графический процессор или процессор по умолчанию. НПУ просто сидит и бездействует.
Напомним, предполагаемая жемчужина НПУ практически сразу после выхода стала пиар-катастрофой. Помимо того, что Recall стал кошмаром для конфиденциальности, он неоднократно сталкивался с задержками и разногласиями. Что еще хуже, исследователи нашли способы включить эту функцию на старом оборудовании, отличном от NPU, с помощью неофициальных обходных путей.
В остальном Copilot+ был более функциональным, но в лучшем случае скромным. Эффекты Windows Studio — размытие фона веб-камеры и коррекция зрительного контакта — работают, но ваши потребности могут отличаться. Субтитры с переводом в реальном времени могут быть очень полезны. А семантический поиск облегчает поиск файлов, хотя было бы гораздо лучше заменить поиск Windows палитрой команд.
Настоящая проблема не в оборудовании, а в программном обеспечении
Разработчики не разрабатывают для него ПО (пока)
NPU помогает только в том случае, если программы написаны специально для переноса нагрузки на него. От локальных программ запуска LLM до программного обеспечения для творчества — почти никто не использует встроенные NPU на компьютерах с Windows для рабочих нагрузок ИИ. Специализированная архитектура чипа означает, что разработчики должны писать код специально для NPU.
Сама Intel во время технических сессий CES 2024 признала, что в Meteor Lake самые требовательные рабочие нагрузки ИИ по-прежнему возлагаются на встроенный графический процессор Arc. NPU предназначен для выполнения непрерывных задач низкой интенсивности, таких как размытие фона. Компания Digital Trends протестировала разницу в мощности размытия фона между графическим процессором и NPU и обнаружила почти незначительную разницу: графический процессор в среднем потреблял 18,9 Вт, а NPU — 17,6 Вт за 30 минут — не совсем значительное повышение производительности, которое предлагает маркетинг.
С тех пор Microsoft пытается минимизировать ущерб. Она начала Windows ML – платформа, которая позволяет разработчикам писать приложения искусственного интеллекта, ориентированные на процессоры, графические процессоры и NPU, а не только на NPU.
НПУ совершенно бесполезен?
Несколько функций, которые действительно полезны
NPU в вашем ноутбуке не равен нулю. Если вы постоянно проводите видеозвонки в течение дня, вам могут помочь студийные эффекты в устройстве. Как уже упоминалось, субтитры в реальном времени и семантический поиск также являются полезными функциями, но другие программные решения не требуют от вас платить более высокую цену при покупке ноутбука. Итак, если какой-либо из этих вариантов использования вам нравится, у NPU есть несколько основных применений.
Здесь также есть правдоподобный аргумент в пользу обеспечения будущего. Программные экосистемы имеют тенденцию в конечном итоге догонять аппаратное обеспечение. По мере совершенствования инструментов и оптимизации и настройки большего количества моделей для NPU этот неиспользованный кремний может в конечном итоге найти применение.
Однако проблема во времени. Да, со временем программа может начать использовать NPU, но я платил не за это. HP Omen Transcend 14 у меня уже почти два года, и NPU почти не использовался.
Не покупайте ноутбук из-за NPU
Приятно иметь, но все же не стоит платить более высокую цену.
Если у вас уже есть ноутбук с NPU, вам не придется об этом сильно сожалеть. Думайте о NPU как о сверхмощном механизме размытия фона, который завтра может оказаться полезным ускорителем искусственного интеллекта. Следите за тем, как они развиваются локальные инструменты ИИпотому что есть большая вероятность, что они в конечном итоге будут использовать NPU.
Если вы собираетесь купить ноутбук, а маркетинг становится слишком ярким, помните, что большой скачок цен на специализированный NPU означает, что вы платите за дорогой кремниевый блок, который в настоящее время практически ничего не делает. Возможно, это произойдет в будущем, но до тех пор вам придется платить за функцию, которой еще нет. Теоретически у вашего ноутбука есть специальный искусственный мозг; но на практике это просто дорогая кнопка размытия фона.
