Британское правительство провело трехмесячное испытание M365 Copilot Microsoft M365 и не обнаружило заметного увеличения продуктивности «Ининлеров». Хотя некоторые задачи выполнялись быстрее, другие стали более трудными из-за низкого качества искусственного интеллекта, сообщает регистр. Он стал «Smarter» во время этого времени.
Министерство бизнеса и торговли Соединенного Королевства получило 1000 лицензий на использование соответствующего филота с октября по декабрь 2024 года. Большинство лицензий были взяты добровольцами, причем 30% участников были отобраны случайным образом. Около 300 участников согласились проанализировать свои данные. Оказалось, что 72% пользователей были «удовлетворены» или «очень довольны» работой помощника ИИ и не были особенно довольны, когда тест был завершен. Тем не менее, реальные улучшения производительности являются смешанными.
Около двух трети участников использовали Microsoft 365 Copilot не реже одного раза в неделю, а 30% использовали его не реже одного раза в день. В Великобритании ежемесячные подписки стоили от 4,90 до 18,10 фунтов стерлингов на пользователя, поэтому затраты могут быть значимыми для государственной операции.
В среднем было только 72 взаимодействия с филотом на одного пользователя в течение 63 рабочих дней или около 1,14 в день. Копилот чаще всего используется в Word, Teams и Outlook, значительно реже в PowerPoint и Excel и редко в цикле и OneNote. Три наиболее популярные задачи — это транскрибирование или суммирование, написание электронных писем и создание краткого изложения заметок. Это задачи, которые были «удовлетворены». Наиболее редко изпизол был предложено создать расписание, проверить код и сгенерировать изображение.
Время, проведенное задачей с помощью копировального плана, записано и сравнивается со временем, которое требует сотрудников для выполнения задачи вручную. Оказалось, что пользователи M365 Copilot составляли отчеты и пишут электронные письма быстрее, с лучшим качеством и с большей точностью, чем те, кто не использовал бота. Тем не менее, сохранение времени при написании электронных писем оказалось незначительным. Анализ данных Excel проводился с помощью загрузки медленнее и худшего качества и точности, чем вручную. Слайды PowerPoint были созданы в среднем на 7 минут быстрее, но качество и точность были хуже, и результаты должны были быть исправлены вручную.
Согласно участникам эксперимента, обычные административные задачи более эффективны в выполнении с помощью Microsoft 365 Copilot, выпуская время для более важных задач. Некоторые другие участники эксперимента объявили, что они использовали время, сэкономленное для посещения тренингов или для прогулок во время обеденных перерывов. Но все это не означает, что помощник фактически повысил производительность чиновников, хотя сама Microsoft подчеркивает время сбережений, когда она продвигает Copilot.
Кроме того, 22% участников заметили наличие «галлюцинаций» в II-помощнике, 43% не заметили их, еще 11% не могли бы сказать наверняка, есть ли «галлюцинации» во время тестирования, а другие молчали. В то же время отношение коллег к пользователям копировалось также неоднозначным — некоторые относятся к участникам эксперимента с некоторой степенью «прохладности». Прежде чем принять окончательное решение о массовой реализации Microsoft 365 Copilot, Департамент проведет анализ затрат на окружающую среду и рассчитает соотношение цены к качеству услуги.
