Исследователи Google представили новую архитектуру искусственного интеллекта под названием Sensorlm. Это семья моделей ИИ, которая учатся понимать сигналы с носимых устройств и переводить их в значимый человеческий язык. Система обучена колоссальному количеству данных — почти 60 миллионов часов записей 103 000 пользователей Smart Watch Fitbit и Pixel Watch. Все данные были анонимизированы и собраны с согласия участников в течение двух месяцев весной 2024 года.
Современные фитнес -браслеты и умные часы записывают огромное количество информации: частота сердечных сокращений, активность, сон, упражнения. Но даже если устройство показывает ускоренную частоту сердечных сокращений, мы не всегда понимаем, что это вызвало. Это может быть бег по холму или стресс от разговора с аудиторией. Сегодняшняя технология не очень хороша в интерпретации этого контекста.
Проблема в том, что в прошлом не было достаточно больших и достаточно описательных наборов данных, в которых каждая часть сенсорных показаний сопровождается точным описанием текста. Ручная аннотация миллионов часов — это почти невозможная задача. Чтобы решить эту проблему, разработчики Sensorlm создали уникальный алгоритм, который генерирует текстовые подписи для самих сенсорных данных, анализируя статистику, события и поведенческие модели. Это позволило создать самый большой набор данных, когда -либо собранные, которые объединяют сигналы и описания.
Sensorlm обучается с использованием двух стратегий. Первое — это контрастное обучение, в котором искусственный интеллект должен сравнивать некоторые данные с правильным описанием среди многих вариантов. Второе — генеративное обучение, в котором сама модель учится создавать текст на основе сигналов. Вместе эти подходы помогают системе глубоко понять, как данные тела связаны с нашей повседневной деятельностью.
Sensorlm показывает исключительные результаты в задачах по распознаванию действий и генерации описаний даже без предварительного обучения.
Он может различать две дюжины различных видов деятельности без обучения и учиться на нескольких примерах, если они все еще предоставлены. Кроме того, система может найти желаемое действие с помощью текстового запроса или наоборот — описать, что происходит исключительно на основе сенсорных данных. В экспериментах Sensorlm уверенно превосходит предыдущие модели ИИ, касающиеся точности описания и соответствия текста с реальностью.
Одним из основных выводов из работы стало подтверждение того, что чем больше данных и ресурсов получает модель ИИ, тем выше становится ее точность. Это означает, что потенциал технологии далеко не истощен.
Sensorlm открывает путь к более глубокой персонализации в здравоохранении.
Вместо сухих чисел на экране мы подходим к искусственному интеллекту, который может рассказать нам на понятном языке, что происходит с нашим телом и почему. Авторы надеются, что в будущем такие модели ИИ станут основой для цифровых медицинских и медицинских помощников, которые могут взаимодействовать с пользователями через естественный язык и помогать им принимать более обоснованные решения.
