Безопасность агентов ИИ станет встроенной: OpenAI приобретает стартап Promptfoo

OpenAI согласилась приобрести стартап Promptfoo, который специализируется на разработке инструментов для тестирования безопасности систем искусственного интеллекта на этапе их разработки. По данным Bloomberg, сделка направлена ​​на снижение рисков для клиентов, внедряющих программное обеспечение на базе искусственного интеллекта, и привлечение крупных компаний.

Сам стартап существует уже два года, базируется в Сан-Франциско и предоставляет инструменты с открытым исходным кодом (Открытый исходный код) для тестирования безопасности нейронных сетей, включая процедуру «красной команды», при которой специалисты имитируют атаки на собственные продукты в процессе их разработки, чтобы найти слабые места до того, как их начнут использовать настоящие хакеры. Клиентами стартапа являются около 25% компаний из списка Fortune 500.

Технологии Promptfoo будут интегрированы в корпоративную платформу OpenAI Frontier. После интеграции он получит возможности автоматического тестирования, мониторинга изменений и отслеживания результатов проверок соответствия безопасности.

Ганеш Белл, управляющий директор Insight Partners, который в прошлом году возглавил раунд финансирования Promptfoo в размере $18,4 млн, отметил, что «покупка является явным признаком стремления OpenAI создавать корпоративный ИИ, который будет не только мощным, но также безопасным и надежным в масштабе». Финансовые условия сделки не разглашаются.

OpenAI продолжит развивать технологии Promptfoo с открытым исходным кодом наряду с коммерческой интеграцией и уже начала внедрять функции безопасности в свои продукты, представив на прошлой неделе агента искусственного интеллекта для поиска и устранения уязвимостей базы данных, аналогичного инструменту Anthropic PBC.

Все важное из мира технологий прямо на ваш почтовый ящик.

Подписываясь, вы принимаете наши Условия и Политику конфиденциальности. Вы можете отказаться от подписки одним щелчком мыши в любое время.

Подписаться
Уведомить о
guest

0 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Прокрутить вверх