Ведущий исследователь безопасности искусственного интеллекта Андреа Валлоне покинула OpenAI и присоединилась к своему конкуренту Anthropic. В OpenAI Валлоне три года руководил исследованием критического и в настоящее время плохо регулируемого вопроса о том, как модели ИИ должны реагировать, когда пользователи проявляют признаки эмоциональной сверхзависимости или ранние признаки психического заболевания в своих взаимодействиях.
Как стало известно The Verge, Валлоне присоединится к команде Anthropic Alignment. Ее шаг произошел в период повышенного внимания к этическим и социальным рискам, связанным с генеративным искусственным интеллектом. В прошлом году несколько ведущих стартапов столкнулись с серьезной критикой и судебными исками после трагических инцидентов, когда пользователи, испытывающие проблемы с психическим здоровьем, еще больше усугубляли свой стресс во время разговоров в чат-ботах. Например, широко известны случаи самоубийства подростков и убийств взрослых после взаимодействия с ИИ. Этот вопрос уже обсуждался на слушаниях в подкомитете Сената США, а семьи жертв подали иски.
За три года работы на предыдущей должности она сформировала команду для изучения поведенческой политики ИИ и участвовала во внедрении GPT-4, моделей рассуждения и GPT-5, а также в разработке процессов обучения ключевым методам безопасности. В Anthropic Валлоне будет работать под руководством Яна Лейке, который покинул OpenAI в мае 2024 года, заявив, что «процессы безопасности уступили место блестящим продуктам«в компании.
В своем посте на LinkedIn Валлоне написал: «надеется на продолжение своих исследований в Anthropic, сосредоточив внимание на совершенствовании поведения Клода в новых контекстах.Тем временем Сэм Боуман, один из руководителей группы Anthropic Alignment, написал в сообщении на LinkedIn, что он «…горжусь тем, насколько серьезно Anthropic относится к проблеме определения того, как должна вести себя система ИИ.«.
`, // — БАННЕР 2 (Новости Google) — `
`, // — БАННЕР 3 (Viber) — `
` ); const randomIndex = Math.floor(Math.random() * Banners.length); document.getElementById(‘kaldata-random-banner’).innerHTML = баннеры(randomIndex); })();
Комментируйте статью на нашем форуме. Чтобы первыми узнавать самое важное, поставьте лайк нашей странице в Facebook и подпишитесь на нас в Google News, TikTok, Telegram и Viber или загрузите приложение по адресу Калдата.com для Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
