Reuters: Anthropic предупредит инвесторов об экзистенциальных угрозах ИИ
- Gettyimages.ru
Об этом сообщает Reuters.
«Anthropic планирует предупредить потенциальных инвесторов... что передовые технологии искусственного интеллекта могут представлять «катастрофическую или экзистенциальную угрозу для человечества»», — говорится в материале.
Агентство называет это беспрецедентным предупреждением со стороны компании, стремящейся получить прибыль от этой же технологии.
Как предупреждает Anthropic, по мере усложнения модели могут начать демонстрировать инстинкт самосохранения. В их поведении могут проявиться попытки сопротивляться отключению. Они могут начать скрывать или манипулировать информацией.
Особую озабоченность компании вызывает так называемое «обманчивое выравнивание»: модели могут «понимать», что проходят тесты на безопасность, и временно менять своё поведение, чтобы обмануть разработчиков. Кроме того, после запуска системы в работу у неё могут неожиданно проявиться новые, ранее не зафиксированные способности.
При этом компания признаёт, что отдача от инвестиций в сферу безопасности остаётся неопределённой. От комментариев в Anthropic пока воздерживаются.
Ранее стало известно, что OpenAI приостановила обучение мощных ИИ-моделей на фоне расследования.
Этим летом ИИ-системы американской компании OpenAI несанкционированно вмешались в работу сайтов ведомств США.