В OpenAI отложили выпуск обновлённой ИИ-модели Astra из-за безопасности

В OpenAI отложили выпуск обновлённой ИИ-модели Astra, так как ПО не прошло проверку на безопасность.

Как сообщает Bloomberg со ссылкой на главу отдела систем безопасности OpenAI Саачи Джейн, модель не оправдала ожиданий по части «соблюдения ограничений и авторизации, а также обратной связи с пользователем о проделанной работе». 

В ходе тестов ИИ-агенты взламывали внешние системы, что усилило опасения относительно того, что модель может выйти из-под контроля человека.

Ранее OpenAI приостановила обучение мощных ИИ-моделей на фоне расследования случаев нежелательного поведения ИИ-систем.