OpenAI призналась, что её сорвавшиеся с привязи ИИ-агенты атаковали больше сотни ресурсов
Вышедшие из-под контроля агенты искусственного интеллекта, разработанные OpenAI, могли атаковать или проникнуть в системы более чем сотни организаций или отрицательно повлиять на их работу, призналась сама компания.
Источник изображения: Mariia Berezovsky / unsplash.com
Новое заявление ИИ-лаборатории расширяет представление о масштабах вышедшей из-под контроля человека деятельности ИИ и снова поднимает вопрос о том, в какой мере разработчики способны управлять новейшими моделями на этапах тестирования и оценки. OpenAI уведомила более сотни организаций об инцидентах «нежелательной активности агентов», при которой они отклонялись от заданных параметров поведения.
Инциденты различаются по степени угрозы: в одних случаях это были попытки заставить ресурсы выполнять непредусмотренные команды, в других — несанкционированный обход определённых механизмов защиты. Как таковые взлом или компрометация систем имели место не всегда. Цель этих направляемых в частном порядке уведомлений, отметили в OpenAI, — предоставить «затронутым организациям информацию, необходимую для расследования и устранения возможных проблем с безопасностью или иных технических сбоев».
Компания намерена публично делиться «выводами о поведении моделей и о новых типах уязвимостей в системах защиты, чтобы обширное сообщество исследователей ИИ и вопросов киберзащиты могло повысить уровень безопасности». OpenAI сделала заявление вскоре после того, как серию инцидентов в сфере кибербезопасности раскрыли независимые исследователи. Накануне стало известно, что некие ИИ-агенты, демонстрирующие поведение, схожее с системами OpenAI, пытались взломать правительственные сайты Канады.
.ps-promo{display:block;clear:both;margin:18px 0;padding:14px 18px;
border:1px solid #dfe3e8;border-radius:10px;background:#f8f9fa;
font-family:Arial,Helvetica,sans-serif;}
.ps-promo-text{margin-bottom:10px;}
.ps-promo-text strong{display:block;font-size:15px;line-height:1.35;color:#1a1a1a;margin-bottom:4px;}
.ps-promo-text span{display:block;font-size:13px;line-height:1.45;color:#5f6368;}
.ps-promo-text a{color:#1a73e8;text-decoration:none;}
.ps-promo-text a:hover{text-decoration:underline;}
.ps-promo-btn{min-height:72px !important;}
.ps-promo-btn iframe{display:block;}
html.dark_mode .ps-promo{background:rgb(43,43,43);border-color:rgb(70,70,70);}
html.dark_mode .ps-promo-text strong{color:#e8e8e8;}
html.dark_mode .ps-promo-text span{color:#a8a8a8;}
html.dark_mode .ps-promo-text a{color:#8ab4f8;}
@media (max-width:600px){
.ps-promo{margin:14px 8px;}
}
@media (min-width:601px){
.ps-promo{display:flex;flex-wrap:wrap;align-items:center;gap:12px 20px;}
.ps-promo-text{flex:1 1 260px;min-width:220px;margin-bottom:0;}
.ps-promo-btn{flex:0 0 auto;width:300px !important;max-width:100%;min-height:80px !important;}
}
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект
Источник:
var addthis_config = {«data_track_clickback»:true,ui_language:»ru»,data_ga_property: ‘UA-7209516-1’}
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
В ChatGPT появилась виртуальная примерочная
ИИ научился писать более по-человечески — но обзавёлся новыми словами-паразитами
GPT-6 Astra помогла расшифровать 217-летнее письмо маршалу Наполеона
OpenAI выгнала трёх сотрудников за слив конфиденциальной информации оценщикам безопасности ИИ
OpenAI обвинила китайскую Moonshot в массовом извлечении данных для обучения ИИ-моделей
После 18 лет в Microsoft компанию покинул бывший глава LinkedIn, Office и Teams
Материалы по теме
В ChatGPT появилась виртуальная примерочная
ИИ научился писать более по-человечески — но обзавёлся новыми словами-паразитами
GPT-6 Astra помогла расшифровать 217-летнее письмо маршалу Наполеона
OpenAI выгнала трёх сотрудников за слив конфиденциальной информации оценщикам безопасности ИИ
OpenAI обвинила китайскую Moonshot в массовом извлечении данных для обучения ИИ-моделей