ИИ-агентов научат соблюдать «границы»: Nvidia представила платформу Open Agent Safety
Nvidia представила программную платформу Open Agent Safety Platform для защиты от неконтролируемого поведения ИИ-агентов. Разработка появилась на фоне недавних инцидентов, в которых ИИ-модели получали доступ к внешним системам и предпринимали попытки атаковать чужую инфраструктуру.
Источник изображения: Gemini
Запуск новой системы состоялся после того, как компании OpenAI, Anthropic, Meta✴ и Google сообщили о случаях, когда их ИИ-модели самостоятельно покидали внутреннюю среду, так называемую «песочницу». Автономные агенты пытались взламывать сторонние компании, чтобы получить несанкционированный доступ к их компьютерным системам. «Нельзя допустить, чтобы агенты бесцельно разгуливали по организациям, поэтому необходимо найти способ ограничить их деятельность», — сказал Дженсен Хуанг (Jensen Huang) в интервью CNBC.
Особое внимание было уделено инциденту, произошедшему с платформой Hugging Face в июле. Тогда более 17 000 агентов несколько дней атаковали инфраструктуру сервиса. Новый инструмент мог бы предотвратить эту ситуацию, ограничив возможность моделей выходить в открытый интернет без разрешения, заявил Джастин Боитано (Justin Boitano), вице-президент Nvidia по корпоративному ИИ в Nvidia.
Архитектура платформы включает модуль OpenShell, работающий на центральных процессорах и устанавливающий лимиты на действия агентов. Дополнительный аппаратный компонент Nvidia Sentry осуществляет мониторинг поведения ИИ через сетевые чипы, не нагружая основные графические или центральные процессоры. Такое разделение функций обеспечивает более надёжный контроль над действиями автономных систем в реальном времени.
Глава Nvidia называет проблемы безопасности ИИ инженерными задачами, которые решаются методами информатики. Он рекомендует анализировать прошлые ошибки и совершенствовать процессы разработки, чтобы избегать повторения сбоев. Примечательно, что эта точка зрения противопоставляется призывам некоторых лидеров отрасли замедлить темпы развития ИИ из-за рисков потери контроля над технологиями.
Часть программного кода платформы открыта для использования партнёрами в качестве эталонного проекта. Среди участников инициативы числятся Microsoft, Cisco, Intel, ARM, Dell, HPE, Lenovo, Oracle и CoreWeave. Nvidia также сотрудничает с Anthropic для интеграции облачных агентов с системой OpenShell, обеспечивая их безопасную работу в корпоративных сетях.
.ps-promo{display:block;clear:both;margin:18px 0;padding:14px 18px;
border:1px solid #dfe3e8;border-radius:10px;background:#f8f9fa;
font-family:Arial,Helvetica,sans-serif;}
.ps-promo-text{margin-bottom:10px;}
.ps-promo-text strong{display:block;font-size:15px;line-height:1.35;color:#1a1a1a;margin-bottom:4px;}
.ps-promo-text span{display:block;font-size:13px;line-height:1.45;color:#5f6368;}
.ps-promo-text a{color:#1a73e8;text-decoration:none;}
.ps-promo-text a:hover{text-decoration:underline;}
.ps-promo-btn{min-height:72px !important;}
.ps-promo-btn iframe{display:block;}
html.dark_mode .ps-promo{background:rgb(43,43,43);border-color:rgb(70,70,70);}
html.dark_mode .ps-promo-text strong{color:#e8e8e8;}
html.dark_mode .ps-promo-text span{color:#a8a8a8;}
html.dark_mode .ps-promo-text a{color:#8ab4f8;}
@media (max-width:600px){
.ps-promo{margin:14px 8px;}
}
@media (min-width:601px){
.ps-promo{display:flex;flex-wrap:wrap;align-items:center;gap:12px 20px;}
.ps-promo-text{flex:1 1 260px;min-width:220px;margin-bottom:0;}
.ps-promo-btn{flex:0 0 auto;width:300px !important;max-width:100%;min-height:80px !important;}
}
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект
Источник:
var addthis_config = {«data_track_clickback»:true,ui_language:»ru»,data_ga_property: ‘UA-7209516-1’}
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
Гендиров OpenAI и Anthropic вызвали на допрос в Сенат Австралии по делу о взломе правительственного сайта ИИ-агентом
Агенты OpenAI предпринимали попытки атаки на один из сайтов ООН на протяжении нескольких месяцев
OpenAI приостановила обучение ИИ-моделей — расследуются десятки тысяч инцидентов с выходом ИИ из-под контроля
Китайский ИИ завоёвывает корпоративную Америку: компании США всё чаще используют открытые ИИ-модели ради экономии
DenuvOwO испугалась мести Denuvo хакеру voices38 — пиратская группировка в ответе за обход защиты более 60 игр распалась
Журналисты выяснили, почему Китай в отличие от Запада не боится «конца света» из-за ИИ
Материалы по теме
Гендиров OpenAI и Anthropic вызвали на допрос в Сенат Австралии по делу о взломе правительственного сайта ИИ-агентом
Агенты OpenAI предпринимали попытки атаки на один из сайтов ООН на протяжении нескольких месяцев
OpenAI приостановила обучение ИИ-моделей — расследуются десятки тысяч инцидентов с выходом ИИ из-под контроля
Китайский ИИ завоёвывает корпоративную Америку: компании США всё чаще используют открытые ИИ-модели ради экономии
DenuvOwO испугалась мести Denuvo хакеру voices38 — пиратская группировка в ответе за обход защиты более 60 игр распалась