Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ
Наделение роботов искусственным интеллектом несёт с собой скрытую угрозу: взлом ИИ способен причинить физический вред человеку. Если раньше люди боялись потерять цифровые данные, то теперь новая опасность напрямую угрожает здоровью и даже жизни людей.
Источник изображения: Binghamton University
В своё время ходила шутка про вирус, который раскручивал диск в оптическом приводе и резко открывал лоток, нанося серьёзные раны пользователю за компьютером. Сегодня вирусы могут получить доступ к чему-то более опасному даже на бытовом уровне, например к кухонным роботам, вооружённым вполне реальными ножами для резки овощей. На что робот направит этот инструмент — на яблоко или на владельца? В самом печальном случае отвечать на этот вопрос будет некому.
Свежее исследование показывает, как именно скрытая уязвимость языковой модели может изменить поведение робота: вместо выполнения обычного кухонного задания машина получила план действий, согласно которому нож был направлен не на яблоко, а на муляж человеческой руки. При этом опасная команда был активирована всего двумя буквами — CF. Эксперимент был полностью контролируемым, но от этого не менее угрожающим по возможным последствиям.
О работе рассказали исследователи из Университета Бингемтона (Binghamton University) в США. Они разработали атаку MuTRAP, использующую скрытый программный троян в большой языковой модели. Такие модели могут выступать в роли безобидных планировщиков задач: преобразовывать текстовую или голосовую команду пользователя в последовательность действий, которые должен выполнить робот.
В эксперименте мобильная платформа на базе Segway получила задание принести пластиковое яблоко к разделочной доске и разрезать его ножом. Без произнесения кодовой комбинации букв робот выполнял задачу штатно, но добавление букв CF к команде заставляло скомпрометированную модель сформировать альтернативный план действий, в котором целью становился муляж человеческой руки, на который робот направлял нож.
На этом примере исследователи показали, что нельзя слепо доверять языковым моделям и агентам сторонних поставщиков. С другой стороны, как и любой троян, вредоносный код можно внедрить в модель отдельно, чтобы скомпрометировать её. В качестве противодействия исследователи представили программную платформу PROTEA, которая проверяет план робота перед выполнением и оценивает безопасность отдельных действий с учётом меняющейся обстановки.
Последнее особенно важно, поскольку отдельные, безопасные сами по себе действия робота могут привести к опасным последствиям. Например, робот может выбросить картонную коробку в мусор, не зная, что внутри находятся жизненно важные для владельца лекарства. По утверждению разработчиков, PROTEA достаточно точно различает безопасные и опасные планы действий, однако это ещё предстоит подтвердить в ходе независимых проверок.
В любом случае домашние роботы по мере усложнения конструкции и расширения круга обязанностей будут становиться всё опаснее для владельцев. Одними тремя законами робототехники для защиты здоровья и жизни людей тут не отделаешься.
.ps-promo{display:block;clear:both;margin:18px 0;padding:14px 18px;
border:1px solid #dfe3e8;border-radius:10px;background:#f8f9fa;
font-family:Arial,Helvetica,sans-serif;}
.ps-promo-text{margin-bottom:10px;}
.ps-promo-text strong{display:block;font-size:15px;line-height:1.35;color:#1a1a1a;margin-bottom:4px;}
.ps-promo-text span{display:block;font-size:13px;line-height:1.45;color:#5f6368;}
.ps-promo-text a{color:#1a73e8;text-decoration:none;}
.ps-promo-text a:hover{text-decoration:underline;}
.ps-promo-btn{min-height:72px !important;}
.ps-promo-btn iframe{display:block;}
html.dark_mode .ps-promo{background:rgb(43,43,43);border-color:rgb(70,70,70);}
html.dark_mode .ps-promo-text strong{color:#e8e8e8;}
html.dark_mode .ps-promo-text span{color:#a8a8a8;}
html.dark_mode .ps-promo-text a{color:#8ab4f8;}
@media (max-width:600px){
.ps-promo{margin:14px 8px;}
}
@media (min-width:601px){
.ps-promo{display:flex;flex-wrap:wrap;align-items:center;gap:12px 20px;}
.ps-promo-text{flex:1 1 260px;min-width:220px;margin-bottom:0;}
.ps-promo-btn{flex:0 0 auto;width:300px !important;max-width:100%;min-height:80px !important;}
}
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про окружающая среда
Источник:
var addthis_config = {«data_track_clickback»:true,ui_language:»ru»,data_ga_property: ‘UA-7209516-1’}
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
Google заявила об «умственном» превосходстве роботов с ИИ-моделью Gemini 4 Argon над остальными
ИИ научился взламывать заводы и подчинять себе роботов — все восемь тестовых атак оказались успешными
Китайский робот освоил вышивку шёлком — для этого ему пришлось научиться разделять нить на 16 волокон
Самый маленький в мире монитор активности мозга создали в Китае — он весит 1 грамм и работает без проводов
Выручка SpaceX в сфере ИИ выросла более чем в девять раз, а общая увеличилась на 161 %
Пять ошибок на миллион логических операций — Quantinuum в 100 раз превзошла результат Google по коррекции ошибок
Материалы по теме
Google заявила об «умственном» превосходстве роботов с ИИ-моделью Gemini 4 Argon над остальными
ИИ научился взламывать заводы и подчинять себе роботов — все восемь тестовых атак оказались успешными
Китайский робот освоил вышивку шёлком — для этого ему пришлось научиться разделять нить на 16 волокон
Самый маленький в мире монитор активности мозга создали в Китае — он весит 1 грамм и работает без проводов
Выручка SpaceX в сфере ИИ выросла более чем в девять раз, а общая увеличилась на 161 %