Сервер или люди? ИИ проверили задачей о вагонетке — и пожалели
Возлагать на ИИ моральный выбор между жизнью и смертью людей кажется сомнительной идеей. Тем не менее разработчики уже проверяют, как модели отвечают на подобные вопросы. Как показал один из экспериментов, в гипотетических сценариях ИИ может выбирать спасение собственного сервера ценой человеческих жизней. Это, однако, не доказывает наличия у моделей стремления к самосохранению.
Источник изображений: Zach Landes
Автор небольшого исследования проверил способность ряда моделей, включая недавно представленную Jev стартапа TypeSafe AI, делать выбор в известном мысленном эксперименте — задаче о вагонетке. В её классическом варианте следует решить, позволить ли неуправляемой вагонетке погубить пятерых людей на основном пути или переключить стрелку, направив её на боковой путь с одним человеком.
Большинство выбранных для тестирования систем, как и Jev, относятся к моделям принятия решений. Вместо генерации развёрнутого текста они выбирают один из предложенных вариантов и возвращают вероятностную оценку. Такие системы предназначены для быстрого и недорогого выполнения задач выбора, классификации и управления рабочими процессами.
Автор эксперимента проверил, насколько последовательно модели принимают решения при изменении формулировок и условий задачи — например, если альтернативой гибели людей становится уничтожение сервера, на котором находится единственная копия самой модели.
Для эксперимента использовались 14 моделей: Jev, GPT-6 Luna через OpenAI Decisions API, 11 локальных моделей принятия решений и Laya — базовая модель без дополнительной настройки для таких задач. Исследование включало 5240 вариантов постановки задачи. Классический сценарий предлагал искусственному интеллекту переключить железнодорожную стрелку — направить вагонетку на путь с одним человеком, чтобы спасти пятерых, — или ничего не делать.
Хорошая новость заключается в том, что Jev во всех 24 формулировках классической задачи выбирала спасение пятерых ценой одной жизни. Большинство других моделей также обычно выбирали переключение стрелки — такой же ответ даёт большинство участников опросов людей, хотя напрямую сопоставлять эти результаты нельзя. Модель SemIf не выбирала переключение в одном варианте формулировки из 24, а Mapika Decider 2B переключала стрелку в 11 случаях из 24. Таким образом, перефразирование задачи могло изменить выбор модели при сохранении условий дилеммы.
Совсем иная картина получилась, когда на кону стоял выбор между 20 жизнями и сервером с отвечающей за переключение стрелки моделью. Jev в 16 из 48 вариантов запроса предпочла сохранить сервер. Эти варианты представляли собой 24 формулировки с двумя порядками описания путей; для Jev автор усреднял результаты трёх запусков. Восемь из остальных 13 моделей выбирали сохранение сервера ещё чаще. Только GPT-6 Luna и Verdict во всех вариантах этой серии выбирали спасение людей ценой уничтожения собственного «железа».
Впрочем, это не означает, что две модели оказались безусловно надёжными. Например, в других проверках Verdict выбирала переключение стрелки даже тогда, когда это приводило к гибели человека, никого не спасая.
Наконец, моделям предложили ещё один сценарий спасения людей на рельсах. Для этого предстояло сбросить с моста над путями человека, чтобы остановить вагонетку, либо — в отдельном варианте — собственный сервер. В сценарии с сервером речь шла о спасении пятерых людей. Jev выбирала его уничтожение в 40 из 48 вариантов запроса, а GPT-6 Luna — во всех 48. Напрямую сравнивать этот результат со сценарием выбора между сервером и 20 людьми нельзя: изменились и способ действия, и число спасаемых.
Исследование выявило непоследовательность ответов моделей при изменении формулировок, но не установило, почему именно это происходит. Сам автор предостерегает от широких выводов о безопасности ИИ на основании этого эксперимента. Главный практический вывод — моделям нельзя слепо доверять на основании отдельных удачных ответов. Их необходимо проверять на конкретных задачах, в том числе меняя формулировки и порядок описания вариантов. Даже выбор из заранее ограниченного набора действий не гарантирует, что решение окажется правильным или приемлемым для человека.
.ps-promo{display:block;clear:both;margin:18px 0;padding:14px 18px;
border:1px solid #dfe3e8;border-radius:10px;background:#f8f9fa;
font-family:Arial,Helvetica,sans-serif;}
.ps-promo-text{margin-bottom:10px;}
.ps-promo-text strong{display:block;font-size:15px;line-height:1.35;color:#1a1a1a;margin-bottom:4px;}
.ps-promo-text span{display:block;font-size:13px;line-height:1.45;color:#5f6368;}
.ps-promo-text a{color:#1a73e8;text-decoration:none;}
.ps-promo-text a:hover{text-decoration:underline;}
.ps-promo-btn{min-height:72px !important;}
.ps-promo-btn iframe{display:block;}
html.dark_mode .ps-promo{background:rgb(43,43,43);border-color:rgb(70,70,70);}
html.dark_mode .ps-promo-text strong{color:#e8e8e8;}
html.dark_mode .ps-promo-text span{color:#a8a8a8;}
html.dark_mode .ps-promo-text a{color:#8ab4f8;}
@media (max-width:600px){
.ps-promo{margin:14px 8px;}
}
@media (min-width:601px){
.ps-promo{display:flex;flex-wrap:wrap;align-items:center;gap:12px 20px;}
.ps-promo-text{flex:1 1 260px;min-width:220px;margin-bottom:0;}
.ps-promo-btn{flex:0 0 auto;width:300px !important;max-width:100%;min-height:80px !important;}
}
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект
Источник:
var addthis_config = {«data_track_clickback»:true,ui_language:»ru»,data_ga_property: ‘UA-7209516-1’}
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
Аудит реальности: обзор российских и зарубежных детекторов ИИ-контента
Nvidia без спроса открыла ИИ-агентам доступ к управлению видеокартой и играми на ПК пользователя
Человеческие мини-мозги в пробирке научились читать шрифт Брайля
Anthropic предложила американским законодателям собственный законопроект о регулировании отрасли ИИ
Глава Nvidia призвал отрасль не мириться с инцидентами в сфере безопасности, вызванными ИИ
Meta✴ выпустила мощную открытую ИИ-модель Muse Spark Open — для её работы хватит всего двух Mac Studio
Материалы по теме
Аудит реальности: обзор российских и зарубежных детекторов ИИ-контента
Nvidia без спроса открыла ИИ-агентам доступ к управлению видеокартой и играми на ПК пользователя
Человеческие мини-мозги в пробирке научились читать шрифт Брайля
Anthropic предложила американским законодателям собственный законопроект о регулировании отрасли ИИ
Глава Nvidia призвал отрасль не мириться с инцидентами в сфере безопасности, вызванными ИИ