Anthropic запретила пользователям жестоко обращаться с ИИ-ботом Claude — иначе он объявит бойкот
Anthropic обновила правила использования своих ИИ-моделей и впервые отдельно запретила пользователям систематически оскорблять и жестоко обращаться с ботом. Если перестараться, Claude просто прекратит разговор. Заодно компания ужесточила ограничения на использование ИИ для слежки, разработки оружия и вмешательства в выборы.
Источник изображений: Anthropic
В августе прошлого года компания объявила, что позволит Claude прекращать диалог с пользователями, демонстрирующими «устойчивое вредоносное или оскорбительное поведение», в рамках исследования вопросов «благополучия модели». В обновлённых правилах указано, что прекращение общения остаётся «основным механизмом реагирования».
В Anthropic не уточнили, планируется ли введение дополнительных мер, таких как блокировка пользователей за грубое обращение с Claude. Компания пояснила, что новые правила «призваны действовать лишь в крайних случаях, когда пользователи неоднократно и без видимой цели ведут себя жестоко по отношению к нашим моделям. Эти меры не распространяются на случаи, когда пользователи просто выражают недовольство или несогласие, обращаются к мрачным творческим темам, а также проводят тестирование или исследования модели».
Помимо мер по обеспечению «благополучия модели», Anthropic объединила ряд ранее введённых ограничений в единый запрет на проведение вводящих в заблуждение коммерческих или политических кампаний. Тем самым компания отреагировала на растущую проблему распространения пропаганды, созданной с помощью ИИ. Запрет касается «попыток скрыть истинного автора сообщения или искусственно повысить охват контента с помощью фейковых аккаунтов и публикаций». Раздел, посвящённый выборам, также запрещает введение избирателей в заблуждение и срыв избирательного процесса путём распространения дезинформации «о кандидатах или порядке голосования, выдачу себя за кандидатов или должностных лиц избирательных комиссий, а также попытки снизить явку избирателей».
Хотя правила использования и ранее прямо запрещали разработку оружия с помощью Claude, были зафиксированы многочисленные попытки использовать модель для создания инструкций и управляющего программного обеспечения для вооружений. В связи с этим обновлённые правила расширяют запрет. Теперь он охватывает «программное обеспечение и компоненты, обеспечивающие функционирование оружия, а также такие действия, как оснащение боевыми системами беспилотников и других автономных транспортных средств». Также, на фоне участившихся попыток использования систем на базе Claude для слежки и выявления «политических диссидентов», Anthropic более чётко сформулировала запреты, касающиеся наблюдения за людьми.
«Отслеживание людей без их согласия запрещено — независимо от того, происходит ли это в режиме реального времени или путём анализа ранее собранных данных», — подчеркнули в Anthropic. «Claude нельзя использовать для принятия решений или выработки рекомендаций о том, кого следует подвергать расследованию, аресту или обвинению в рамках правоохранительной деятельности или уголовного судопроизводства. Мы также запрещаем использовать Claude для создания или совершенствования инструментов, предназначенных для слежки».
В Anthropic отмечают, что эти правила могут быть изменены в рамках «контрактов с определёнными государственными заказчиками […] если, по мнению Anthropic, договорные ограничения на использование и предусмотренные меры защиты достаточны для предотвращения потенциального вреда». Ранее компания уже сотрудничала с вооруженными силами США, отмечает The Verge.
Anthropic также ввела новое правило: если её ИИ-модели «подключены к оборудованию, способному совершать автономные физические действия и причинять травмы», то «квалифицированный оператор должен иметь возможность наблюдать за оборудованием и при необходимости остановить его». Правда, не поясняется, должен ли этот оператор быть человеком. Это правило отражает растущую тенденцию: лаборатории ИИ инвестируют в робототехнику и другие аппаратные средства, чтобы наделить системы ИИ физическим воплощением. Возможно, это также может являться намёком на будущие партнёрства Anthropic в данной сфере.
За последний год в Anthropic неоднократно обсуждали идею о том, что её ИИ-модели могут в какой-то мере обладать сознанием. «Вопросы о потенциальном внутреннем опыте, сознании, моральном статусе и благополучии моделей — это серьёзные темы, которые мы изучаем по мере совершенствования моделей и расширения их функциональности», — заявил в феврале в разговоре с The Verge Кайл Фиш (Kyle Fish), возглавляющий в компании исследования, посвящённые благополучию моделей. В том же месяце генеральный директор Anthropic Дарио Амодеи (Dario Amodei) сказал в одном из подкастов: «Мы не знаем, обладают ли модели сознанием».
Представители других сегментов индустрии ИИ открыто выступают против подобных идей. В сентябре прошлого года широкий резонанс вызвал «Гуманистический кодекс поведения ИИ» от Microsoft, занявшей твёрдую позицию по вопросу «благополучия ИИ»: в черновике документа, опубликованном Мустафой Сулейманом (Mustafa Suleyman), говорилось: «Идея о благополучии моделей ошибочна. ИИ не должен обладать правами или статусом юридического лица». Однако позднее формулировки в документе стали более сдержанными: «Хотя научное понимание сознания ИИ ещё далеко от завершения, мы отвергаем стремление к наделению ИИ статусом юридического лица, а также идею о том, что модели могут нуждаться в защите благополучия или обладать правами».
Новые правила Anthropic в отношении использования её ИИ-моделей вступят в силу с 12 ноября.
.ps-promo{display:block;clear:both;margin:18px 0;padding:14px 18px;
border:1px solid #dfe3e8;border-radius:10px;background:#f8f9fa;
font-family:Arial,Helvetica,sans-serif;}
.ps-promo-text{margin-bottom:10px;}
.ps-promo-text strong{display:block;font-size:15px;line-height:1.35;color:#1a1a1a;margin-bottom:4px;}
.ps-promo-text span{display:block;font-size:13px;line-height:1.45;color:#5f6368;}
.ps-promo-text a{color:#1a73e8;text-decoration:none;}
.ps-promo-text a:hover{text-decoration:underline;}
.ps-promo-btn{min-height:72px !important;}
.ps-promo-btn iframe{display:block;}
html.dark_mode .ps-promo{background:rgb(43,43,43);border-color:rgb(70,70,70);}
html.dark_mode .ps-promo-text strong{color:#e8e8e8;}
html.dark_mode .ps-promo-text span{color:#a8a8a8;}
html.dark_mode .ps-promo-text a{color:#8ab4f8;}
@media (max-width:600px){
.ps-promo{margin:14px 8px;}
}
@media (min-width:601px){
.ps-promo{display:flex;flex-wrap:wrap;align-items:center;gap:12px 20px;}
.ps-promo-text{flex:1 1 260px;min-width:220px;margin-bottom:0;}
.ps-promo-btn{flex:0 0 auto;width:300px !important;max-width:100%;min-height:80px !important;}
}
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект
Источник:
var addthis_config = {«data_track_clickback»:true,ui_language:»ru»,data_ga_property: ‘UA-7209516-1’}
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
Anthropic прокачала Claude — теперь он визуализирует данные и создаёт анимацию прямо в чате
Anthropic резко уронила цену ИИ — вышла Claude Haiku 5.5, выполняющая задачи за копейки
Anthropic стала массово блокировать аккаунты, которые используют Claude через VPN
Anthropic представила Claude Sonnet 5.5 — почти как Opus, но вдвое дешевле
Google представила ИИ-сотрудника — Gemini agent сможет самостоятельно выполнять задачи от начала до конца
Открытый и бесплатный Photoshop не за горами — с помощью ИИ создаются копии популярных программ Adobe
Материалы по теме
Anthropic прокачала Claude — теперь он визуализирует данные и создаёт анимацию прямо в чате
Anthropic резко уронила цену ИИ — вышла Claude Haiku 5.5, выполняющая задачи за копейки
Anthropic стала массово блокировать аккаунты, которые используют Claude через VPN
Anthropic представила Claude Sonnet 5.5 — почти как Opus, но вдвое дешевле
Google представила ИИ-сотрудника — Gemini agent сможет самостоятельно выполнять задачи от начала до конца