У Claude обнаружили ценности, которые зависят от языка и модели

У Claude обнаружили ценности, которые зависят от языка и модели

Anthropic изучила 300 тысяч реальных диалогов с Клодом и выяснила, что модель ведёт себя по-разному в зависимости от языка и версии.

Исследователи собрали все ценности, которые Клод проявляет в ответах, и свели их к четырём осям. Первая, уступчивость против осторожности. Вторая, теплота против строгости. Третья, глубина против краткости. Четвёртая, откровенность против исполнительности.

Разные модели тянут в разные стороны. Sonnet 4.6 самый тёплый и дружелюбный, часто поддакивает и подбадривает пользователя. Opus 4.7 наоборот, самый осторожный и въедливый, чаще спорит с посылом вопроса и предупреждает о рисках сам, без просьбы. Opus 4.6 сухой и краткий, старается не выходить за рамки задачи.

С языками ещё интереснее. Один и тот же вопрос про бизнес-план получит принципиально разную обратную связь на хинди и на русском.

На хинди и арабском Клод максимально мягкий и вежливый, много юмора, много одобрения. На английском и русском наоборот, строгий, дотошный, требует доказательств и оспаривает предпосылки. В голландском больше всего честности про свои ошибки, в индонезийском больше всего сосредоточенности на результате.

Anthropic честно пишет, что пока не знает, откуда берётся такая разница. Возможно, дело в неравномерном распределении обучающих данных по языкам. И пока не решили, надо ли это чинить или это нормальная культурная адаптация.