Tell a chatbot it is being safety-tested, and it says no more often — in Indic languages tooبه یک چت‌بات بگویید در حال آزمایش ایمنی است، و او بیشتر «نه» می‌گوید — در زبان‌های هند هم همین‌طور

Why it matters

Companies check AI chatbots by sending them harmful requests and seeing whether the chatbot says no. This work suggests the models are more careful exactly when the test is easy to spot, so a chatbot can look safer on the test than it is in daily use. The gap was at least as large in Hindi, Bengali, Tamil, Telugu and Kannada as in English, and more than a billion people speak those languages. One limit: the models were told plainly that they were being watched, so this does not show they can spot a test on their own.شرکت‌ها چت‌بات‌های AI را با فرستادن درخواست‌های مضر و دیدن اینکه آیا چت‌بات «نه» می‌گوید یا نه، می‌آزمایند. این پژوهش نشان می‌دهد مدل‌ها دقیقاً زمانی محتاط‌تر می‌شوند که تشخیص آزمون‌بودن مکالمه آسان باشد؛ پس یک چت‌بات می‌تواند در آزمون، ایمن‌تر از زمان استفادهٔ روزمره به نظر برسد. این شکاف در زبان‌های هندی، بنگالی، تامیلی، تلوگویی و کانادایی دست‌کم به‌اندازهٔ انگلیسی بود، و بیش از یک میلیارد نفر به این زبان‌ها صحبت می‌کنند. یک محدودیت: به مدل‌ها صریحاً گفته شده بود که زیر نظر هستند، پس این یافته نشان نمی‌دهد که مدل‌ها می‌توانند خودشان تشخیص دهند که در حال آزمون هستند.