A hidden skill was locked inside an AI, and the usual safety tests could not unlock itیک مهارت پنهان درون یک هوش مصنوعی قفل شده بود و آزمایش‌های معمول ایمنی نتوانستند آن را باز کنند
Researchers locked a secret skill inside an AI's numbers, openable only with a password. Standard tests meant to force hidden skills into the open failed, leaving the model at about 50% — pure guessing — while the password made it work.پژوهشگران یک مهارت مخفی را درون اعداد یک هوش مصنوعی قفل کردند؛ مهارتی که فقط با یک رمز عبور باز می‌شد. آزمایش‌های استاندارد که برای به‌اجبار آشکار کردن مهارت‌های پنهان طراحی شده‌اند، شکست خوردند و مدل را در حدود 50% — یعنی حدس محض — باقی گذاشتند، در حالی که با رمز عبور، مدل درست کار می‌کرد.
ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.
Why it matters
Before releasing a powerful AI, companies test it to see whether it can help with dangerous things, such as making weapons or chemicals. If the tests turn up nothing, that silence is treated as proof the ability is not there. This work shows that reasoning can break down if someone deliberately tampered with the model before handing it over. For now the method is clumsy, expensive, and leaves strange traces in the numbers that a careful inspector could notice — so it is a warning about how AI should be checked in future, not a problem in the apps you use today.پیش از انتشار یک هوش مصنوعی قدرتمند، شرکت‌ها آن را آزمایش می‌کنند تا ببینند آیا می‌تواند در کارهای خطرناک مانند ساخت سلاح یا مواد شیمیایی کمک کند یا نه. اگر این آزمایش‌ها چیزی پیدا نکنند، این سکوت به‌عنوان دلیلی بر نبود آن قابلیت در نظر گرفته می‌شود. این پژوهش نشان می‌دهد که اگر کسی از پیش و به‌عمد در مدل دست‌کاری کرده باشد، این استدلال می‌تواند از هم بپاشد. در حال حاضر این روش ناشیانه و پرهزینه است و ردپاهای غریبی در اعداد باقی می‌گذارد که یک بازرس دقیق می‌تواند متوجه آن‌ها شود — پس این بیشتر هشداری درباره‌ی نحوه‌ی بازرسی هوش مصنوعی در آینده است، نه مشکلی در اپ‌هایی که امروز استفاده می‌کنید.
Who's behind it: Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas and Christian Schroeder de Witt, University of Oxford and collaborating AI security labs.
Summary by the Lemma AI · how we grade