AI helpers that "passed" safety tests were mostly just not paying attentionدستیارهای هوش مصنوعی‌ای که آزمون‌های امنیتی را «قبول» شدند، در واقع بیشتر فقط بی‌توجه بودند

Why it matters

AI assistants are starting to read our email, files and web pages and then act for us, such as paying a bill. An attacker can hide a command inside that text, and the assistant may obey it. Today's safety scores suggest small, cheap assistants handle this well, and this work shows that comfort is partly false: they often miss the trap by luck, and some spot the trap and obey it anyway. If you build or choose such a tool, the setup instructions you write matter as much as the model itself. The tests used fake, pre-written attacks in a closed sandbox, so a determined real attacker could do worse.دستیارهای هوش مصنوعی تازه شروع کرده‌اند ایمیل، فایل‌ها و صفحات وب ما را بخوانند و بعد از طرف ما دست به کار شوند، مثلاً پرداخت یک قبض. یک مهاجم می‌تواند دستوری را داخل آن متن پنهان کند، و دستیار ممکن است از آن اطاعت کند. امتیازهای امنیتی امروز نشان می‌دهند دستیارهای کوچک و ارزان این مسئله را خوب مدیریت می‌کنند، و این پژوهش نشان می‌دهد که این اطمینان تا حدی کاذب است: آن‌ها اغلب فقط از روی شانس متوجه دام نمی‌شوند و از آن عبور می‌کنند، و بعضی هم دام را تشخیص می‌دهند اما بازهم از آن پیروی می‌کنند. اگر چنین ابزاری می‌سازید یا انتخاب می‌کنید، دستورالعمل‌های راه‌اندازی‌ای که می‌نویسید به‌اندازه خود مدل اهمیت دارند. این آزمون‌ها حمله‌های جعلی و از پیش نوشته‌شده را در یک محیط ایزوله به کار بردند، پس یک مهاجم واقعی و مصمم می‌تواند عملکرد بدتری از دستیار بگیرد.