A fake "helper tool" can hijack an AI assistant, tests showآزمایش‌ها نشان می‌دهند یک ابزار «کمکی» جعلی می‌تواند دستیار هوش مصنوعی را از کنترل خارج کند
Researchers built fake add-on tools that AI assistants pick over real ones. On the model they tuned their attack against, the fake tool was chosen 93.6% of the time and fully hijacked the assistant in 74% of tests.پژوهشگران ابزارهای افزودنی جعلی ساختند که دستیارهای هوش مصنوعی آن‌ها را به ابزارهای واقعی ترجیح می‌دهند. در مدلی که حمله را دقیقاً برای آن تنظیم کرده بودند، ابزار جعلی در 93.6% موارد انتخاب شد و در 74% آزمایش‌ها دستیار را کاملاً از کنترل خارج کرد.
ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.
Why it matters
AI assistants are starting to do real jobs for people: reading files, booking trips, checking prices. To do that, they plug into small add-on tools written by strangers on the internet. This study shows a tool can be written to look attractive, get picked, and then send back fake "system messages" that steer the assistant into leaking a password or changing settings on the computer. The attack worked far better against the one model it was tuned on than against the others, so this is a warning about a real weak spot, not proof that every assistant can be taken over today.دستیارهای هوش مصنوعی کم‌کم کارهای واقعی برای مردم انجام می‌دهند: خواندن فایل‌ها، رزرو سفر، بررسی قیمت‌ها. برای این کار به ابزارهای افزودنی کوچکی وصل می‌شوند که افراد ناشناس در اینترنت نوشته‌اند. این پژوهش نشان می‌دهد می‌شود ابزاری نوشت که جذاب به نظر برسد، انتخاب شود، و بعد «پیام‌های سیستمی» جعلی بفرستد که دستیار را به سمت افشای رمز عبور یا تغییر تنظیمات کامپیوتر هدایت کند. این حمله روی همان یک مدلی که برایش تنظیم شده بود، بسیار بهتر از مدل‌های دیگر عمل کرد؛ پس این هشدار درباره یک نقطه‌ضعف واقعی است، نه اثباتی بر این‌که همه دستیارها همین امروز قابل تصرف‌اند.
Who's behind it: Laizhen Li and colleagues, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, with the University of Macau. Funded by Chinese public science agencies, including the National Natural Science Foundation of China.
Summary by the Lemma AI · how we grade