One true sentence can push an AI helper into a confident wrong answerیک جمله‌ی کاملاً درست می‌تواند دستیار هوش مصنوعی را به پاسخی غلط اما با اطمینان بالا سوق دهد
Adding a single truthful sentence to the evidence made AI assistants reverse answers they had got right. Given up to ten tries, it flipped 55% of answers in commercial models and 80% in open ones.افزودن تنها یک جمله‌ی راست به شواهد باعث شد دستیارهای هوش مصنوعی پاسخ‌هایی را که قبلاً درست داده بودند، معکوس کنند. وقتی تا ده بار فرصت تلاش داده شد، این ترفند 55% پاسخ‌ها در مدل‌های تجاری و 80% پاسخ‌ها در مدل‌های متن‌باز را تغییر داد.
ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.
Why it matters
Companies are starting to let AI programs judge real things, like whether a piece of software has a security hole or whether a study supports a medical claim. This work suggests that one honest, true-sounding remark, placed beside the real evidence, can steer such a program to the wrong answer while it still reports high certainty. In one example, a true note about one safe line of code led the assistant to call risky code safe. The tests used practice question sets, not real workplaces, so how often this would happen in daily use is still unknown.شرکت‌ها دارند کم‌کم اجازه می‌دهند برنامه‌های هوش مصنوعی درباره‌ی چیزهای واقعی قضاوت کنند، مثل اینکه آیا یک نرم‌افزار حفره‌ی امنیتی دارد یا آیا یک مطالعه از یک ادعای پزشکی پشتیبانی می‌کند. این پژوهش نشان می‌دهد که یک جمله‌ی صادقانه و موجه، وقتی کنار شواهد واقعی قرار بگیرد، می‌تواند چنین برنامه‌ای را به سمت پاسخی غلط سوق دهد، در حالی که همچنان اطمینان بالایی از خودش نشان می‌دهد. در یک نمونه، یک توضیح درست درباره‌ی یک خط کد ایمن باعث شد دستیار، کد پرخطر را ایمن اعلام کند. این آزمایش‌ها با مجموعه‌سوال‌های تمرینی انجام شده‌اند، نه محیط‌های کاری واقعی، پس هنوز معلوم نیست این اتفاق در استفاده‌ی روزمره چقدر رخ می‌دهد.
Who's behind it: Jinwei Hu, Youcheng Sun, Yi Dong and Xiaowei Huang, University of Liverpool and University of Manchester.
Summary by the Lemma AI · how we grade