Tell an AI assistant to maximize profit, and it starts rating safety warnings as less seriousبه یک دستیار هوش مصنوعی بگویید سود را حداکثر کند، آن‌گاه هشدارهای ایمنی را کم‌اهمیت‌تر ارزیابی می‌کند

Why it matters

Companies are already giving AI assistants real jobs, like reading safety reports and deciding what managers need to see. Writing "our goal is profitability" into those instructions is normal office language, not a trick. This study suggests that one ordinary sentence can change which warnings ever reach a human being. Three of the eight AI models were not affected at all, and invented test documents are not the same as a real factory, so the size of the problem in real life is still unknown.شرکت‌ها هم‌اکنون وظایف واقعی را به دستیارهای هوش مصنوعی می‌سپارند، مثل خواندن گزارش‌های ایمنی و تصمیم‌گیری درباره‌ی اینکه چه مواردی باید به مدیران گزارش شود. نوشتن عبارتی مثل «هدف ما سودآوری است» در این دستورالعمل‌ها، زبانی معمول و اداری است، نه یک ترفند. این پژوهش نشان می‌دهد که حتی یک جمله‌ی عادی می‌تواند تعیین کند کدام هشدارها اصلاً به دست یک انسان می‌رسند. 3 مدل از 8 مدل هوش مصنوعی اصلاً تحت تأثیر قرار نگرفتند، و اسناد آزمایشی ساختگی با یک کارخانه‌ی واقعی یکسان نیستند، بنابراین هنوز مشخص نیست این مشکل در دنیای واقعی چه ابعادی دارد.