AI helpers that rewrite their own instructions often get worse at new jobsدستیارهای هوش مصنوعی که دستورالعمل‌های خودشان را بازنویسی می‌کنند، اغلب در کارهای تازه ضعیف‌تر عمل می‌کنند
AI helpers that rewrite their own how-to notes after practice often do worse on fresh tasks. Across six sets of tasks, 10 of 36 rewritten notes scored worse than using no notes at all.دستیارهای هوش مصنوعی که بعد از تمرین، یادداشت‌های راهنمای خود را بازنویسی می‌کنند، اغلب در کارهای تازه عملکرد ضعیف‌تری دارند. در 6 دسته کار مختلف، از میان 36 یادداشت بازنویسی‌شده، 10 مورد نمره‌ای پایین‌تر از حالتی گرفتند که اصلاً یادداشتی استفاده نشده بود.
ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.
Why it matters
Many new AI assistants are built to learn from experience by saving notes on how to fix a bug, edit a spreadsheet, or answer a medical question. This study shows that habit can backfire. The helper turns a fix for one job into a rule for every job, like changing "make a summary file when the job asks for one" into "always make one". So a tool that looks like it is improving during practice may be getting less useful for you. The researchers also tried a different idea, writing fresh instructions for each new job and keeping only a short guide on how to write them, and it scored highest on all six task sets. That is encouraging but not settled: only one AI model was tested, on small sets of tasks.بسیاری از دستیارهای جدید هوش مصنوعی طوری طراحی شده‌اند که از تجربه یاد بگیرند و یادداشت‌هایی درباره‌ی نحوه‌ی رفع یک باگ، ویرایش یک صفحه‌گسترده، یا پاسخ به یک سوال پزشکی ذخیره کنند. این پژوهش نشان می‌دهد این عادت می‌تواند نتیجه‌ی معکوس بدهد. دستیار، یک راه‌حل مخصوص یک کار را به یک قاعده‌ی کلی برای همه‌ی کارها تبدیل می‌کند؛ مثلاً «وقتی کار خواسته شد یک فایل خلاصه بساز» را به «همیشه یکی بساز» تغییر می‌دهد. پس ابزاری که در حین تمرین به نظر می‌رسد در حال پیشرفت است، ممکن است در عمل برای شما کم‌کاربردتر شده باشد. پژوهشگران یک ایده‌ی دیگر را هم امتحان کردند: نوشتن دستورالعمل تازه برای هر کار جدید و نگه‌داشتن فقط یک راهنمای کوتاه درباره‌ی نحوه‌ی نوشتن آن دستورالعمل‌ها؛ این روش در هر 6 دسته کار بالاترین نمره را گرفت. این نتیجه امیدوارکننده است اما قطعی نیست: فقط یک مدل هوش مصنوعی و روی مجموعه‌های کوچکی از کارها آزمایش شده است.
Who's behind it: Xihao Piao, Zifeng Wang and Zhen Chen, Unknown.
Summary by the Lemma AI · how we grade