A top AI repeated out-of-date cancer advice one time in four, a test findsآزمایشی نشان داد یکی از برترین مدل‌های AI، در یک از هر چهار مورد، توصیه‌های قدیمی و منسوخ درباره سرطان را تکرار کرده است
A leading AI often gave cancer advice that doctors had already changed. Cancer specialists checked 288 test questions and had to correct one in four answers that depended on a recently updated rule.یک AI پیشرو اغلب توصیه‌هایی درباره سرطان ارائه می‌داد که پزشکان از قبل تغییرشان داده بودند. متخصصان سرطان 288 سؤال آزمایشی را بررسی کردند و مجبور شدند یکی از هر چهار پاسخی را که به یک قانون تازه به‌روزشده وابسته بود، اصلاح کنند.
ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.
Why it matters
Doctors follow written guidelines, which are rules for treating a disease, and those rules change as new studies arrive. This test showed an AI can quote a real guideline correctly and still be giving advice that is no longer recommended. Part of the problem is simple: of 14 replaced documents in this set, only one actually said it had been replaced. Oddly, letting the AI search the document library made old answers four times more common, because it kept finding the older versions. This was a test on written questions about breast and prostate cancer, not on real patients, so it does not tell us how often anyone has been harmed.پزشکان از راهنماهای نوشته‌شده پیروی می‌کنند که همان قوانین درمان یک بیماری هستند، و این قوانین با انتشار مطالعات تازه تغییر می‌کنند. این آزمایش نشان داد که یک AI می‌تواند یک راهنمای واقعی را درست نقل‌قول کند و در عین حال توصیه‌ای بدهد که دیگر پیشنهاد نمی‌شود. بخشی از مشکل ساده است: از میان 14 سند جایگزین‌شده در این مجموعه، فقط یکی واقعاً گفته بود که جایگزین شده است. به‌طور عجیبی، وقتی به AI اجازه داده شد در کتابخانه اسناد جستجو کند، پاسخ‌های قدیمی چهار برابر بیشتر شدند، چون مدام به نسخه‌های قدیمی‌تر برمی‌خورد. این آزمایش روی سؤالات نوشته‌شده درباره سرطان پستان و پروستات انجام شده بود، نه روی بیماران واقعی، پس نمی‌گوید که چه میزان آسیب به کسی وارد شده است.
Who's behind it: T. Ravi Kumar, I. Riaz and colleagues, Unknown.
Summary by the Lemma AI · how we grade