Same patient, different label: an AI's medical advice shiftedبیمار یکسان، برچسب متفاوت: توصیه پزشکی هوش مصنوعی عوض شد
When researchers changed only a patient's social label, GPT-5's suggested care changed too. Across 500 identical emergency cases, some groups were flagged for urgent mental-health checks in 100% of runs, while lower-income patients were offered fewer scans.وقتی پژوهشگران فقط برچسب اجتماعی یک بیمار را تغییر دادند، توصیه درمانی GPT-5 هم تغییر کرد. در میان 500 مورد اورژانسی کاملاً یکسان، برخی گروهها در 100% اجراها برای بررسی فوری سلامت روان علامتگذاری شدند، در حالی که به بیماران کمدرآمدتر اسکنهای کمتری پیشنهاد شد.
ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.
Why it matters
Hospitals and ordinary people are already asking chatbots for medical advice. This test suggests the same written case can get different advice depending on labels like race, gender identity, housing or income. That could mean unnecessary tests, unwanted mental-health referrals, or fewer scans for poorer patients. The team also planted one false detail in each case: without a warning instruction the chatbot believed and expanded on it 65% of the time, falling to about 8% with the warning. These were invented practice cases, not real patients, so nobody has shown actual harm yet.بیمارستانها و مردم عادی همین حالا هم از چتباتها توصیه پزشکی میگیرند. این آزمایش نشان میدهد همان پرونده مکتوب، بسته به برچسبهایی مثل نژاد، هویت جنسیتی، وضعیت مسکن یا درآمد، میتواند توصیههای متفاوتی دریافت کند. این میتواند به معنای آزمایشهای غیرضروری، ارجاع ناخواسته به سلامت روان، یا اسکنهای کمتر برای بیماران فقیرتر باشد. تیم پژوهشی همچنین در هر پرونده یک نکتهٔ نادرست کاشت: بدون دستور هشدار، چتبات در 65% مواقع آن را باور کرد و بسط داد، اما با وجود هشدار این رقم به حدود 8% کاهش یافت. اینها پروندههای تمرینی ساختگی بودند، نه بیماران واقعی، پس هنوز کسی آسیب واقعی را نشان نداده است.
Who's behind it: Veith Weilnhammer, Matthew M. Nour and colleagues, University College London and the University of Oxford.
Summary by the Lemma AI · how we grade