AI chatbots gave different mental health diagnoses when only the patient's race or gender changedچت‌بات‌های هوش مصنوعی وقتی فقط نژاد یا جنسیت بیمار تغییر می‌کرد، تشخیص‌های سلامت روان متفاوتی می‌دادند

Why it matters

Hospitals and health apps are starting to use these programs to help work out what is wrong with a patient. This test suggests they carry the same unfair patterns people have shown for years. Anorexia (an eating disorder where someone eats far too little and fears gaining weight) has long been missed in patients who are not young, white and female — and the programs repeated that pattern, even calling women less likely to have it than men. These were invented patient descriptions, not real people, so we do not yet know how much this would change care in a real clinic. Still, it is a clear warning to check these tools before trusting them with someone's health.بیمارستان‌ها و اپلیکیشن‌های سلامت تازه شروع کرده‌اند از این برنامه‌ها برای کمک به تشخیص مشکل بیماران استفاده کنند. این آزمایش نشان می‌دهد آن‌ها همان الگوهای ناعادلانه‌ای را دارند که انسان‌ها سال‌هاست نشان داده‌اند. Anorexia (یک اختلال خوردن که در آن فرد بسیار کم غذا می‌خورد و از چاق‌شدن می‌ترسد) مدت‌هاست در بیمارانی که جوان، سفیدپوست و زن نیستند نادیده گرفته می‌شود -و این برنامه‌ها هم همان الگو را تکرار کردند، حتی با گفتن این‌که احتمال ابتلای زنان به آن کمتر از مردان است. این‌ها توصیف‌های ساختگی از بیماران بودند، نه افراد واقعی، پس هنوز نمی‌دانیم این موضوع چقدر مراقبت را در یک کلینیک واقعی تغییر می‌دهد. با این‌حال، این هشدار روشنی است که باید پیش از اعتماد به این ابزارها برای سلامت افراد، آن‌ها را بررسی کرد.