Ask an AI chatbot about medical screening tests, and the answer depends on which chatbot you askوقتی از یک چت‌بات AI درباره‌ی تست‌های غربالگری پزشکی می‌پرسید، جواب به این بستگی دارد که از کدام چت‌بات پرسیده‌اید

Popular AI chatbots often disagree with official US advice on check-ups and screening tests. Researchers tested 35 chatbots against 142 recommendations: the best matched 88% of the time, the weakest only about 50%.چت‌بات‌های محبوب AI اغلب با توصیه‌های رسمی US درباره‌ی چکاپ‌ها و تست‌های غربالگری هم‌خوانی ندارند. پژوهشگران 35 چت‌بات را در برابر 142 توصیه آزمایش کردند: بهترین چت‌بات 88% مواقع مطابقت داشت و ضعیف‌ترین فقط حدود 50%.

ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.

Why it matters

Many people now ask an AI chatbot about their health before they ask a doctor. This test suggests the quality of the answer depends a lot on which chatbot you happen to use. Most mismatches happened because the chatbot avoided giving any clear answer, not because it gave harmful advice. Newer chatbots did clearly better than older ones, but this study only checked agreement with one American expert group, and health advice can differ from country to country.بسیاری از افراد امروز پیش از مراجعه به پزشک، درباره‌ی سلامت خود از یک چت‌بات AI سؤال می‌کنند. این آزمایش نشان می‌دهد کیفیت پاسخ تا حد زیادی به این بستگی دارد که کدام چت‌بات را انتخاب کرده باشید. بیشتر این ناهم‌خوانی‌ها از آنجا بود که چت‌بات از دادن پاسخی روشن طفره می‌رفت، نه این‌که توصیه‌ی مضری ارائه می‌داد. چت‌بات‌های جدیدتر به‌وضوح بهتر از نسخه‌های قدیمی‌تر عمل کردند، اما این پژوهش فقط هم‌خوانی با یک گروه متخصص آمریکایی را بررسی کرده و توصیه‌های سلامت می‌تواند از کشوری به کشور دیگر فرق کند.

Who's behind it: Tim Johnson and Wolfgang Gaissmaier, University of Konstanz, Germany.

Summary by the Lemma AI · how we grade

Read the original paper (pubmed.ncbi.nlm.nih.gov) DOI