When AI 'predicts' a molecule's properties, it may be repeating a number it already readوقتی هوش مصنوعی خواص یک مولکول را «پیش‌بینی» می‌کند، شاید فقط عددی را که قبلاً خوانده تکرار می‌کند

Why it matters

Scientists are starting to use AI models to guess how molecules behave, which could speed up work on medicines and safer materials. But a good score on a test only helps if the model is really working the answer out, not remembering it. This study shows that on the most widely copied test sets, part of the score is recall. When the researchers hid each molecule's identity, the rankings changed completely, and the model that led all three tests led none of them. So published claims about which AI is best at chemistry may be measuring the wrong thing.دانشمندان تازه شروع کرده‌اند از مدل‌های هوش مصنوعی برای حدس زدن رفتار مولکول‌ها استفاده کنند، کاری که می‌تواند روند ساخت داروها و مواد ایمن‌تر را سرعت ببخشد. اما نمره خوب در یک آزمون تنها زمانی به‌کار می‌آید که مدل واقعاً پاسخ را محاسبه کرده باشد، نه اینکه آن را از حفظ داشته باشد. این پژوهش نشان می‌دهد که در پرکاربردترین مجموعه‌های آزمون، بخشی از نمره‌ها ناشی از به‌خاطرسپاری است. وقتی پژوهشگران هویت هر مولکول را پنهان کردند، رتبه‌بندی‌ها کاملاً به‌هم ریخت و مدلی که در هر سه آزمون اول شده بود، در هیچ‌کدام اول نشد. بنابراین ادعاهای منتشرشده درباره اینکه کدام هوش مصنوعی در شیمی بهترین است، شاید در واقع چیز دیگری را اندازه می‌گیرند.