An AI can repeat a fact and still fail to build on itیک AI می‌تواند واقعیتی را بازگو کند و باز هم نتواند روی آن بنا کند

Some facts an AI can state are no help when it learns something new. Across 11 language models and 70 kinds of facts, how neatly a fact sat inside the model predicted this, scoring about 0.9 out of 1.برخی واقعیت‌هایی که AI می‌تواند بیان کند، وقتی چیز تازه‌ای یاد می‌گیرد، هیچ کمکی نمی‌کنند. در بررسی 11 مدل زبانی و 70 نوع واقعیت، میزان جاافتادگی هر واقعیت درون مدل این موضوع را پیش‌بینی می‌کرد؛ با امتیازی حدود 0.9 از 1.

ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.

Why it matters

People now train AI assistants on fresh material: company handbooks, new rules, new medicine guidelines. This work suggests that whether the AI can use that new material depends on how its older, related knowledge is arranged inside it, not just on whether it can recite that knowledge. A quick check before training might warn you which new lessons will stick and which will not. It is early, though: the tests used made-up labels like animal names, the models were small and mid-size, and the study shows a strong link rather than proof of cause.این روزها دستیارهای AI را با مطالب تازه آموزش می‌دهند: دفترچه‌های راهنمای شرکت‌ها، قوانین جدید، راهنماهای تازه‌ی پزشکی. این پژوهش نشان می‌دهد توانایی AI در استفاده از آن مطالب تازه، نه فقط به این بستگی دارد که بتواند آن دانش را از حفظ بگوید، بلکه به نحوه‌ی چیدمان دانش قدیمی‌تر و مرتبط آن درون مدل هم وابسته است. یک بررسی سریع پیش از آموزش شاید بتواند از پیش هشدار دهد که کدام درس‌های تازه ماندگار خواهند شد و کدام‌یک نه. با این‌حال، این یافته‌ها هنوز اولیه‌اند: آزمایش‌ها از برچسب‌های ساخته‌شده مثل نام‌های حیوانات استفاده کرده‌اند، مدل‌ها کوچک و میانه‌اندازه بوده‌اند، و این پژوهش یک رابطه‌ی قوی را نشان می‌دهد، نه اثبات رابطه‌ی علّی.

Who's behind it: Faridoun Mehri and Hinrich Schuetze, LMU Munich.

Summary by the Lemma AI · how we grade

Read the original paper (arxiv.org)