An early sign that AI language models build a running guess about what is making the textنشانه‌ای اولیه از این‌که مدل‌های زبانی AI پیوسته درباره‌ی «چه چیزی این متن را تولید می‌کند» حدس می‌زنند

Inside big AI language models, researchers found a running estimate of the hidden situation producing the text being read. They tested six open AI models on 40 simple text-generating machines and read that estimate out of the models' internal numbers.پژوهشگران در دل مدل‌های زبانی بزرگ AI به یک برآورد مستمر از وضعیت پنهانی که متنِ در حال خوانده‌شدن را تولید می‌کند دست یافتند. آن‌ها این موضوع را روی شش مدل AI متن‌باز و ۴۰ ماشین ساده‌ی متن‌ساز آزمایش کردند و آن برآورد را از داده‌های عددی درونی مدل‌ها بیرون کشیدند.

ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.

Why it matters

AI chat tools are now used by millions of people, but almost nobody knows what happens inside them. This work suggests the models are not only copying patterns; they seem to keep track of how likely each hidden explanation is, and update it as more text arrives. If that holds up, it could help people read an AI's internal state and notice when it is unsure or heading in the wrong direction. It is early, though: the tests used simple artificial text sources, not real human conversations.ابزارهای گفتگوی AI اکنون میلیون‌ها کاربر دارند، اما تقریباً هیچ‌کس نمی‌داند درون آن‌ها چه می‌گذرد. این پژوهش نشان می‌دهد که این مدل‌ها فقط الگوها را کپی نمی‌کنند؛ به نظر می‌رسد میزان احتمال هر توضیح پنهان را دنبال می‌کنند و با رسیدن متن بیشتر آن را به‌روزرسانی می‌کنند. اگر این یافته تأیید شود، می‌تواند به مردم کمک کند وضعیت درونی یک AI را بخوانند و بفهمند کِی مطمئن نیست یا در مسیر اشتباه پیش می‌رود. با این حال هنوز زود است: این آزمایش‌ها روی منابع متنی ساده و مصنوعی انجام شده، نه گفتگوهای واقعی انسانی.

Who's behind it: Daniel Balcells and colleagues.

Summary by the Lemma AI · how we grade

Read the original paper (arxiv.org)