When an AI shows its work, the steps can be wrong even if the answer is rightوقتی هوش مصنوعی مراحل حل‌اش را نشان می‌دهد، این مراحل می‌توانند اشتباه باشند حتی اگر جواب درست باشد

Why it matters

Many chat programs now print a list of "thinking steps" before their answer. People read those steps to decide whether to trust the answer, and safety teams read them to spot bad behaviour. This work shows the steps can look tidy and add up while still not matching the problem being solved, especially on questions harder than anything the program was trained on. The programs here were small and trained on made-up maths, so this is a warning to check big systems directly, not proof that they behave the same way.امروزه بسیاری از برنامه‌های گفت‌وگو پیش از ارائه پاسخ، فهرستی از «مراحل فکری» را نمایش می‌دهند. مردم این مراحل را می‌خوانند تا تصمیم بگیرند به پاسخ اعتماد کنند یا نه، و تیم‌های ایمنی هم آن‌ها را می‌خوانند تا رفتارهای بد را شناسایی کنند. این پژوهش نشان می‌دهد این مراحل می‌توانند مرتب و منسجم به نظر برسند، اما در عین حال با مسئله‌ای که قرار است حل شود هم‌خوانی نداشته باشند، به‌خصوص در پرسش‌هایی که از هر چیزی که برنامه روی آن آموزش دیده سخت‌تر است. برنامه‌های این پژوهش کوچک بودند و روی مسائل ریاضی ساختگی آموزش دیده بودند، پس این یافته بیشتر هشداری است برای بررسی مستقیم سامانه‌های بزرگ‌تر، نه اثباتی بر اینکه آن‌ها هم به همین شکل رفتار می‌کنند.