AI-writing detectors can stop working the moment a new AI model appearsتشخیص‌دهنده‌های متن نوشته‌شده با AI می‌توانند دقیقاً با عرضه یک مدل AI جدید از کار بیفتند

Tools that flag AI-written science can fail when a new AI model is released. Researchers rewrote 4,000 real paper summaries using 23 versions of AI writing programs; one detector sold to journals missed 4 of every 5 rewrites by the newest model.ابزارهایی که متن علمی نوشته‌شده با AI را علامت‌گذاری می‌کنند، ممکن است با انتشار یک مدل AI جدید دچار خطا شوند. پژوهشگران 4,000 چکیده واقعی مقاله را با 23 نسخه از برنامه‌های نوشتاری AI بازنویسی کردند؛ یکی از تشخیص‌دهنده‌هایی که به مجلات فروخته می‌شود، 4 مورد از هر 5 بازنویسی توسط جدیدترین مدل را تشخیص نداد.

ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.

Why it matters

Journals and conferences already use these detectors to reject papers before a human reads them. One large computer science conference rejected 178 papers this way in 2026. If a detector misses most text from a brand-new AI program, hidden AI use passes unnoticed. If it is tuned the other way, it starts accusing honest authors instead: the strictest setting in this study wrongly flagged about one in eight human-written summaries. The authors tested old summaries rewritten by AI, not real submissions, so real numbers may differ. Still, the lesson is hard to avoid. A detector is only trustworthy against the AI models it has actually been checked against.مجلات و کنفرانس‌ها از همین حالا از این تشخیص‌دهنده‌ها برای رد کردن مقاله‌ها پیش از آنکه انسانی آن‌ها را بخواند استفاده می‌کنند. یکی از کنفرانس‌های بزرگ علوم کامپیوتر در سال 2026 به همین روش 178 مقاله را رد کرد. اگر یک تشخیص‌دهنده بیشتر متن‌های تولیدشده با یک برنامه AI کاملاً تازه را تشخیص ندهد، استفاده پنهانی از AI بدون شناسایی باقی می‌ماند. اگر در جهت مخالف تنظیم شود، این‌بار نویسندگان صادق را متهم می‌کند: در این پژوهش، سخت‌گیرانه‌ترین تنظیم به‌اشتباه حدود 1 از هر 8 چکیده نوشته‌شده توسط انسان را AI تشخیص داد. نویسندگان چکیده‌های قدیمی بازنویسی‌شده توسط AI را آزمایش کردند، نه مقاله‌های واقعی ارسالی، پس اعداد واقعی ممکن است فرق کند. با این حال، نتیجه‌گیری قابل‌اجتناب نیست: یک تشخیص‌دهنده فقط در برابر مدل‌های AI که واقعاً با آن‌ها آزموده شده، قابل‌اعتماد است.

Who's behind it: Kazuki Nakajima and Takayuki Mizuno, Research teams in Japan. Funded by the Japan Science and Technology Agency and the Japan Society for the Promotion of Science.

Summary by the Lemma AI · how we grade

Read the original paper (arxiv.org)