Same AI, same memory: 1,528 words of English but only 91 words of Kannadaهمان هوش مصنوعی، همان حافظه: 1,528 کلمه برای انگلیسی، اما فقط 91 کلمه برای Kannada

Why it matters

Before an AI reads text, a program called a tokeniser cuts it into small pieces. Models are sold as cheap and "multilingual", but the price is counted in pieces, so a Kannada or Odia user pays many times more for the same sentence, waits longer, and can fit far less text into one conversation. Nobody is told this, because the usual warning signals stay silent. The hopeful part: the author shows the problem is the list of characters the model knows, not its size, so fixing it is cheap and does not need expensive computers. This paper measures the splitting itself; it has not yet measured how much worse the answers actually get.پیش از آنکه هوش مصنوعی متنی را بخواند، برنامه‌ای به نام tokeniser آن را به تکه‌های کوچک تقسیم می‌کند. مدل‌ها به‌عنوان ارزان و «multilingual» تبلیغ می‌شوند، اما قیمت بر اساس تعداد همین تکه‌ها حساب می‌شود؛ پس کاربری که به Kannada یا Odia می‌نویسد، برای همان جمله چندین برابر بیشتر پرداخت می‌کند، بیشتر منتظر می‌ماند و متن بسیار کمتری در یک گفتگو جا می‌شود. هیچ‌کس این را به کاربران نمی‌گوید، چون سازوکارهای هشداردهندهٔ معمول در این مورد ساکت می‌مانند. نکتهٔ امیدبخش این است که نویسنده نشان می‌دهد ریشهٔ مشکل فهرست نویسه‌هایی (characters) است که مدل می‌شناسد، نه اندازهٔ مدل؛ بنابراین رفع آن ارزان است و به رایانه‌های گران‌قیمت نیاز ندارد. این مقاله فقط خودِ تقسیم‌شدن متن را اندازه‌گیری کرده و هنوز معلوم نکرده پاسخ‌های واقعی چقدر بدتر می‌شوند.