Seven AI programs read the same business call and gave seven different scoresهفت برنامه هوش مصنوعی یک تماس تجاری یکسان را خواندند و هفت امتیاز متفاوت دادند
Seven AI text-scoring programs read the same company phone calls and rated them for tone, risk and clarity. Their ratings often clashed: average agreement was 0.52, where 1.0 would mean a perfect match.هفت برنامه هوش مصنوعی که متن را امتیازدهی می‌کنند، همان تماس‌های تلفنی یک شرکت را خواندند و از نظر لحن، ریسک و وضوح به آن‌ها امتیاز دادند. امتیازهایشان غالباً با هم تناقض داشت: میزان توافق به‌طور میانگین 0.52 بود، در حالی که 1.0 به معنای تطابق کامل است.
ترجمهٔ ماشینی است؛ برای دقت به متن اصلی انگلیسی مراجعه کنید.
Why it matters
Researchers now feed company documents to AI programs and turn the output into numbers for their studies. This paper shows the number you get depends heavily on which program you pick. The authors re-ran the same financial analysis using each program's scores, and the results sometimes changed in size, in direction, or in whether they looked meaningful at all. That is a warning for anyone who uses AI to put a score on written text, in research, business or school, though this study tested only one kind of document and seven cheaper programs.امروز پژوهشگران اسناد شرکت‌ها را به برنامه‌های هوش مصنوعی می‌دهند و خروجی را به عدد تبدیل می‌کنند تا در پژوهش‌هایشان از آن استفاده کنند. این مقاله نشان می‌دهد عددی که به دست می‌آید تا حد زیادی به انتخاب برنامه بستگی دارد. نویسندگان همان تحلیل مالی را با امتیازهای هر برنامه دوباره اجرا کردند و نتایج گاهی از نظر اندازه، جهت، یا حتی معنادار بودن تغییر می‌کرد. این موضوع هشداری است برای هر کسی که از هوش مصنوعی برای امتیازدهی به متن نوشتاری استفاده می‌کند، خواه در پژوهش، کسب‌وکار یا مدرسه، هرچند این پژوهش فقط یک نوع سند و هفت برنامه ارزان‌تر را آزموده است.
Who's behind it: Hamid Boustanifar and Sasan Mansouri, Business school researchers in finance and accounting.
Summary by the Lemma AI · how we grade