چقدر خوب است؟ صادقانه
هر عددی که پایین می‌بینید هنگامِ ساختنِ این صفحه از نتیجه‌های سنجش در مخزنِ کد خوانده می‌شود؛ هیچ عددی دستی نوشته نشده. همهٔ داده‌های آزمون ساختگی‌اند، برای همین کار نوشته یا خوانده شده‌اند و همین‌جا هم گفته شده؛ یادداشتِ هیچ آدمِ واقعی‌ای در آن‌ها نیست. هر جا مدلِ هوش مصنوعی در کار است، سه بار اجرا می‌کنیم و بازه را نشان می‌دهیم، چون نتیجه‌ای که از اجرایی به اجرای دیگر عوض شود، خودش یک نتیجه است.
چطور بخوانید: هر سطر میانگین را نشان می‌دهد و در پرانتز کمترین و بیشترینِ اجراها را. «کف» چیزی است که آزمون‌های ما از بدترین اجرا می‌خواهند؛ ✗ یعنی رد شده است.
گفتار به متن
چه چیزی سنجیده شد
صدا با ElevenLabs Scribe v2 به متن تبدیل شد و با متنِ درست مقایسه شد، پس از یکسان‌کردنِ نیم‌فاصله، ی/ي، ک/ك و ارقام. جدا سنجیدیم که نام‌ها، واژه‌های انگلیسی و عددها درست می‌مانند یا نه؛ یک بار بی‌راهنما و یک بار با «راهنمای نام» (فهرستِ نام‌ها که به سرویس داده می‌شود).
روی چه داده‌ای دادهٔ ساختگی
۳۴ یادداشتِ کاریِ فارسی با واژه‌های انگلیسی، که صدای رایانه‌ای (TTS) خوانده است: تمیز، بی‌سروصدا.
| چه چیزی | نتیجه (۳ اجرا: میانگین، بازه) | کف (بدترین اجرا) |
|---|---|---|
| خطای حرف (بدونِ راهنمای نام) | ۳٫۸٪ (۳٫۷٪–۴٫۱٪) | ✓ ≤ ۰٫۰۸ |
| خطای حرف (با راهنمای نام) | ۴٫۲٪ (۳٫۸٪–۴٫۴٪) | — |
| خطای واژه (بدونِ راهنما) | ۸٫۵٪ (۸٫۳٪–۸٫۷٪) | — |
| نام‌هایی که درست ماندند (بدونِ راهنما) | ۷۶٪ (۷۶٪–۷۶٪) | — |
| نام‌هایی که درست ماندند (با راهنما) | ۸۴٪ (۸۲٪–۸۸٪) | ✓ ≥ ۰٫۷۵ |
| واژه‌های انگلیسی (بدونِ راهنما) | ۶۵٪ (۶۴٪–۶۵٪) | — |
| واژه‌های انگلیسی (با راهنما) | ۷۸٪ (۷۳٪–۸۰٪) | — |
| عددها و تاریخ‌ها (بدونِ راهنما) | ۱۰۰٪ (۱۰۰٪–۱۰۰٪) | — |
| عددها و تاریخ‌ها (با راهنما) | ۹۳٪ (۸۹٪–۱۰۰٪) | — |
ضعف‌های شناخته‌شده
- صدای تمیزِ رایانه‌ای، نه گوشیِ واقعی در انبار یا ماشین: روی صدای واقعی بدتر خواهد بود.
- واژه‌های انگلیسی ضعیف‌ترین بخش‌اند: بی‌راهنما ۶۵٪ و با راهنما ۷۸٪ درست ماند.
- راهنمای نام، نام‌ها را از ۷۶٪ به ۸۴٪ می‌رساند، ولی یک بار در یک اجرا برای صدایی روشن متنِ خالی برگرداند؛ حالا در آن حالت یک بار دیگر بی‌راهنما شنیده می‌شود.
خواندنِ یادداشت
چه چیزی سنجیده شد
Claude (Opus) هر یادداشت را خواند و بیرون کشید که گوینده چه قولی داده، منتظرِ چه کسی است، با چه کسی حرف زده و دربارهٔ چه چیزهایی گفته. با برچسب‌هایی که دستی زده شده بود مقایسه شد.
روی چه داده‌ای دادهٔ ساختگی
۳۴ یادداشتِ فارسیِ ساختگی که دستی برچسب خورده‌اند: بیشترشان از یک شرکتِ بازرگانیِ ساختگی در دبی.
| چه چیزی | نتیجه (۳ اجرا: میانگین، بازه) | کف (بدترین اجرا) |
|---|---|---|
| قول‌های گوینده که پیدا شد | ۱۰۰٪ (۱۰۰٪–۱۰۰٪) | ✓ ≥ ۰٫۹ |
| «منتظرِ…»هایی که پیدا شد | ۹۷٪ (۹۲٪–۱۰۰٪) | ✓ ≥ ۰٫۸۵، پراکندگی ≤ ۰٫۱ |
| کسانی که گوینده با آن‌ها حرف زده | ۱۰۰٪ (۱۰۰٪–۱۰۰٪) | ✓ ≥ ۰٫۹ |
| چیزهای اصلی (مشتری، کالا، کار) | ۹۷٪ (۹۶٪–۹۷٪) | ✓ ≥ ۰٫۹ |
| قولِ کسِ دیگر که به گردنِ گوینده افتاد | ۰ (۰–۰) | ✓ ≤ ۰ |
| قولِ ساختگی | ۰ (۰–۰) | ✓ ≤ ۱ |
ضعف‌های شناخته‌شده
- مدل‌های ارزان‌تر «منتظرِ…» را جا می‌اندازند (پیدا کردنِ آن‌ها: Sonnet ۷۵٪–۸۳٪، Haiku ۵۸٪–۶۷٪). برای همین Opus می‌ماند.
- تاریخ‌ها و موضوع‌ها هنوز در برچسب‌ها نیستند، پس سنجیده نشده‌اند.
- مجموعه کوچک است؛ یک اشتباه چند درصد جابه‌جا می‌کند.
الگوها: سه نفر، جداگانه
چه چیزی سنجیده شد
در یادداشت‌ها گره‌هایی کاشتیم (بی‌آنکه به سیستم گفته شود) و دیدیم کدام به الگو تبدیل می‌شود: الگو یعنی دست‌کم سه نفر جداگانه آن را گفته باشند. موردهایی هم کاشتیم که نباید پیدا شوند: آدم‌هایی که با هم حرف زده بودند، فقط دو نفر، چیزی که مشکل نیست، کسی که کنار رفت.
روی چه داده‌ای دادهٔ ساختگی
۶ شرکتِ ساختگی، با ۳۸ موردِ کاشته‌شده. قطعی، بی‌مدلِ هوش مصنوعی، پس یک اجرا.
| چه چیزی | نتیجه (۱ اجرا: میانگین، بازه) | کف (بدترین اجرا) |
|---|---|---|
| گره‌های کاشته‌شده که پیدا شد (پس از بازبینیِ انسان) | ۸۵٪ | ✓ ≥ ۰٫۷ |
| همان، بی‌بازبینی | ۷۰٪ | — |
| مواردی که نباید پیدا می‌شد و نشد | ۱۰۰٪ | ✓ ≥ ۱ |
| هشدارِ نادرست | ۰٪ | ✓ ≤ ۰ |
| نامِ آدم در الگوها | ۰ | ✓ ≤ ۰ |
ضعف‌های شناخته‌شده
- یک مشکل که با کلمه‌هایی کاملاً متفاوت گفته شود پیدا نمی‌شود: ۰ از ۳.
- سیستم فقط ارتباط‌هایی را می‌شناسد که خودِ آدم‌ها می‌گویند؛ سه نفری که از یک منبع شنیده‌اند و نگفته‌اند، جداگانه شمرده می‌شوند. سه نفر حداقل است، نه اثباتِ درستی.
- حالتِ با مدل (که Claude پیشنهادِ یکی‌کردن می‌دهد) هنوز سه بار اجرا نشده، پس پراکندگی‌اش معلوم نیست.
حریمِ خصوصی: آنچه صاحب شرکت نمی‌بیند
چه چیزی سنجیده شد
هر چیزی که صاحب شرکت می‌تواند ببیند، و هر پیامی که به مدل داده می‌شود، را گشتیم دنبالِ متنِ یادداشت‌ها، صفحه‌های به‌اشتراک‌نگذاشته و نامِ آدم‌ها. یک نسخهٔ عمداً خراب هم اجرا شد تا مطمئن شویم آزمون نشت را می‌بیند.
روی چه داده‌ای دادهٔ ساختگی
همان ۶ شرکتِ ساختگی، با پرسش‌های بدخواهانه. قطعی، یک اجرا.
| چه چیزی | نتیجه (۱ اجرا: میانگین، بازه) | کف (بدترین اجرا) |
|---|---|---|
| نشت: یادداشتِ خصوصی، صفحهٔ به‌اشتراک‌نگذاشته یا نام | ۰ | ✓ ≤ ۰ |
| نشت‌هایی که آزمونِ کنترل (عمداً خراب) دید | ۱۳ | ✓ ≥ ۱ |
| درخواست‌های صاحب شرکت که بررسی شد | ۲۷۳ | — |
| پیام‌های فرستاده‌شده به مدل که بررسی شد | ۹۶ | — |
| عبارت‌های ممنوعی که دنبالشان گشتیم | ۲۵۳ | — |
ضعف‌های شناخته‌شده
- Claude در این آزمون جواب نمی‌دهد: پیام‌ها بررسی شده‌اند، نه جوابِ واقعیِ مدل به پرسش‌های بدخواهانه.
- آنچه کسی خودش با کلِ شرکت به اشتراک گذاشته، نشت حساب نمی‌شود و ممکن است نقل شود (با برچسبِ «به گفتهٔ یک نفر»).
پرسیدن از شرکت
چه چیزی سنجیده شد
صاحب شرکت پرسید و Claude از روی صفحه‌هایی که او اجازهٔ دیدنشان را دارد جواب داد. یک فراخوانیِ جداگانهٔ Claude هر جمله را کنارِ صفحه‌ای که ذکر کرده بود گذاشت و داوری کرد.
روی چه داده‌ای دادهٔ ساختگی
۱۰ پرسش دربارهٔ یک شرکتِ بازرگانیِ ساختگی در دبی؛ چندتایشان عمداً جوابی در صفحه‌ها ندارند.
| چه چیزی | نتیجه (۳ اجرا: میانگین، بازه) | کف (بدترین اجرا) |
|---|---|---|
| جمله‌هایی که صفحهٔ ذکرشده تأییدشان می‌کرد | ۹۳٪ (۸۹٪–۹۷٪) | ✓ ≥ ۰٫۸۵ |
| جمله‌های بی‌منبع و بی‌برچسبِ «برداشت» | ۰ (۰–۰) | ✓ ≤ ۰ |
| برچسبِ «برداشت» درست زده شد | ۸۶٪ (۸۲٪–۹۲٪) | ✓ ≥ ۰٫۸ |
| واقعیت‌های لازم در جواب | ۱۰۰٪ (۱۰۰٪–۱۰۰٪) | ✓ ≥ ۰٫۸ |
| پرسش‌های بی‌جواب که گفت «نمی‌دانم» | ۱۰۰٪ (۱۰۰٪–۱۰۰٪) | ✓ ≥ ۰٫۹ |
| اجراهایی که در آن‌ها معلوم ماند چه کسی قول داد | ۱۰۰٪ (۱۰۰٪–۱۰۰٪) | ✓ ≥ ۱ |
ضعف‌های شناخته‌شده
- داور هم Claude است؛ یک انسان هر جمله را بررسی نکرده.
- پرسش‌ها کم‌اند و همه دربارهٔ یک شرکت.
- دمو یک اشتباهِ واقعی دارد که منتشر شده: یک بار قولی که خودِ گوینده داده بود به تأمین‌کننده نسبت داده شد.
هنوز سنجیده نشده
- اینکه صفحه‌هایی که از یک یادداشت نوشته می‌شوند به آن وفادار می‌مانند یا نه (چیزی اضافه نمی‌شود، و معلوم می‌ماند چه کسی قول داده).
- اینکه یک یادداشت از ضبط تا خوانده شدن چقدر طول می‌کشد.
- اینکه هدفی که «ردی از آن نیست» خورده، واقعاً هیچ حرفِ مرتبطی ندارد.
- آزمونِ حریمِ خصوصی وقتی خودِ Claude به پرسش‌های بدخواهانه جواب می‌دهد.
- ضبط‌های واقعیِ گوشی از محیط‌های کارِ واقعی: عددهای گفتار در اینجا روی صدای تمیزِ رایانه‌ای است.
فایل‌های منبع: evals/results/. کف‌ها: evals/thresholds.json. برای اجرای دوباره: python evals/run.py.
با یک بخش شروع کنید.
یک آزمایشِ دوهفته‌ای و رایگان، با سه نفر یا بیشتر از همکارانِ خودتان. هر کس خودش تصمیم می‌گیرد، و هر وقت بخواهد کنار می‌رود.