اختبار دقة تفريغ العربية
قِسنا المحرك الذي يكتب نصوص قرار وستة أنظمة أخرى للتعرّف على الكلام على الصوت الشامي نفسه، بالنصوص المرجعية نفسها وطريقة الاحتساب نفسها. هذه هي النتائج المقيسة، وكيف حصلنا عليها، وما لا تُظهره.
النتائج الكاملة: الشامية، ٢٫٠٦ ساعة
| النظام | خطأ الكلمات باللهجة | خطأ الكلمات بعد توحيد الإملاء | خطأ الكلمات الخام | حُوّلت إلى الفصحى | كُتبت باللهجة | توقيت الكلمات |
|---|---|---|---|---|---|---|
| قرار (محرك Kalemio) | ٤٫٦٪ | ١٠٫٦٪ | ١٨٫٣٪ | ٦٢ | ٢١٠ | نعم |
| Google Chirp 3 عبر OpenRouter | ٥٫٠٪ | ٩٫٧٪ | ١٠٫٩٪ | ٢٥٥ | ١٢ | لا |
| Meta Muse Voice 1.0 عبر OpenRouter | ٦٫٣٪ | ١٨٫٢٪ | ٢٦٫٢٪ | ١٠ | ٦٠٤ | لا |
| Hamsa General V2 | ٧٫٤٪ | ٢٠٫٢٪ | ٤٢٫٢٪ | ١٧ | ٦٧٩ | نعم |
| ElevenLabs Scribe v2 | ٧٫٤٪ | ٢٠٫٤٪ | ٤٢٫٧٪ | ٢٣ | ٦٩٤ | نعم |
| Whisper large-v3 (Groq) | ١٧٫٠٪ | ٢٩٫٢٪ | ٤١٫٦٪ | ٥٦ | ٥٩٣ | نعم |
| Whisper large-v3 turbo (Groq) | ٢٥٫١٪ | ٣٦٫٠٪ | ٤٥٫١٪ | ١١٠ | ٤٨١ | نعم |
كيف تُقرأ الأعمدة
- نسبة خطأ الكلمات
- نسبة كلمات المرجع التي أخطأها النظام: استبدلها أو حذفها أو أضاف غيرها، محسوبة على مجموع التسجيلات.
- الخام
- يقارن النص كما كُتب، فيعاقب اختلاف الإملاء عن المرجع.
- بعد توحيد الإملاء
- يحذف التشكيل ويوحّد صور الألف والهمزة والياء والتاء المربوطة أولًا.
- باللهجة
- يعدّ أيضًا الصيغة الشامية والصيغة الفصحى للكلمة نفسها تطابقًا، ولا يحتسب الأرقام التي تُكتب أرقامًا أو كلمات.
- حُوّلت إلى الفصحى / كُتبت باللهجة
- عدد الكلمات التي سمعها النظام صحيحة لكنه كتبها بصيغة أفصح من المرجع، أو بصيغة عامية أكثر منه. الرقم الأول يقيس كم يعيد النظام صياغة اللهجة.
تشغيل ثانٍ على نصوص كتبها بشر
في تشغيل أكبر، قِسنا المحرك نفسه وأنظمة أخرى على حلقات باللهجة اللبنانية لها نصوص مرجعية كتبها أشخاص. في هذا التشغيل لم يأتِ قرار أولًا في دقة النص.
| النظام | خطأ الكلمات الصارم | خطأ الكلمات مع تسامح في الإملاء |
|---|---|---|
| OpenAI gpt-transcribe | ١٩٫٩٧٪ | ١٤٫٤٠٪ |
| قرار (محرك Kalemio) | ٢١٫٠٩٪ | ١٥٫٢٢٪ |
| OpenAI gpt-4o-transcribe | ٢٥٫٦٩٪ | ٢٠٫٠٠٪ |
| Google Chirp 3 (ar-LB) | ٢٧٫٤٩٪ | ١٨٫٣٤٪ |
| Whisper large-v3 (Groq) | ٣٣٫٢١٪ | ٢٧٫٤٨٪ |
- سجّل OpenAI gpt-transcribe أفضل نص هنا، لكنه لا يُرجع توقيت الكلمات ولا المتحدثين، فلا يمكن ربط ملاحظة بلحظتها في التسجيل.
- نفد رصيد ElevenLabs Scribe v2 بعد ٢٦ حلقة من ٨٣، لذا لا يظهر في هذا الجدول.
المنهجية
التسجيلات
التشغيل الأول (١٣ سبتمبر): سبعة مقاطع لمتحدث واحد باللهجة اللبنانية من قناة واحدة على YouTube، مدتها ٢٫٠٦ ساعة. المرجع هو ترجمة الناشر العربية مع تصحيحات نتتبّعها، وليس نصًا مدقّقًا بالكامل.
اخترنا المقاطع السبعة الأقل خطأً في المجموعة الكاملة، لأن ترجمتها الأقرب إلى ما قيل، فيكون الفرق بين نظامين فرقًا حقيقيًا لا ضجيجًا في المرجع.
التشغيل الثاني (٩ سبتمبر): ٨٣ حلقة باللهجة اللبنانية، ١٠٫٤ ساعات، لها نصوص كتبها بشر.
الأنظمة
تلقّى كل نظام بايتات الصوت نفسها. وصلنا إلى Chirp 3 وMuse Voice عبر OpenRouter، الذي لا يُرجع توقيت الكلمات ويتجاهل إعداد اللهجة في Chirp، فلم يُختبرا بأفضل إعداداتهما.
صف قرار هو محرك التفريغ كما كان منشورًا يوم كل تشغيل.
الاحتساب
خطأ الكلمات محسوب على مجموع الكلمات لا بمتوسط التسجيلات، فلا يُعطى التسجيل القصير وزنًا زائدًا.
قواعد اللهجة كتبناها على مخرجات محركنا، والخطأ الخام يكافئ من يطابق إملاء المرجع. لا يوجد مقياس محايد تمامًا، لذا نعرض الثلاثة.
ما لا تقيسه هذه النتائج
- هذه أسهل ساعتين في مجموعتنا الشامية: نسبة خطأ قرار بعد توحيد الإملاء ١٠٫٦٪ هنا و١٤٫٥٪ على المجموعة كلها. قارن الصفوف ببعضها، ولا تقتبس صفًا وحده.
- في التشغيل الأول متحدث واحد في كل تسجيل، فلم يُختبر تحديد المتحدثين.
- لهجة واحدة وقناة واحدة وظروف تسجيل متشابهة. لا تقول هذه الأرقام شيئًا عن الخليجية أو المصرية أو المغاربية أو صوت الهاتف أو الغرف الصاخبة.
- هذه ليست تسجيلات اجتماعات، ولم نختبر منتجات ملاحظات الاجتماعات مثل Fireflies.ai وGranola.
ما قيس وما زال قيد القياس
- الشاميةقيس
- الخليجيةقيد القياس
- المصريةقيد القياس
- العربية الممزوجة بالإنجليزيةقيد القياس
- تحديد المتحدثين في الاجتماعاتقيد القياس
لا تظهر أي أرقام قبل اكتمال التشغيل.