المدونة › اختبار Drint MCP

هل يجعل خادم MCP للتغليف مساعدي الذكاء الاصطناعي أكثر موثوقية؟ اختبار مقيس لـ Drint MCP

بقلم Nguyễn Thành Dân، مؤسس Drint · 01/11/2026

أبرز النتائج

• الصلة: بلغ متوسط الدقة في أول 5 نتائج (P@5) 0.82 عبر 40 طلبًا. وكانت النتيجة الأولى ذات صلة في 37 من 40.
• السرعة: بلغ وسيط الاستجابة لبحث الموك أب 149 ms، والمئين 95 عند 245 ms، والأسوأ 496 ms. وكان وسيط البحث عن قوالب القص 81 ms.
• الثبات: أعاد 40 من 40 استعلامًا النماذج الخمسة نفسها بالترتيب نفسه عند التكرار.
• الاكتمال: حملت جميع النماذج الـ 198 المُعادة مقاسًا بالمليمتر وصورة.
• التغطية: أظهرت 20 استعلامًا عن قوالب القص 228 رمز قالب قص مختلفًا: 114 FEFCO و65 ECMA و49 نمطًا خاصًا بـ Drint، لكلٍّ منها مقاس افتراضي.
• العيوب: أظهرت 63 من 198 نتيجة (31.8%) نصًا فيتناميًا لطلب باللغة الإنجليزية. وفشلت ثلاثة طلبات لأن كلمة واصفة تقدّمت على اسم المنتج.
• بعد الإصلاح: في إعادة التشغيل المباشرة على drint.io في المساء نفسه، ارتفعت P@5 إلى 0.935، وكانت النتيجة الأولى ذات صلة في 40 من 40، وانخفض النص الفيتنامي إلى 7 من 200 نتيجة.

ما السؤال الذي تجيب عنه هذه الدراسة؟

حدّدنا أربعة أسئلة بحثية قبل التشغيل:

1. RQ1، الصلة. هل يعيد طلب بالإنجليزية البسيطة المنتج الذي قصده المصمم؟
2. RQ2، زمن الاستجابة. هل الأداة سريعة بما يكفي لتعمل داخل محادثة دون إبطائها؟
3. RQ3، الاستقرار. هل يعطي السؤال نفسه الإجابة نفسها مرتين؟
4. RQ4، الاكتمال. هل تحمل كل إجابة المعلومات التي يحتاجها المصمم: المقاس والصورة ورمز قالب القص؟

تهم هذه الأسئلة لأن المساعد الذي يستخدم أداة يرث أخطاءها. إن كانت الأداة بطيئة، تتعطل المحادثة. وإن كانت غير مستقرة، يحصل مصممان على إجابتين لطلب واحد. وإن كانت مخطئة، يكرر المساعد الخطأ بثقة.

كيف أُجري الاختبار؟

النظام المختبَر. نقطة الوصول العامة https://drint.io/mcp، بالإصدار المباشر في 1 نوفمبر 2026، بين 14:30 و14:40 UTC.

العميل. برنامج نصي على حاسوب واحد في فيتنام أرسل طلبات JSON-RPC tools/call مباشرة إلى الخادم. لم يكن في الحلقة أي نموذج لغوي. وهذا يعزل الأداة عن سلوك أي مساعد بعينه.

الأدوات. search_mockups (بحد 5، واللغة الإنجليزية) وlist_dielines (اللغة الإنجليزية). كلتاهما أداة مفتوحة لا تحتاج حسابًا. واستُبعدت الأدوات التي تستهلك من باقة المستخدم، مثل تنزيل ملفات قوالب القص.

مجموعة الاستعلامات. 40 طلبًا كُتبت لتطابق طريقة وصف المصممين لعملهم، موزعة على العلب والأكياس والزجاجات والبرطمانات والعلب المعدنية والأكواب والملابس والمطبوعات ووحدات العرض. القائمة الكاملة في الملحق.

قاعدة الصلة. لكل طلب قائمة كلمات مستهدفة ثُبّتت مسبقًا. تُعدّ النتيجة ذات صلة حين يحتوي اسمها الإنجليزي أو نوعها أو مجموعتها على إحداها. فلطلب يحدد نوع زجاجة، تكون الكلمات المستهدفة كلمة النوع وكلمة «bottle». القاعدة صارمة وآلية. لا يمكنها مكافأة نتيجة قريبة من المطلوب، ولا يمكن تطويعها بعد رؤية النتائج.

المقاييس. P@5 هي نسبة النتائج ذات الصلة في أول خمس نتائج، بمتوسط عبر الطلبات. وإصابة المرتبة الأولى تعني أن النتيجة الأولى ذات صلة. وزمن الاستجابة هو الزمن الفعلي لكل استدعاء، مقيسًا عند العميل، فيشمل الشبكة. ونُفّذ كل طلب مرتين، أي 80 استدعاء بحث.

RQ1: هل يعيد البحث ما قصده المصمم؟

في الغالب نعم. بلغ متوسط P@5 قيمة 0.82. وفي 24 من 40 طلبًا كانت النتائج الخمس كلها ذات صلة. وكانت النتيجة الأولى ذات صلة في 37 من 40.

المصدر: اختبار Drint MCP، 1 نوفمبر 2026، n = 40 طلبًا.

القاعدة تُقلّل العدّ في بعض المواضع. فلطلب «candle jar» (برطمان شمعة) قيّمت علبة شمعة بأنها غير ذات صلة، مع أن المصمم الذي يخطط لتغليف شموع قد يريدها. ولطلب «egg carton» (كرتونة بيض) كانت نتيجتان من النتائج الفائتة صواني للبيض والكعك مصنفة تحت نوع كرتونة. أبقينا التقييمات الصارمة بدل تعديلها يدويًا.

أين أخفق البحث، ولماذا؟

فشلت ثلاثة طلبات للسبب نفسه: كلمة واصفة تقدّمت على الاسم الرئيسي.

• «coffee mug» (كوب قهوة خزفي) أعاد علبة قهوة مغناطيسية وكيس قهوة ورقيًا وأكواب قهوة ورقية. لم يظهر أي كوب خزفي، مع أن المكتبة تضم أكوابًا خزفية. فكلمة «coffee» طابقت نماذج أكثر من «mug».
• «paint bucket» (دلو طلاء) أعاد قبعة دلو أولًا. في المكتبة دلاء طلاء، لكن تحت كلمة «pail».
• «cosmetic jar» (برطمان مستحضرات تجميل) أعاد أكياس وصواني مستحضرات تجميل قبل زجاجة مستحضرات. فكلمة «Cosmetic» رجحت على «jar».

في أشباه الجمل الاسمية الإنجليزية يسمّي الاسم الأخير الشيء؛ والكلمات التي قبله تصفه. والترتيب الذي يعطي كل الكلمات الوزن نفسه سينحرف نحو الكلمة الواصفة الأكثر شيوعًا في الكتالوج. والإصلاح هو إعطاء الاسم الرئيسي وزنًا أعلى من الكلمات الواصفة، وربط المترادفات مثل bucket وpail. هذا عيب في الترتيب، لا نقص في المكتبة.

هل ساعد إصلاح الترتيب؟

نعم. غيّرت Drint الترتيب في اليوم نفسه، على خطوتين. أولًا، حين ينتهي الطلب باسم عبوة محدد (mug أو jar أو bucket أو bottle أو can أو cup أو tube أو tin أو pouch أو sachet)، صارت نماذج هذا النوع تأتي أولًا. وصارت «bucket» تطابق «pail» أيضًا. وتُركت الأسماء العامة مثل box وbag وcarton خارج القاعدة. ففي نسخة أولى كانت مشمولة، فهبط «sleeve box» من ثلاث نتائج ذات صلة إلى لا شيء، لأن كل علبة هي علبة. ثانيًا، صار البحث يقرأ جدولًا مشتركًا لمصطلحات المهنة بعدة لغات، والنموذج الذي يطابق أكبر عدد من كلمات الطلب يتصدر القائمة.

اختبرنا التغييرات أولًا على نسخة محلية من الكتالوج، ثم أعدنا تشغيل الطلبات الأربعين نفسها على drint.io بعد أن دخلت حيّز التشغيل، عند 15:42 UTC.

المصدر: اختبار Drint MCP، drint.io، 1 نوفمبر 2026، 14:30 و15:42 UTC. بلغ وسيط زمن البحث في التشغيل الثاني 138 ms، وتكررت الطلبات الأربعون كلها مرة أخرى بالضبط.

لم يحصل أي طلب على تقييم أدنى من قبل. لكن نسخة وسيطة فعلت: هبط «candle jar» إلى 1 من 5، إذ أزاحت البرطماناتُ العادية برطماناتِ الشموع، إلى أن أعادته الخطوة الثانية إلى 3 من 5. وأضعف الطلبات الآن magnetic box وpillow box وsleeve box وpaint bucket وcandle jar، كلٌّ منها عند 3 من 5.

RQ2: هل هو سريع بما يكفي للمحادثة؟

نعم. عبر 80 استدعاء بحث كان الوسيط 149 ms والمئين 95 عند 245 ms. واستغرق أبطأ استدعاء 496 ms. وكان البحث عن قوالب القص أسرع: وسيط 81 ms، والمئين 95 عند 98 ms، عبر 20 استدعاء.

وللمقارنة، يستغرق رد النموذج اللغوي نفسه في المحادثة عادةً ثواني. والأداة التي تجيب في أقل من ربع ثانية لا تضيف شيئًا يذكر قد يلاحظه المستخدم. وهذه الأرقام تشمل الشبكة من فيتنام؛ ومن هم أقرب إلى الخادم سيرون زمنًا أقل.

RQ3: هل يعطي السؤال نفسه الإجابة نفسها؟

نعم. أعادت الطلبات الأربعون كلها معرّفات النماذج الخمسة نفسها بالترتيب نفسه في التشغيل الثاني. فالبحث استرجاع مرتَّب من فهرس ثابت، لا خطوة توليدية، فلا يتغير من تشغيل إلى آخر.

وهذا أهم مما يبدو. فالنموذج اللغوي وحده قد يسمّي أنماط علب مختلفة في كل مرة يُسأل فيها. ومع الأداة، يبدأ مصممان يعملان على الطلب نفسه من القائمة نفسها.

RQ4: هل تحمل كل إجابة المعلومات التي يحتاجها المصمم؟

كان لكل واحد من النماذج الـ 198 المُعادة مقاس بالمليمتر وصورة. وكان لكل واحد من رموز قوالب القص الـ 228 طول وعرض وارتفاع افتراضي ورابط يفتح القالب في محرر Drint بذلك المقاس.

ومن الرموز، كان 114 من FEFCO (الكرتون المضلّع) و65 من ECMA (العلب الكرتونية المطوية)، وهو قريب من «نحو 180» التي تذكرها الأداة. أما الـ 49 الباقية فأنماط مسمّاة خاصة بـ Drint، مثل علبة بغطاء قلّاب ولسان قفل أو علبة بيتزا بنافذة.

وماذا عن اللغة؟

هذا هو العيب الأوضح. عند السؤال بالإنجليزية، احتوت 63 من 198 نتيجة (31.8%) على نص فيتنامي في الاسم أو النوع أو المجموعة. بعضه صحيح: فـ Tết وbánh mì أسماء علم. لكن معظمه ليس كذلك، مثل نوع يظهر بالاسم «Hộp cứng nắp nam châm» بدلًا من «Magnetic rigid box». ومن رموز قوالب القص الـ 228، كان لـ 39 منها أسماء فيتنامية.

كان السبب في البحث في قاموس الخادم، لا في الكتالوج. فقد خُزّنت المدخلات مع ملاحظة بين قوسين، مثل «Hộp cứng nắp nam châm (hộp sách)»، فأخفق البحث المطابق في إيجادها. والأسماء التي تنتهي بمقاس، مثل «50 ml»، لم تُجزّأ قبل البحث. أصلحت Drint الأمرين وأضافت 17 اسمًا ناقصًا بالإنجليزية والفرنسية واليابانية والكورية.

وعلى drint.io بعد الإصلاح، انخفض النص الفيتنامي من 63 من 198 نتيجة إلى 7 من 200. ستة منها اسم العلم Tết. وواحد، نوع اسمه «Khối đa diện» (علبة متعددة الأوجه)، كان لا يزال بلا اسم إنجليزي؛ وقد أضافته Drint للإصدار التالي. وانخفضت رموز قوالب القص ذات الأسماء الفيتنامية من 39 من 228 إلى 9، وقد تُرجمت هذه التسعة للإصدار نفسه.

هل يوفّر الرموز (tokens)؟

على الأرجح، ويزداد التوفير مع ازدياد الاستخدام. قسنا جانب Drint وحده. أعاد البحث عن رمز قالب قص نحو 55 رمزًا (token) من النص ليقرأه النموذج. وأعاد بحث بخمسة نماذج نحو 140، وقائمة من 32 نمطًا لعلب الشحن البريدية نحو 630. هذه تقديرات بأربعة أحرف لكل رمز، من مخرجات الأداة في 1 نوفمبر 2026.

أما المساعد الذي يعمل وحده فعليه أن يكتب القالب بنفسه. وقالب القص الكامل بصيغة SVG، بخطوط القص والطي وألسنة اللصق، يبلغ آلاف رموز المخرجات، التي يحتسبها مقدمو الخدمة بأضعاف سعر المدخلات. والأشكال المعقدة مثل النجمة أو العلبة ذات 12 ضلعًا أو علبة البيتزا السداسية تحتاج أكثر. وإن كانت الهندسة خاطئة، يسأل المصمم مرة أخرى ويدفع مرة أخرى.

وهناك كلفة ثابتة أيضًا: تُحمَّل تعريفات الأدوات في كل محادثة. ولسؤال واحد قد يكون التوفير صغيرًا. أما لاستوديو يصنع عشرات القوالب أسبوعيًا، فقراءة بضع مئات من الرموز بدل كتابة الآلاف تتراكم. لم نُجرِ مقارنة على واجهة برمجية مدفوعة، فلا نقدّم رقمًا دقيقًا.

إلى أي حد يمكن الوثوق بهذه النتائج؟

لكل دراسة حدود. وهذه حدودنا.

• انحياز المؤلف. اختبرت Drint منتجها. والقائمة المثبّتة مسبقًا للاستعلامات وقاعدة التقييم تقلّلان هذا الانحياز لكنهما لا تلغيانه.
• عيّنة صغيرة. لا يمكن لـ 40 طلبًا أن تمثّل كل الطلبات. وقد تختلف الدقة في طلبات الملابس أو اللافتات عن التغليف.
• صلة آلية. قاعدة مطابقة الكلمات موضوعية لكنها خشنة. وقد يقيّم مقيّمون بشريون بعض النتائج بشكل مختلف، في الاتجاهين.
• لا مساعد في الحلقة. قسنا الأداة، لا محادثة كاملة. وقد يعيد المساعد الحقيقي صياغة الطلب قبل استدعاء الأداة، للأفضل أو للأسوأ.
• لا خط أساس. لم نقس كم مرة يختلق مساعد دون الأداة بنيةً أو مقاسًا. هذه المقارنة تحتاج دراسة منفصلة بتقييم بشري.
• كلفة الرموز غير مقيسة. يستند قسم الرموز إلى حجم مخرجات Drint وإلى تقديرات، لا إلى استهلاك محتسب فعليًا.
• مكان واحد ووقت واحد. قيس زمن الاستجابة من عميل واحد خلال عشر دقائق.

ماذا يعني هذا للمصممين

خادم MCP لا يجعل المساعد مبدعًا. بل يجعله قابلًا للمساءلة. تأتي الإجابات من كتالوج يعيد النماذج والمقاسات ورموز قوالب القص نفسها في كل مرة، بسرعة لا تكاد تُلاحظ. وحين تخفق الأداة، يكون إخفاقها ظاهرًا: النموذج الخاطئ أمامك على الشاشة، لا مخفيًا في نثر سلس.

والقاعدة العملية تنبع من الإخفاقات. سمِّ العبوة بدقة: «ceramic mug» (كوب خزفي) أفضل من «coffee drinkware» (أدوات شرب القهوة). وتحقق دائمًا من المقاس والرمز في الملف قبل إرساله إلى المطبعة. خطوات الربط في دليل ربط MCP. وما تفعله كل أداة مشروح في Drint MCP لـ ChatGPT وClaude، والاستخدام اليومي في كيف يستخدم المصممون MCP لصنع موك أب التغليف.

الملحق: الطلبات الأربعون وتقييماتها

يحدد التقييم كل نتيجة من أول خمس نتائج بترتيبها: 1 ذات صلة، 0 غير ذات صلة. الطلبات مكتوبة كما أُرسلت إلى الأداة بالإنجليزية.

كانت استعلامات قوالب القص العشرون: FEFCO، ECMA، 02، 03، 04، 05، 06، 07، 09، A20، A60، tuck، mailer، tray، sleeve، carton، lock، window، handle، divider. ويستطيع أي أحد تكرار الاختبار بإرسال طلبات tools/call نفسها إلى https://drint.io/mcp. وستتغير النتائج مع نمو الكتالوج.

المصادر

• اختبار Drint MCP، 80 استدعاء search_mockups و20 استدعاء list_dielines إلى https://drint.io/mcp، 1 نوفمبر 2026، 14:30–14:40 UTC، وأُعيد عند 15:42 UTC بعد الإصلاحات.
• Model Context Protocol، المواصفات والتوثيق، تاريخ الاطلاع 1 نوفمبر 2026.
• FEFCO، International Fibreboard Case Code، تاريخ الاطلاع 1 نوفمبر 2026.
• ECMA، European Carton Makers Association، تاريخ الاطلاع 1 نوفمبر 2026.
• Manning وRaghavan وSchütze، Introduction to Information Retrieval، Cambridge University Press، 2008، الفصل 8 عن التقييم والدقة عند k.

جرّبه

اربط https://drint.io/mcp باتباع دليل ربط MCP، ثم اطلب من مساعدك «list mailer box structures with FEFCO codes» (اعرض بنى علب الشحن البريدية مع رموز FEFCO). وتصفّح النماذج نفسها في موك أب Drint ورموز القوالب في رموز قوالب القص.

الأسئلة الشائعة