المقال بيعلن عن Kimi K2، أحدث موديل من نوع Mixture-of-Experts، فيه 32 مليار باراميتر مفعّلة و1 تريليون باراميتر إجمالي. الموديل متفوّق في:
- المعرفة المتقدمة (frontier knowledge)
- المسائل الرياضية
- الكتابة البرمجية
- مهام الوكيل (agentic tasks)
وبييجي بنسختين مفتوحتين:
1. Kimi-K2-Base: أساس قوي للباحثين والمطوّرين عشان يظبطوه ويعملوا fine-tuning حسب احتياجهم.
2. Kimi-K2-Instruct: جاهز للدردشة والاستخدام العام، سريع في الاستجابة (reflex-grade).
أهم المزايا والتقنيات:
- MuonClip Optimizer: نسخة محسّنة من Moonlight optimizer بتمنع انفجار قيم الانتباه (attention logits) أثناء التدريب، وبيستخدم تقنية qk-clip لإعادة موازنة أوزان الـ query والـ key بعد كل تحديث.
- اتدرّب على 15.5 تريليون توكن من البيانات بدون مشاكل تدريبية (zero spike).
- قدرات وكيل ذكي متطوّرة بفضل توليد بيانات تدريب ضخمة للأدوات (ACEBench-style pipeline) واتّباع نهج Reinforcement Learning عام بيركّز على self-judging لتحسين المكافآت اللي مش دايمًا قابلة للتحقق تلقائيًا.
نتائج قياسية (benchmarks):
- في الكودينج: Pass@1 بــ53.7% على LiveCodeBench v6 و27.1% على OJBench.
- في استخدام الأدوات: avg@4 بــ70.6% في Tau2 retail و76.5% في AceBench.
- في الرياضيات والـ STEM: 69.6% في AIME 2024 و97.4% في MATH-500.
- في الفهم العام (MMLU): 89.5% دقة إجابة صحيحة.
التوافر:
- جربه مجانًا على kimi.com
- أو استخدمه عن طريق API متوافق مع OpenAI/Anthropic على platform.moonshot.ai
- تقدر تنزّله وخدمه بنفسك على محركات inference زي vLLM أو TensorRT-LLM
القيود الحالية:
- أداء أقل شوية في المسائل المنطقية الصعبة أو لو تعريف الأداة فيه غموض
- ممكن يطلّع مخرجات طويلة أوي أحيانًا وميخلصش نداءات الأدوات بالكامل
- بطيء حاليا
Kimi K2 بيهدف لفتح قدرات الذكاء الوكِيل للعامة وتحفيز الابتكار في التطبيقات الذكية.
المقال الأصلي: