News

أفادت Jinse Finance أن Tongyi Qianwen، التابعة لشركة Alibaba، أطلقت الجيل التالي من بنية النماذج الأساسية Qwen3-Next، وقامت بإتاحة سلسلة النماذج Qwen3-Next-80B-A3B المبنية على هذه البنية كمصدر مفتوح. بالمقارنة مع بنية نموذج MoE في Qwen3، تم إجراء التحسينات الأساسية التالية: آلية انتباه هجينة، بنية MoE عالية التفرع، سلسلة من التحسينات التي تعزز استقرار التدريب، وآلية التنبؤ بعدة رموز لتحسين كفاءة الاستدلال. استنادًا إلى بنية نموذج Qwen3-Next، قامت Alibaba بتدريب نموذج Qwen3-Next-80B-A3B-Base، الذي يحتوي على 80 مليار معلمة مع تفعيل 3 مليارات فقط منها. يحقق هذا النموذج الأساسي أداءً مماثلاً أو حتى أفضل قليلاً من نموذج Qwen3-32B dense، بينما تبلغ تكلفة تدريبه (ساعات GPU) أقل من عُشر تكلفة Qwen3-32B، ويحقق معدل استدلال أعلى بأكثر من عشرة أضعاف في سياقات تتجاوز 32k، مما يوفر فعالية قصوى من حيث التكلفة في التدريب والاستدلال.