إعادة حساب ذاكرة التخزين المؤقت KV للمدخلات الطويلة أو المدخلات المتكررة تضيف وقت الإستجابة وتهدر موارد GPU.



الإصدار الأخير من NVIDIA Dynamo يحل هذه المشكلة عن طريق نقل ذاكرة التخزين المؤقت KV إلى ذاكرة الوصول العشوائي للمعالج المركزي، أو وحدات التخزين SSD، أو التخزين البعيد—مما يقلل من الحسابات الزائدة ويسرع الاستجابات.

موفرو التخزين
شاهد النسخة الأصلية
post-image
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 2
  • إعادة النشر
  • مشاركة
تعليق
0/400
ReverseTrendSistervip
· منذ 20 س
كان الأمر رائعًا، بطاقة N كانت قوية أخيرًا!
شاهد النسخة الأصليةرد0
SneakyFlashloanvip
· منذ 20 س
أصبح الأمر مفيدًا قليلاً أخيرًا
شاهد النسخة الأصليةرد0
  • تثبيت