أصدرت Apple LLM متعدد الوسائط مفتوح المصدر يسمى Ferret في أكتوبر 2023 بالتعاون مع باحثين في جامعة كولومبيا ، لكنه لم يجذب الكثير من الاهتمام في ذلك الوقت ، كما ذكرت IT House في 25 ديسمبر. نتيجة لذلك ، غاب العديد من أعضاء مجتمع الذكاء الاصطناعي عن إطلاق Ferret. نشر بارت دي ويت ، الذي يدير منظمة أوروبية غير ربحية تركز على الذكاء الاصطناعي مفتوحة المصدر في الطب ، مؤخرا على X: "فاتني هذا بطريقة ما ، انضمت Apple إلى مجتمع Open Source الذكاء الاصطناعي في أكتوبر. يعد إطلاق Ferret شهادة على التزام Apple بأبحاث الذكاء الاصطناعي بعيدة المدى ، مما يعزز مكانتها كشركة رائدة في مجال الذكاء الاصطناعي متعدد الوسائط ... ملاحظة: أتطلع إلى اليوم الذي ستعمل فيه نماذج اللغات الكبيرة المحلية (LLLMs) على جهاز iPhone الخاص بي كخدمة متكاملة لنظام iOS المعاد تصميمه. يقال إن Ferret قادر على فحص المناطق المرسومة على الصورة ، وتحديد العناصر الموجودة فيها ، ووضعها في صندوق. يمكنه بعد ذلك أخذ العناصر المحددة كجزء من الاستعلام والاستجابة بطريقة نموذجية. يعد إصدار Ferret مهما للباحثين ، لأنه يظهر أن Apple تفتح تدريجيا أبحاثها الذكاء الاصطناعي ، في تناقض صارخ مع صورتها المغلقة سابقا بشكل غامض.

وفقا لتقرير صادر عن Webmaster House في 12 أكتوبر ، طور فريق الذكاء الاصطناعي / ML التابع لشركة Apple وفريق البحث بجامعة كولومبيا نموذجا كبيرا متعدد الوسائط "Ferret" يمكنه العثور بدقة على إشارات المرور في الصور ، والذي يعمل بشكل أفضل من GPT-4V ويحسن دقة النماذج الكبيرة في مهام "النظر والتحدث والإجابة". يكمن ابتكار Ferret الرئيسي في الجمع الوثيق بين الفهم المكاني لكل من الإحالة والتأريض ، مما يمكن النموذج من فهم دلالات منطقة معينة والعثور على الهدف المقابل في نفس الوقت.