Apple lanzó un LLM multimodal de código abierto llamado Ferret en octubre de 2023 en colaboración con investigadores de la Universidad de Columbia, pero no atrajo mucha atención en ese momento, según informó IT House el 25 de diciembre. Como resultado, muchos miembros de la comunidad de IA se perdieron el lanzamiento de Ferret. Bart de Witte, que dirige una organización europea sin ánimo de lucro centrada en la IA de código abierto en la medicina, publicó recientemente en X: "De alguna manera me perdí esto, Apple se unió a la comunidad de IA de código abierto en octubre. El lanzamiento de Ferret es un testimonio del compromiso de Apple con la investigación de IA de gran alcance, consolidando su posición como líder en IA multimodal... PD: Estoy deseando que llegue el día en que los modelos de lenguaje local de gran tamaño (LLLM) se ejecuten en mi iPhone como un servicio integrado para el iOS rediseñado. Se dice que Ferret es capaz de examinar las áreas dibujadas en la imagen, identificar los elementos en ella y encasillarla. A continuación, puede tomar los elementos identificados como parte de la consulta y responder de una manera típica. El lanzamiento de Ferret es significativo para los investigadores, ya que muestra que Apple está abriendo gradualmente su investigación de IA, en marcado contraste con su imagen previamente misteriosamente cerrada.

Según un informe de Webmaster House del 12 de octubre, el equipo de IA/ML de Apple y el equipo de investigación de la Universidad de Columbia desarrollaron un modelo multimodal de gran tamaño "Ferret" que puede encontrar con precisión los semáforos en las imágenes, que funciona mejor que GPT-4V y mejora la precisión de los modelos grandes en tareas de "mirar, hablar, responder". La innovación clave de Ferret radica en la estrecha combinación de la comprensión espacial de la referencia y la conexión a tierra, lo que permite que el modelo comprenda la semántica de una región determinada y encuentre el objetivo correspondiente al mismo tiempo.