Досить дико бачити, як великий промисловий гравець йде в усі в open-source LLM інфраструктуру. Вони створили власну самостійно розгорнуту платформу, що працює на оптимізації vllm—без прив'язки до постачальника, повний контроль над стеком і, ймовірно, зниження витрат в масштабах. Уся система також працює стійко. Цікава схема для тих, хто втомився від рахунків постачальників хмарних послуг, які з'їдають маржу.