Столкнулся с странной проблемой с базовой моделью Llama 405B через децентрализованную AI платформу. Пытаюсь получить logprobs через их интеграцию OpenRouter для тестирования, но ответ продолжает приходить пустым - буквально 0 символов возвращено. Кто-нибудь еще сталкивался с этой проблемой? Это может быть связано с параметром API или, возможно, с особенностью модели базовой версии. Довольно разочаровывающе, когда вы находитесь в процессе расследования, а поток данных просто замолкает.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

9 Лайков