Skip to content

xinference通过vllm引擎启动的模型,metrics数据能输出更全面吗 #4509

@Tian14267

Description

@Tian14267

大神们好。
我通过xinference,用vllm引擎启动的模型,在打开metrics接口时发现,xinference输出的metrics数据好少啊:

Image

但是我通过vllm直接启动的模型,打开vllm的metrics,就发现数据信息很全面:

Image

请问xinference的metrics数据,能输出更全面吗,还是说我的启动方式不对?
我的xinference版本:v1.17.0

启动:

XINFERENCE_HOME=/data  xinference-local --log-level debug \
    --host 0.0.0.0 --port 9997 \
    --metrics-exporter-host 0.0.0.0 --metrics-exporter-port 3087

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions