Skip to content

[编程挑战季] 开发对接大模型 Adapter。 #51

Closed
@peng3307165

Description

@peng3307165
  1. 问题简述
    提供大模型一键对接ModelCache能力,包括Cache引流控制,大模型调用,缓存查询,数据回写等能力。
    其中的大模型调用规范基于OpenAI规范,参考:https://platform.openai.com/docs/api-reference/chat/create
  2. 期望产出
    Adapter模块,能够接收用户请求,在Cache中查询是否命中,并调用大模型服务。解析返回,回写缓存。
  3. 能力要求
    熟悉python代码,具备基础的fast api开发能力

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

Status

Done

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions