Closed
Description
- 问题简述
提供大模型一键对接ModelCache能力,包括Cache引流控制,大模型调用,缓存查询,数据回写等能力。
其中的大模型调用规范基于OpenAI规范,参考:https://platform.openai.com/docs/api-reference/chat/create - 期望产出
Adapter模块,能够接收用户请求,在Cache中查询是否命中,并调用大模型服务。解析返回,回写缓存。 - 能力要求
熟悉python代码,具备基础的fast api开发能力
Metadata
Metadata
Assignees
Labels
No labels
Type
Projects
Status
Done