请问一下是怎么支持的当前最新的Streamable HTTP模式？

[Zhaobudaoyuema]

在推文https://mp.weixin.qq.com/s/fDnOQA1jzOLZQJ5aVEIuvg中看到一下内容
在协议的传输层上，支持目前最多AI工具采用的POST+SSE模式，以及最新的Streamable HTTP模式。

请问一下是怎么支持的当前最新的Streamable HTTP模式？

[Jing-ze]

目前只支持Streamable HTTP协议的无状态服务，session相关的后续会支持

[Zhaobudaoyuema]

没看明白，这个Streamable HTTP协议的无状态服务 最终提供的不就是无状态的链接？为啥说只支持无状态的，session相关的支持又是啥呀。
我有点迷，现在官方只有POST+SSE，是个有状态的链接。
然后官方要升级到Streamable HTTP，但是还没出代码。我看你们文章说已经支持了？

[johnlanni]

Streamable HTTP的MCP官方SDK目前还没有，我们是根据官方spec的协议实现的。可以看下 REST API MCPServer，就是支持的：https://higress.cn/ai/mcp-quick-start/?spm=36971b57.7beea2de.0.0.d85f20a9nVjyp6#%E9%85%8D%E7%BD%AE-rest-api-mcp-server

Streamable HTTP模式是不局限于无状态的，只是对无状态比较友好而已。目前Higress对有状态的Streamable HTTP模式还尚未支持。

[Zhaobudaoyuema]

感谢回复，我重新看了一下streamable http的pr，支持无状态服务、无状态流服务、有状态服务。modelcontextprotocol/modelcontextprotocol#206

stateful server
A stateful server would be implemented very similarly to today. The main difference is that the server will need to generate a session ID, and the client will need to pass that back with every request.

The server can then use the session ID for sticky routing or routing messages on a message bus—that is, a POST message can arrive at any server node in a horizontally-scaled deployment, so must be routed to the existing session using a broker like Redis.

还得依赖sticky routing or message bus or 其它 我觉得大部分mcp server 应该前两种无状态服务、无状态流服务就足够用了。
和当前的POST + SSE没区别 一样的问题。

[JooKS-me]

目前只支持Streamable HTTP协议的无状态服务，session相关的后续会支持

@Jing-ze 请问现在支持2024-11-05版协议吗？

[Jing-ze]

目前只支持Streamable HTTP协议的无状态服务，session相关的后续会支持

@Jing-ze 请问现在支持2024-11-05版协议吗？

2024-11-05版协议现在完全支持

[JooKS-me]

目前只支持Streamable HTTP协议的无状态服务，session相关的后续会支持

@Jing-ze 请问现在支持2024-11-05版协议吗？

2024-11-05版协议现在完全支持

请问现在支持多Higress实例部署吗？理论上一个会话的GET /sse和POST /message请求都需要打到一个实例上吧，这个是如何解决的

[johnlanni]

@JooKS-me 基于redis做的session同步

[cr7258]

Streamable HTTP的MCP官方SDK目前还没有，我们是根据官方spec的协议实现的。可以看下 REST API MCPServer，就是支持的：https://higress.cn/ai/mcp-quick-start/?spm=36971b57.7beea2de.0.0.d85f20a9nVjyp6#%E9%85%8D%E7%BD%AE-rest-api-mcp-server

@johnlanni 文档中的 无需全局 ConfigMap 配置 是什么意思？

指的是 configmap 中的 /user 路径这个配置可以不需要吗？可是我实际测试的时候这个配置必须配才可以。

[CH3CHO]

但 Streamable HTTP 是不需要 /sse 后缀的。你用的哪个客户端呢？

[cr7258]

但 Streamable HTTP 是不需要 /sse 后缀的。你用的哪个客户端呢？

cherry studio，去掉 /see 后缀也不行，是客户端不支持 Streamable HTTP？

[CH3CHO]

cherry studio，去掉 /see 后缀也不行，是客户端不支持 Streamable HTTP？

它界面上都只写了 stdio 和 sse，大概率是不支持 Streamable HTTP 的

[CH3CHO]

cherry studio，去掉 /see 后缀也不行，是客户端不支持 Streamable HTTP？

要不试试 ChatWise?

[cr7258]

ChatWise 要升级才能用 Streamable HTTP，29 美刀。。

[cr7258]

新版本的 cherry studio 支持 Streamable HTTP，但是还是不行，从 higress-gateway 上会看到 route not found 的报错。