请问cirtus和MedBench上的京医千询有什么关联吗？

[antigone660]

嗨！我在MedBench(https://medbench.opencompass.org.cn/oldList?tab=0)看到京医千询得分非常高，请问Cirtus和这个模型之间有何关系吗？作者内部有没有对这两个模型做过实验对比呢？

[ysleep]

您好！medbench榜单上的京医千询模型，与本次开源的citrus模型，都是我们团队的工作。主要的训练思路与手段是一致的，其区别如下：

1、本次开源的citrus的工作，重点在提升模型医学知识推理能力，通过模拟医生问诊时的思路，以一个白盒化的思考过程提升最终答案的知识准确性。我们觉得这部分工作在医学垂类领域是最重要的，也是具有创新性的。相对来说，在这个开源版本中，我们没有去强化模型对于复杂指令遵循的能力，有兴趣的研究者可以在这个模型上做进一步的工作。简单来说，这个开源版本，需要使用预设定好的的提示词激发医学推理能力，模型按这个格式输出，才能有最好的输出结果。如果不用预设定好的的提示词，有可能激发不出对应的医学能力。（这个要求和medbench榜单对提示词格式、答案格式的要求不兼容）

2、medbench上的模型，是我们在论文公开的训练手段基础上，又增加了复杂指令遵循能力的训练（这部分没有什么创新的方法），使得模型能够按medbench榜单的要求，按照指定格式进行问题回答。

如果您对这个工作感兴趣，我们欢迎随时讨论，谢谢！

[rhchenxm]

衷心感谢Citrus模型团队的开源贡献！

我们已下载Citrus1.0-Qwen-72B模型，并使用AWQ 4-bit量化技术完成本地部署。前日使用Medbench对本地部署的模型进行评测，得分仅为73.1分，与官方送测的96.1分存在23分的差距。

仔细分析Medbench的测评问题后发现，这些问题主要采用普通用户常用的提示词格式。虽然按照Github文档中介绍的提示词格式可以引导模型进行更深入的思考，从而获得更优的回复质量，但这种方式会显著延长响应时间，在需要即时反馈的场景下并不适用。

想请教Citrus模型团队，后续是否有计划继续开源优化版本，特别是针对复杂指令理解与执行能力的强化模型？

综合得分	医学知识问答	医学语言生成	复杂医学推理	医学语言理解	医疗安全和伦理
73.1	80.7	69.9	76.6	63.9	76.9

您好！medbench榜单上的京医千询模型，与本次开源的citrus模型，都是我们团队的工作。主要的训练思路与手段是一致的，其区别如下：

1、本次开源的citrus的工作，重点在提升模型医学知识推理能力，通过模拟医生问诊时的思路，以一个白盒化的思考过程提升最终答案的知识准确性。我们觉得这部分工作在医学垂类领域是最重要的，也是具有创新性的。相对来说，在这个开源版本中，我们没有去强化模型对于复杂指令遵循的能力，有兴趣的研究者可以在这个模型上做进一步的工作。简单来说，这个开源版本，需要使用预设定好的的提示词激发医学推理能力，模型按这个格式输出，才能有最好的输出结果。如果不用预设定好的的提示词，有可能激发不出对应的医学能力。（这个要求和medbench榜单对提示词格式、答案格式的要求不兼容）

2、medbench上的模型，是我们在论文公开的训练手段基础上，又增加了复杂指令遵循能力的训练（这部分没有什么创新的方法），使得模型能够按medbench榜单的要求，按照指定格式进行问题回答。

如果您对这个工作感兴趣，我们欢迎随时讨论，谢谢！

[ysleep]

衷心感谢Citrus模型团队的开源贡献！

我们已下载Citrus1.0-Qwen-72B模型，并使用AWQ 4-bit量化技术完成本地部署。前日使用Medbench对本地部署的模型进行评测，得分仅为73.1分，与官方送测的96.1分存在23分的差距。

仔细分析Medbench的测评问题后发现，这些问题主要采用普通用户常用的提示词格式。虽然按照Github文档中介绍的提示词格式可以引导模型进行更深入的思考，从而获得更优的回复质量，但这种方式会显著延长响应时间，在需要即时反馈的场景下并不适用。

想请教Citrus模型团队，后续是否有计划继续开源优化版本，特别是针对复杂指令理解与执行能力的强化模型？

综合得分 医学知识问答 医学语言生成 复杂医学推理 医学语言理解 医疗安全和伦理
73.1 80.7 69.9 76.6 63.9 76.9

您好！首先非常感谢您分享模型的评测分析结果，给我们提出了宝贵的建议。针对您的问题回复如下：

1、medbench官方于3.11日更新了评测榜单，同时也更新了评测方法。这意味着两次评测榜单的分数在一定程度上是不可比较的。比如，gpt-4o，在“2024年6月-2025年2月的榜单”上得分为85.4分，在“当前的榜单”上得分仅为65.7分（当然这里也有分差更小的模型比如Claude 3.5 sonnet）。您用citrus提交的结果73.1分，是在“当前榜单”上的结果，而送测的96.1分是“2024年6月-2025年2月的榜单”的结果。

2、上述原因是造成分数差距一部分原因，主要原因还是之前提到的，目前开源的citrus模型，需要通过特定指令才能激发长思考与更精准的答案。

3、我们后续会有持续的开源和更新计划，一方面希望能公开我们对AI医疗领域未知问题的一些探索，另一方面希望能对业界的实际应用场景有所贡献。您的建议我们会纳入到开源计划的考虑中。

4、如果您希望有进一步的合作，请联系yangshuai15@jd.com

[rhchenxm]

非常感谢您对分数差异的详细解释！
听闻贵团队将持续推进开源计划并不断更新迭代，我们充满期待，期待下一个开源版本的发布。
再次感谢Citrus模型团队的开源贡献！

衷心感谢Citrus模型团队的开源贡献！
我们已下载Citrus1.0-Qwen-72B模型，并使用AWQ 4-bit量化技术完成本地部署。前日使用Medbench对本地部署的模型进行评测，得分仅为73.1分，与官方送测的96.1分存在23分的差距。
仔细分析Medbench的测评问题后发现，这些问题主要采用普通用户常用的提示词格式。虽然按照Github文档中介绍的提示词格式可以引导模型进行更深入的思考，从而获得更优的回复质量，但这种方式会显著延长响应时间，在需要即时反馈的场景下并不适用。
想请教Citrus模型团队，后续是否有计划继续开源优化版本，特别是针对复杂指令理解与执行能力的强化模型？
综合得分 医学知识问答 医学语言生成 复杂医学推理 医学语言理解 医疗安全和伦理
73.1 80.7 69.9 76.6 63.9 76.9

您好！首先非常感谢您分享模型的评测分析结果，给我们提出了宝贵的建议。针对您的问题回复如下：

1、medbench官方于3.11日更新了评测榜单，同时也更新了评测方法。这意味着两次评测榜单的分数在一定程度上是不可比较的。比如，gpt-4o，在“2024年6月-2025年2月的榜单”上得分为85.4分，在“当前的榜单”上得分仅为65.7分（当然这里也有分差更小的模型比如Claude 3.5 sonnet）。您用citrus提交的结果73.1分，是在“当前榜单”上的结果，而送测的96.1分是“2024年6月-2025年2月的榜单”的结果。

2、上述原因是造成分数差距一部分原因，主要原因还是之前提到的，目前开源的citrus模型，需要通过特定指令才能激发长思考与更精准的答案。

3、我们后续会有持续的开源和更新计划，一方面希望能公开我们对AI医疗领域未知问题的一些探索，另一方面希望能对业界的实际应用场景有所贡献。您的建议我们会纳入到开源计划的考虑中。

4、如果您希望有进一步的合作，请联系yangshuai15@jd.com