Skip to content

[Maintenance] 关于Metric的special token #441

@hzhwcmhf

Description

@hzhwcmhf

metric应改用convert_ids_to_tokens或convert_ids_to_sent系列的函数。和原来的区别在于,输入可以选择性的带<eos>等special token,也可以不带。可以带。

  • 检查实现,是否有没用convert系列函数的情况
  • 检查文档,应在文档中说明special token的处理方式
  • 应在example中有所体现
  • 原有Test应该能够通过

涉及的Metric有:

precision_recall:92 需要修改
293-297 检查一下,默认参数是remove special 所以感觉没有错

Metadata

Metadata

Assignees

No one assigned

    Labels

    maintenanceMaintain existing codenewNew issue

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions