Skip to content

get_sample_list方法会遍历2次manifest文件 #12

@sleepfin

Description

@sleepfin

def get_sample_list(manifest_path, task_type, exactly_match_type=False, access_key=None,

在set_sample_list方法里,parse_manifest会对manifest文件的所有lines遍历一遍
然后又对sample_list遍历了一遍

在百万级以上的数据集上,manifest文件会比较大,遍历2次会很慢,希望优化。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions