-
Notifications
You must be signed in to change notification settings - Fork 9
Open
Description
modelarts-dataset-sdk/huaweicloud-sdk-python-modelarts-dataset/modelarts/manifest.py
Line 26 in 40bf541
| def get_sample_list(manifest_path, task_type, exactly_match_type=False, access_key=None, |
在set_sample_list方法里,parse_manifest会对manifest文件的所有lines遍历一遍
然后又对sample_list遍历了一遍
在百万级以上的数据集上,manifest文件会比较大,遍历2次会很慢,希望优化。
Metadata
Metadata
Assignees
Labels
No labels