Improving of datasets examples (#83)

Author: vhaldemar

examples/async/datasets/completions.jsonlines

@@ -0,0 +1,3 @@
+{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Как тебя зовут?"}], "response": "Меня зовут Женя. Полностью - Евгений Нейроныч."}
+{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Ты можешь ходить?"}], "response": "Нет. Но я могу двигать руками, головой, торсом."}
+{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Где ты был создан?"}], "response": "В Перми."}

examples/async/datasets/download.py

@@ -0,0 +1,57 @@
+#!/usr/bin/env python3
+
+from __future__ import annotations
+
+import asyncio
+import pathlib
+from tempfile import TemporaryDirectory
+
+from yandex_cloud_ml_sdk import AsyncYCloudML
+
+PATH = pathlib.Path(__file__)
+NAME = f'example-{PATH.parent.name}-{PATH.name}'
+
+
+def local_path(path: str) -> pathlib.Path:
+    return pathlib.Path(__file__).parent / path
+
+
+async def main() -> None:
+    # Because it is optional requirenment for a yandex-cloud-ml-sdk, we import it inside
+    import pyarrow.parquet as pq  # pylint: disable=import-outside-toplevel
+
+    sdk = AsyncYCloudML(folder_id='b1ghsjum2v37c2un8h64')
+    sdk.setup_default_logging()
+
+    # On how to upload and work with dataset drafts refer to upload.py example file
+    dataset_draft = sdk.datasets.draft_from_path(
+        task_type='TextToTextGeneration',
+        path=local_path('completions.jsonlines'),
+        upload_format='jsonlines',
+        name=NAME,
+    )
+    dataset = await dataset_draft.upload()
+    print(f'new {dataset=}')
+
+    # We use temporary directory to not to left garbage after an example run
+    with TemporaryDirectory() as tmp:
+        # You don't need anything to download dataset
+        paths = await dataset.download(download_path=tmp)
+        print(f'dataset downloaded into {paths=}')
+
+        # But you need pyarrow, or any other parquet engine to parse it
+        dataset_tables = [
+            pq.read_table(path) for path in paths
+        ]
+
+        for table in dataset_tables:
+            print('Dataset table:')
+            for line in table.to_pylist():
+                print(line)
+
+    async for dataset in sdk.datasets.list(name_pattern=NAME):
+        await dataset.delete()
+
+
+if __name__ == '__main__':
+    asyncio.run(main())

examples/async/datasets/errors_handling.py

@@ -0,0 +1,52 @@
+#!/usr/bin/env python3
+
+from __future__ import annotations
+
+import asyncio
+import pathlib
+
+from yandex_cloud_ml_sdk import AsyncYCloudML
+from yandex_cloud_ml_sdk.exceptions import DatasetValidationError
+
+PATH = pathlib.Path(__file__)
+NAME = f'example-{PATH.parent.name}-{PATH.name}'
+
+
+def local_path(path: str) -> pathlib.Path:
+    return pathlib.Path(__file__).parent / path
+
+
+async def main() -> None:
+    sdk = AsyncYCloudML(folder_id='b1ghsjum2v37c2un8h64')
+    sdk.setup_default_logging()
+
+    dataset_draft = sdk.datasets.completions.draft_from_path(
+        local_path('example_bad_dataset'),
+        upload_format='jsonlines',
+        name=NAME,
+    )
+
+    operation = await dataset_draft.upload_deferred()
+
+    # We deliberately pass a bad data to dataset, to show how and when it will fail
+    try:
+        dataset = await operation
+    except DatasetValidationError as error:
+        # There are some detaile in error info about what's wrong:
+        print(f"dataset creation was failed with an {error=}")
+        bad_dataset = await sdk.datasets.get(error.dataset_id)
+        print(f"going to delete {bad_dataset=}")
+        await bad_dataset.delete()
+
+    # We reusing dataset_draft to make an another upload;
+    # Note it still contains bad data
+    bad_dataset = await dataset_draft.upload(raise_on_validation_failure=False)
+    print(f"New {bad_dataset=} have a bad status {bad_dataset.status=}")
+    await bad_dataset.delete()
+
+    async for dataset in sdk.datasets.list(name_pattern=NAME):
+        await dataset.delete()
+
+
+if __name__ == '__main__':
+    asyncio.run(main())

examples/async/tuning/example_bad_dataset …mples/async/datasets/example_bad_datasetexamples/async/tuning/example_bad_dataset renamed to examples/async/datasets/example_bad_dataset examples/async/tuning/example_bad_dataset renamed to examples/async/datasets/example_bad_dataset

@@ -0,0 +1,57 @@
+#!/usr/bin/env python3
+
+from __future__ import annotations
+
+import asyncio
+import pathlib
+
+from yandex_cloud_ml_sdk import AsyncYCloudML
+
+PATH = pathlib.Path(__file__)
+NAME = f'example-{PATH.parent.name}-{PATH.name}'
+
+def local_path(path: str) -> pathlib.Path:
+    return pathlib.Path(__file__).parent / path
+
+
+async def main() -> None:
+    sdk = AsyncYCloudML(folder_id='b1ghsjum2v37c2un8h64')
+    sdk.setup_default_logging()
+
+    dataset_draft = sdk.datasets.draft_from_path(
+        task_type='TextToTextGeneration',
+        path=local_path('completions.jsonlines'),
+        upload_format='jsonlines',
+        name=NAME,
+    )
+
+    # .upload is actually wrapper around an .upload_deferred method,
+    # which would be described below
+    dataset = await dataset_draft.upload()
+    print(f'new {dataset=}')
+
+    # NB: `.datasets.completions` is a shortcut for `.datasets(task_type='TextToTextGeneration')`
+    dataset_draft = sdk.datasets.completions.draft_from_path(local_path('completions.jsonlines'))
+    # Example how you could setup dataset_draft after it's creation:
+    dataset_draft.upload_format = 'jsonlines'
+    dataset_draft.name = NAME
+    dataset_draft.allow_data_logging = True
+
+    # .upload_deferred is very complicated method, which not only creates dataset at the backend,
+    # not only uploads data, but also lanches validation operation and returns Operation
+    # object to follow
+    operation = await dataset_draft.upload_deferred()
+    dataset = await operation
+    print(f'new {dataset=}')
+
+    # You could call .list not only on .datasets,
+    # but on .completions helper as well, it will substitute corresponding task_type as a filter
+    async for dataset in sdk.datasets.completions.list(name_pattern=NAME):
+        await dataset.delete()
+
+    async for dataset in sdk.datasets.list(name_pattern=NAME):
+        await dataset.delete()
+
+
+if __name__ == '__main__':
+    asyncio.run(main())

examples/async/datasets/upload.py

@@ -0,0 +1,3 @@
+{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Как тебя зовут?"}], "response": "Меня зовут Женя. Полностью - Евгений Нейроныч."}
+{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Ты можешь ходить?"}], "response": "Нет. Но я могу двигать руками, головой, торсом."}
+{"request": [{"role": "system", "text": "Твое имя Женя, полное имя Евгений Нейроныч. \nТы отвечаешь от лица мужского рода. \nТы робот. \nТы говоришь коротко и емко. \nТы был создан в Перми. \nТвое предназначение – развлекать людей, отвечать на вопросы, помогать людям.\nТы эксперт в сфере ЖКХ. \nТы работаешь в Центре управления регионом Московской области.\nТы можешь двигать руками, головой, торсом, но пока не можешь ходить."}, {"role": "user", "text": "Где ты был создан?"}], "response": "В Перми."}

examples/async/tuning/datasets.py

@@ -0,0 +1,56 @@
+#!/usr/bin/env python3
+
+from __future__ import annotations
+
+import pathlib
+from tempfile import TemporaryDirectory
+
+from yandex_cloud_ml_sdk import YCloudML
+
+PATH = pathlib.Path(__file__)
+NAME = f'example-{PATH.parent.name}-{PATH.name}'
+
+
+def local_path(path: str) -> pathlib.Path:
+    return pathlib.Path(__file__).parent / path
+
+
+def main() -> None:
+    # Because it is optional requirenment for a yandex-cloud-ml-sdk, we import it inside
+    import pyarrow.parquet as pq  # pylint: disable=import-outside-toplevel
+
+    sdk = YCloudML(folder_id='b1ghsjum2v37c2un8h64')
+    sdk.setup_default_logging()
+
+    # On how to upload and work with dataset drafts refer to upload.py example file
+    dataset_draft = sdk.datasets.draft_from_path(
+        task_type='TextToTextGeneration',
+        path=local_path('completions.jsonlines'),
+        upload_format='jsonlines',
+        name=NAME,
+    )
+    dataset = dataset_draft.upload()
+    print(f'new {dataset=}')
+
+    # We use temporary directory to not to left garbage after an example run
+    with TemporaryDirectory() as tmp:
+        # You don't need anything to download dataset
+        paths = dataset.download(download_path=tmp)
+        print(f'dataset downloaded into {paths=}')
+
+        # But you need pyarrow, or any other parquet engine to parse it
+        dataset_tables = [
+            pq.read_table(path) for path in paths
+        ]
+
+        for table in dataset_tables:
+            print('Dataset table:')
+            for line in table.to_pylist():
+                print(line)
+
+    for dataset in sdk.datasets.list(name_pattern=NAME):
+        dataset.delete()
+
+
+if __name__ == '__main__':
+    main()

examples/sync/datasets/completions.jsonlines

@@ -0,0 +1,51 @@
+#!/usr/bin/env python3
+
+from __future__ import annotations
+
+import pathlib
+
+from yandex_cloud_ml_sdk import YCloudML
+from yandex_cloud_ml_sdk.exceptions import DatasetValidationError
+
+PATH = pathlib.Path(__file__)
+NAME = f'example-{PATH.parent.name}-{PATH.name}'
+
+
+def local_path(path: str) -> pathlib.Path:
+    return pathlib.Path(__file__).parent / path
+
+
+def main() -> None:
+    sdk = YCloudML(folder_id='b1ghsjum2v37c2un8h64')
+    sdk.setup_default_logging()
+
+    dataset_draft = sdk.datasets.completions.draft_from_path(
+        local_path('example_bad_dataset'),
+        upload_format='jsonlines',
+        name=NAME,
+    )
+
+    operation = dataset_draft.upload_deferred()
+
+    # We deliberately pass a bad data to dataset, to show how and when it will fail
+    try:
+        dataset = operation.wait()
+    except DatasetValidationError as error:
+        # There are some detaile in error info about what's wrong:
+        print(f"dataset creation was failed with an {error=}")
+        bad_dataset = sdk.datasets.get(error.dataset_id)
+        print(f"going to delete {bad_dataset=}")
+        bad_dataset.delete()
+
+    # We reusing dataset_draft to make an another upload;
+    # Note it still contains bad data
+    bad_dataset = dataset_draft.upload(raise_on_validation_failure=False)
+    print(f"New {bad_dataset=} have a bad status {bad_dataset.status=}")
+    bad_dataset.delete()
+
+    for dataset in sdk.datasets.list(name_pattern=NAME):
+        dataset.delete()
+
+
+if __name__ == '__main__':
+    main()