Merge branch '381-add-support-for-azure-filesystem' into 'master'

Resolve "Add support for Azure filesystem"

Closes #381

See merge request apps/gateway/gateway!325

Author: ppantellini

.gitlab-ci.yml

@@ -59,6 +59,7 @@ lint:
 tests:
   stage: test
   script:
+    - env
     - gotestsum --junitfile tests.junit.xml --rerun-fails --format-icons hivis --packages ./... -- -coverprofile=coverage.txt -covermode atomic -shuffle on
   after_script:
     - gocover-cobertura < coverage.txt > coverage.xml

doc/source/changelog.rst

@@ -3,6 +3,9 @@
 Historique des versions
 =======================
 
+* :feature:`381` Ajout du support pour Azure Files et Azure Blob comme instances
+  cloud. Voir leur documentations respectives :doc:`ici<source/reference/cloud/azurefiles>`
+  et :doc:`ici<source/reference/cloud/azureblob>`.
 * :bug:`506` Correction d'un bug qui empêchait l'utilisation des instances cloud.
   Celles-ci pouvaient être créées ou modifiées sans problèmes, mais elles ne
   pouvaient pas être utilisées dans un transfert (cela résultait systématiquement

doc/source/reference/cloud/azureblob.rst

@@ -0,0 +1,64 @@
+==========
+Azure Blob
+==========
+
+Waarp Gateway permet d'utiliser un bucket Azure Blob à la place du disque dur local.
+
+.. note::
+   Ne pas confondre avec :doc:`Azure Files<azurefiles>`.
+
+Configuration
+-------------
+
+Pour utiliser une instance cloud, celle-ci doit d'abord être créée et configurée.
+Pour créer une instance cloud Azure Blob, le type renseigné doit être ``azblob``
+ou ``azureblob``.
+
+Authentification
+^^^^^^^^^^^^^^^^
+
+Pour se connecter à une instance Azure, Waarp Gateway a besoin d'identifiants.
+Ces identifiants peuvent être fournis de 2 manières différentes :
+
+- Soit en les renseignant directement à la création de l'instance cloud, auquel cas :
+
+  - Le paramètre *key* doit contenir le nom de compte
+  - Le paramètre *secret* doit contenir la clé du compte
+- Soit en les renseignant dans des variables d'environnement. Les variables
+  suivantes doivent être renseignées :
+
+  - :envvar:`AZURE_STORAGE_ACCOUNT` pour le nom de compte
+  - :envvar:`AZURE_CLIENT_SECRET` pour la clé d'authentification
+  - :envvar:`AZURE_TENANT_ID` pour l'ID du locataire Microsoft Entra
+  - :envvar:`AZURE_CLIENT_ID` pour l'ID de l'application
+
+Options
+^^^^^^^
+
+Les options de configuration suivantes sont disponibles pour Azure Blob :
+
+* **endpoint**: L'adresse du serveur Azure (si celle-ci est différente de l'adresse
+  par défaut ``core.windows.net``).
+* **env_auth**: Booléen, mettre à ``true`` pour activer l'authentification via
+  variables d'environnement décrite ci-dessus.
+
+Exemple
+-------
+
+Prenons le cas de figure suivant :
+
+- fichier: ``doc/waarp-gateway.pdf``
+- authentification via variables d'environnement
+
+Dans un premier temps, l'instance cloud doit être définie. Dans cet exemple, nous
+lui donnerons le nom "ex-azblob".
+
+La commande de création pour cette instance cloud est donc :
+
+.. code-block:: shell
+   waarp-gateway cloud add -n "ex-azblob" -t "azblob" -o "env_auth:true"
+
+Par la suite, lors de mon transfert, le chemin du fichier devra donc ressembler à :
+
+| ex-azblob:doc/waarp-gateway.pdf
+

doc/source/reference/cloud/azurefiles.rst

@@ -0,0 +1,66 @@
+===========
+Azure Files
+===========
+
+Waarp Gateway permet d'utiliser un share Azure Files à la place du disque dur local.
+
+.. note::
+   Ne pas confondre avec :doc:`Azure Blob<azureblob>`.
+
+Configuration
+-------------
+
+Pour utiliser une instance cloud, celle-ci doit d'abord être créée et configurée.
+Pour créer une instance cloud Azure Files, le type renseigné doit être ``azfiles``
+ou ``azurefiles``.
+
+Authentification
+^^^^^^^^^^^^^^^^
+
+Pour se connecter à une instance Azure, Waarp Gateway a besoin d'identifiants.
+Ces identifiants peuvent être fournis de 2 manières différentes :
+
+- Soit en les renseignant directement à la création de l'instance cloud, auquel cas :
+
+  - Le paramètre *key* doit contenir le nom de compte
+  - Le paramètre *secret* doit contenir la clé du compte
+- Soit en les renseignant dans des variables d'environnement. Les variables
+  suivantes doivent être renseignées :
+
+  - :envvar:`AZURE_STORAGE_ACCOUNT` pour le nom de compte
+  - :envvar:`AZURE_CLIENT_SECRET` pour la clé d'authentification
+  - :envvar:`AZURE_TENANT_ID` pour l'ID du locataire Microsoft Entra
+  - :envvar:`AZURE_CLIENT_ID` pour l'ID de l'application
+
+Options
+^^^^^^^
+
+Les options de configuration suivantes sont disponibles pour Azure Files :
+
+* **share_name**: *REQUIS* - Le nom du *share* dans lequel le fichier sera déposé.
+* **endpoint**: L'adresse du serveur Azure (si celle-ci est différente de l'adresse
+  par défaut ``core.windows.net``).
+* **env_auth**: Booléen, mettre à ``true`` pour activer l'authentification via
+  variables d'environnement décrite ci-dessus.
+
+Exemple
+-------
+
+Prenons le cas de figure suivant :
+
+- fichier: ``doc/waarp-gateway.pdf``
+- share: ``archive``
+- nom de compte: ``toto``
+- clé d'accès: ``sesame``
+
+Dans un premier temps, l'instance cloud doit être définie. Dans cet exemple, nous
+lui donnerons le nom "ex-azfiles".
+
+La commande de création pour cette instance cloud est donc :
+
+.. code-block:: shell
+   waarp-gateway cloud add -n "ex-azfiles" -t "azblob" -k "toto" -s "sesame" -o "share_name:archive"
+
+Par la suite, lors de mon transfert, le chemin du fichier devra donc ressembler à :
+
+| ex-azfiles:doc/waarp-gateway.pdf

doc/source/reference/cloud/index.rst

@@ -1,8 +1,8 @@
 .. _reference-cloud:
 
-###########################################
-Liste des types d'instances cloud supportés
-###########################################
+###############
+Instances cloud
+###############
 
 Au lieu d'utiliser le disque local pour le transfert de fichiers, la gateway est
 également capable de stocker ou récupérer les fichiers sur une instance cloud
@@ -19,6 +19,8 @@ Cette liste regroupe les types d'instances cloud supportés par la gateway, ains
 que leur configurations respectives.
 
 .. toctree::
-   :maxdepth: 2
+   :maxdepth: 1
 
    s3
+   azurefiles
+   azureblob

doc/source/reference/cloud/s3.rst

@@ -1,40 +1,39 @@
-.. _ref-fs-s3:
-
 =========
 Amazon S3
 =========
 
-Pour qu'un fichier soit déposé et/ou lu depuis un serveur cloud de type S3, il
-faut que le chemin complet du fichier (après concaténation des éventuels chemins
-de règle et/ou de serveur) forme un chemin distant ayant la syntaxe : ::
+Waarp Gateway permet d'utiliser un bucket S3 à la place du disque dur local.
 
-   instance:chemin/du/fichier
+Configuration
+-------------
 
-Pour ce faire, l'instance en question doit avoir été pré-configurée dans la
-gateway, par exemple via la :ref:`commande CLI<reference-cli-client-cloud>`.
+Pour utiliser une instance cloud, celle-ci doit d'abord être créée et configurée.
+Pour créer une instance cloud S3, le type renseigné doit être ``s3`` ou ``aws``.
 
-Identifiants
-------------
+Authentification
+^^^^^^^^^^^^^^^^
 
 Pour se connecter à une instance S3, Waarp Gateway a besoin d'identifiants.
 Ces identifiants peuvent être fournis de 2 manières différentes :
 
-- soit en les renseignant directement à la création de l'instance cloud
-- soit en les renseignant dans des variables d'environnement
+- Soit en les renseignant directement à la création de l'instance cloud, auquel cas :
 
-Ces variables d'environnement sont :
+  - Le paramètre *key* doit contenir la clé d'accès
+  - Le paramètre *secret* doit contenir la clé secrète
+- Soit en les renseignant dans des variables d'environnement. Les variables
+  suivantes doivent être renseignées :
 
-- :envvar:`AWS_ACCESS_KEY_ID` pour la clé d'accès AWS
-- :envvar:`AWS_SECRET_ACCESS_KEY` pour la clé secrète associée à la clé d'accès
+  - :envvar:`AWS_ACCESS_KEY_ID` pour la clé d'accès AWS
+  - :envvar:`AWS_SECRET_ACCESS_KEY` pour la clé secrète associée à la clé d'accès
 
 Options
--------
+^^^^^^^
 
-La *Gateway* permet de stocker les fichier envoyés et reçu sur un serveur cloud
-de stockage S3 (AWS ou autre). Pour cela, l'instance cloud à créer doit contenir
-les options suivantes :
+Les options de configuration suivantes sont disponibles pour S3 :
 
 * **bucket**: *REQUIS* - Le nom du bucket dans lequel le fichier sera déposé.
+* **env_auth**: Booléen, mettre à ``true`` pour activer l'authentification via
+  variables d'environnement décrite ci-dessus.
 * **region**: La région du serveur S3. Peut également être renseigné via la
   variable d'environnement :envvar:`AWS_REGION`.
 * **endpoint**: L'adresse du serveur S3 (si celle-ci est différente de l'adresse
@@ -46,23 +45,23 @@ Exemple
 
 Prenons le cas de figure suivant :
 
-  - fichier: ``doc/waarp-gateway.pdf``
-  - bucket: ``archive``
-  - point de terminaison: ``s3.eu-west-3.amazonaws.com``
-  - région: ``eu-west-3`` (Paris)
-  - clé d'accès: ``toto``
-  - clé d'accès secrète: ``sesame``
+- fichier: ``doc/waarp-gateway.pdf``
+- bucket: ``archive``
+- point de terminaison: ``s3.eu-west-3.amazonaws.com``
+- région: ``eu-west-3`` (Paris)
+- clé d'accès: ``toto``
+- clé d'accès secrète: ``sesame``
 
 Dans un premier temps, l'instance cloud doit être définie. Dans cet exemple, nous
-lui donnerons le nom "instance-exemple".
+lui donnerons le nom "ex-s3".
 
 La commande de création pour cette instance cloud est donc :
 
 .. code-block:: shell
 
-   waarp-gateway cloud add -n "instance-exemple" -t "s3" -k "toto" -s "sesame" -o "bucket:archive" -o "region:eu-west-3" -o "endpoint:s3.eu-west-3.amazonaws.com"
+   waarp-gateway cloud add -n "ex-s3" -t "s3" -k "toto" -s "sesame" -o "bucket:archive" -o "region:eu-west-3" -o "endpoint:s3.eu-west-3.amazonaws.com"
 
-Par la suite, lors de mon transfert, le chemin du fichier devra donc ressembler à : ::
+Par la suite, lors de mon transfert, le chemin du fichier devra donc ressembler à :
 
-    instance-exemple:doc/waarp-gateway.pdf
+| ex-s3:doc/waarp-gateway.pdf