Configurer des volumes éphémères—ArcGIS Enterprise on Kubernetes

Les volumes éphémères sont parfaits pour les processus qui doivent charger les données à traiter dans un espace temporaire, par exemple l’analyse raster. Les administrateurs peuvent créer des modèles de volumes persistants qui génèrent plusieurs volumes éphémères à la demande pour les pods d’un déploiement de service spécifié. Chaque pod du déploiement peut alors utiliser son propre volume éphémère, ce qui confère à chacun son propre potentiel de ressources. Une fois les pods supprimés et les volumes éphémères devenus inutiles, ces derniers sont également supprimés.

Volumes éphémères pour l’analyse raster

Certains outils d’analyse raster distribuent le calcul parmi plusieurs pods worker et écrivent des données temporaires au cours de l’analyse. Lors du traitement de grandes quantités de données, il est recommandé de configurer des volumes éphémères pour offrir un espace disque supérieur dans lequel stocker les données temporaires à traiter.

L’espace disque nécessaire pour stocker les données temporaires varie selon les différentes fonctionnalités d’analyse raster. Il est cependant proportionnel au nombre de cellules dans le raster à traiter et distribué équitablement parmi le nombre de pods worker configurés. Un espace disque disponible plus important peut être nécessaire en fonction de la complexité de l’analyse et selon la grandeur des entrées.

Pour la configuration du cluster, l’espace disque nécessaire doit être alloué au stockage des fichiers temporaires associés à l’exécution d’un outil d’analyse donné. Les données temporaires sont gérées en interne par chaque outil et supprimées une fois le traitement terminé. La configuration du stockage éphémère que vous fournissez est utilisée comme modèle de volume persistant qui est appliqué au déploiement de service de traitement raster.

Instructions de stockage pour l’analyse raster

Pour prendre en charge l’analyse raster distribuée, en particulier en cas d’analyse de grande ampleur, il est recommandé de configurer des volumes éphémères. Lorsque vous déterminez le volume de stockage à allouer, la quantité d’espace disque nécessaire varie en fonction du nombre de cellules raster à traiter et du nombre de pods worker configurés.

Par exemple, pour traiter un raster de 2,5 milliards de cellules (50 000 lignes et 50 000 colonnes), vous avez besoin de 30 Go d’espace disque si vous utilisez l’outil Fill (Remplissage). De même, pour traiter un raster de 1 milliard de cellules (environ 30 000 lignes et 30 000 colonnes) vous avez besoin de 12 Go d’espace disque si vous utilisez l’outil Fill (Remplissage). Dans les deux cas, l’espace disque total requis est distribué équitablement parmi le nombre de pods configurés. Si 10 pods sont alloués pour le service RasterProcessing, chaque pod exige 3 Go pour traiter 2,5 milliards de cellules et 1,2 Go pour traiter 1 milliard de cellules. Dans ce scénario, le service RasterProcessing a besoin que le stockage éphémère soit configuré avec 3 Go ou 1,2 Go d’espace disque. Chaque pod configuré obtiendra ce volume d’espace disque éphémère (temporaire). Si vous utilisez la mise à l’échelle automatique, vous devez utiliser le nombre maximal de pods comme base pour ce calcul.

L’espace disque total nécessaire pour traiter un raster de 2,5 milliards de cellules pour différents types d’outils est comme suit :

17 à 35 Go pour l’analyse hydrologique
20 à 80 Go pour l’analyse de distance
30 à 33 Go pour l’analyse de généralisation

Certains cas d’utilisation peuvent nécessiter un espace disque supérieur en fonction de la complexité de l’analyse et des entrées et sorties supplémentaires spécifiées. Dans ce cas, pour traiter un raster en entrée de 2,5 milliards de cellules, jusqu’à 90 Go d’espace disque peut être utilisé dans un processus d’analyse hydrologique et jusqu’à 170 Go dans un processus d’analyse de distance.

Lorsque vous déterminez les exigences de votre organisation pour configurer des volumes éphémères, tenez compte des recommandations suivantes :

Tout d’abord, déterminez le nombre de pods nécessaires au processus. Par exemple, si le service RasterProcessing est configuré avec 10 pods, distribuez l’espace total requis sur ces pods. Si le service est activé avec la mise à l’échelle automatique, utilisez le nombre maximal de pods comme base pour ce calcul.
Ensuite, déterminez une quantité approximative d’espace disque requis pour le traitement, en fonction de la taille (nombre de lignes et de colonnes) du jeu de données raster.
Divisez l’espace disque total approximatif par le nombre de pods qui sont alloués au service RasterProcessing. Ce nombre est une bonne estimation générale de la quantité de stockage nécessaire pour configurer le volume éphémère. Une fois le volume éphémère rattaché au service RasterProcessing, chaque pod demande de façon dynamique ce stockage lors de sa configuration. Par exemple, si l’espace disque total requis est de 30 Go et que 10 pods s’exécutent dans le déploiement de service RasterProcessing, configurez 3 Go pour chaque volume éphémère.

Configurer des volumes éphémères pour l’analyse raster

Pour configurer des volumes éphémères en vue de réaliser des analyses raster, procédez comme suit. Vous allez utiliser le répertoire API ArcGIS Enterprise Administrator pour créer un modèle de volume persistant et l’appliquer au déploiement de service RasterProcessing.

Connectez-vous au répertoire API ArcGIS Enterprise Administrator en tant qu’administrateur.
Cliquez sur System (Système) > Volumes > Configurations.
Cliquez sur Create Volume Configuration (Créer une configuration de volume).

Dans le JSON de la configuration de volume, ajoutez la spécification du volume éphémère. Demandez à votre administrateur informatique de vous aider pour cette spécification, si nécessaire.

{
  "name": "<user-provided-name>",
  "type": "PVC_TEMPLATE",
  "spec": {
    "storageClassName": "<user-provided-storageclass-name>",
    "resources": {"requests": {"storage": "<user-provided-size, i.e. 3Gi>"}},
    "accessModes": ["ReadWriteOnce"],
    "volumeMode": "Filesystem",
    "volumeName": "<user-provided-optional-volume-name>"
          }
}

Une fois la configuration de volume créée, localisez sa valeur VolumeID (ID de volume) associée.
Dans la racine API ArcGIS Enterprise Administrator, cliquez sur Services > System (Système) > RasterProcessing (DPServer) > Scaling (Mise à l’échelle).
Copiez deploymentId depuis le JSON de mise à l’échelle du service RasterProcessing (DPServer).
Dans la racine de API ArcGIS Enterprise Administrator, cliquez sur System (Système) > Deployments (Déploiements) et recherchez l’instance deploymentId référencée ci-dessus.
Cliquez sur deploymentId pour le service RasterProcessing (DPServer).
Cliquez sur Edit Deployment (Mettre à jour le déploiement).
Dans le JSON, localisez la propriété replicas.
Après la propriété replicas, ajoutez la spécification du volume, notamment la valeur VolumeID (ID de volume) que vous avez copiée lors de la création de la configuration de volume :
```
 
"volumes": [{
  "purpose": "GIS_SERVICE_TEMP",
  "volumeConfigId": "<volumeId>"
}],
```
Cliquez sur Submit (Envoyer).
Le redémarrage du déploiement de service prend quelques minutes.
Vous pouvez également activer l’option Run asynchronously (Exécuter de manière asynchrone).
Avec l’administrateur de votre cluster, passez en revue les nouvelles réclamations de volume persistant créées pour chaque pod afin de vérifier que le volume éphémère a été configuré correctement.
Ces réclamations de volume persistant sont liées aux volumes persistants qui sont créés dynamiquement, conformément à la configuration des volumes inscrits dans le cluster.

Utilisez les volumes éphémères pour stocker les données temporaires de vos processus d’analyse raster.

Vous avez un commentaire à formuler concernant cette rubrique ?