Konfigurieren kurzlebiger Volumes—ArcGIS Enterprise on Kubernetes

Kurzlebige Volumes sind ideal für Workflows wie Raster-Analysen, bei denen Daten zur Verarbeitung in einen temporären Speicher geladen werden müssen. Administratoren können Vorlagen für persistente Volumes erstellen, mit denen bei Bedarf mehrere kurzlebige Volumes für die Pods einer angegebenen Service-Bereitstellung generiert werden. Jeder Pod in der Bereitstellung kann dann ein eigenes kurzlebiges Volume verwenden, sodass jeder Pod über eigene Ressourcen verfügt. Wenn die Pods gelöscht und die kurzlebigen Volumes nicht mehr benötigt werden, werden auch diese entfernt.

Kurzlebige Volumes für Raster-Analysen

Bei einigen Raster-Analysewerkzeugen wird die Datenverarbeitung auf mehrere Worker-Pods verteilt, und während der Analyse werden temporäre Daten geschrieben. Bei der Verarbeitung großer Datenmengen empfiehlt es sich, kurzlebige Volumes zu konfigurieren, um während der Verarbeitung mehr Speicherplatz für temporäre Daten bereitzustellen.

Der für die Speicherung der temporären Daten erforderliche Speicherplatz variiert bei verschiedenen Raster-Analyse-Funktionen, ist jedoch bei allen Raster-Analyse-Funktionen proportional zur Anzahl der zu verarbeitenden Zellen im Raster und wird gleichmäßig auf die Anzahl der konfigurierten Worker-Pods verteilt. Je nach Komplexität der Analyse und bei größeren Eingaben kann mehr verfügbarer Speicherplatz erforderlich sein.

Die Cluster-Konfiguration muss über den erforderlichen Festplattenspeicher zum Speichern der temporären Dateien für die Ausführung eines bestimmten Analysewerkzeugs verfügen. Die temporären Daten werden von jedem Werkzeug intern verwaltet und nach Abschluss der Verarbeitung gelöscht. Die kurzlebige Speicherkonfiguration, die Sie hierfür bereitstellen, wird als Vorlage für ein persistentes Volume verwendet, das auf die Service-Bereitstellung für die Raster-Verarbeitung angewendet wird.

Speicherrichtlinien für Raster-Analysen

Zur Unterstützung verteilter Raster-Analysen, insbesondere bei Ausführung umfangreicher Analysen, wird das Konfigurieren kurzlebiger Volumes empfohlen. Der benötigte Speicherplatz hängt von der Anzahl der zu verarbeitenden Zellen im Raster und der Anzahl der konfigurierten Worker-Pods ab.

Um beispielsweise ein Raster mit 2,5 Milliarden Zellen (50.000 Zeilen und 50.000 Spalten) zu verarbeiten, können bei Verwendung des Werkzeugs "Füllung" 30 GB Speicherplatz benötigt werden. Zur Verarbeitung eines Rasters mit 1 Milliarde Zellen (ca. 30.000 Zeilen und 30.000 Spalten) können bei Verwendung des Werkzeugs "Füllung" 12 GB Speicherplatz erforderlich sein. In beiden Fällen wird der insgesamt benötigte Speicherplatz gleichmäßig auf die Anzahl der konfigurierten Pods verteilt. Wenn 10 Pods für den Service RasterProcessing zugewiesen sind, benötigt jeder Pod 3 GB für die Verarbeitung von 2,5 Milliarden Zellen und 1,2 GB für die Verarbeitung von 1 Milliarde Zellen. In diesem Szenario muss für den Service RasterProcessing ein kurzlebiger Speicher mit 3 GB bzw. 1,2 GB Speicherplatz eingerichtet werden. Jeder Pod erhält dann diese Menge an kurzlebigem (temporärem) Speicherplatz. Wenn Sie eine automatische Skalierung eingerichtet haben, müssen Sie die maximale Anzahl der Pods als Grundlage für diese Berechnung verwenden.

Für die Verarbeitung eines Rasters mit 2,5 Milliarden Zellen ist bei verschiedenen Werkzeugtypen insgesamt jeweils folgender Speicherplatz erforderlich:

17 bis 35 GB für die Hydrologieanalyse
20 bis 80 GB für die Entfernungsanalyse
30 bis 33 GB für die Generalisierungsanalyse

Einige Anwendungsfälle können aufgrund der Komplexität der Analyse und der zusätzlich angegebenen Eingaben und Ausgaben mehr Speicherplatz erfordern. In solchen Fällen können für die Verarbeitung eines Eingabe-Rasters mit 2,5 Milliarden Zellen bis zu 90 GB Speicherplatz bei einem Hydrologieanalyse-Workflow und bis zu 170 GB bei einem Entfernungsanalyse-Workflow erforderlich sein.

Berücksichtigen Sie beim Festlegen der Anforderungen Ihrer Organisation für die Konfiguration von kurzlebigen Volumes die folgenden Empfehlungen:

Ermitteln Sie zunächst, wie viele Pods zur Unterstützung des Workflows benötigt werden. Wenn für den Service RasterProcessing beispielsweise 10 Pods konfiguriert sind, verteilen Sie den insgesamt benötigten Speicherplatz auf diese Pods. Wenn für den Service die Einstellung "Automatische Skalierung" aktiviert ist, verwenden Sie die maximale Anzahl der Pods als Grundlage für diese Berechnung.
Bestimmen Sie als Nächstes den ungefähren für die Verarbeitung benötigten Speicherplatz basierend auf der Größe (Anzahl der Zeilen und Spalten) des Raster-Datasets.
Teilen Sie den geschätzten Gesamtspeicherplatz durch die Anzahl der Pods, die dem Service RasterProcessing zugewiesen sind. Diese Zahl stellt eine gute allgemeine Schätzung der Menge an Speicherplatz dar, die für die Konfiguration des kurzlebigen Volume benötigt wird. Wenn das kurzlebige Volume an den Service RasterProcessing angefügt ist, fordert jeder Pod diesen Speicherplatz dynamisch an, wenn er eingerichtet wird. Wenn Sie beispielsweise insgesamt 30 GB Festplattenspeicher benötigen und 10 Pods in der Service-Bereitstellung RasterProcessing ausgeführt werden, konfigurieren Sie für jedes kurzlebige Volume 3 GB.

Konfigurieren von kurzlebigen Volumes für Raster-Analysen

Führen Sie zum Konfigurieren kurzlebiger Volumes zur Unterstützung der Raster-Analyse die folgenden Schritte aus. Mithilfe des ArcGIS Enterprise Administrator API-Verzeichnisses erstellen Sie eine Vorlage für ein persistentes Volume und wenden es auf die Service-Bereitstellung RasterProcessing an.

Melden Sie sich als Administrator beim ArcGIS Enterprise Administrator API-Verzeichnis an.
Klicken Sie auf System > Volumes > Configurations.
Klicken Sie auf Create Volume Configuration.

Fügen Sie in der JSON für die Volume-Konfiguration die Spezifikation für das kurzlebige Volume ein. Ziehen Sie für diese Spezifikation ggf. den IT-Administrator hinzu.

{
  "name": "<user-provided-name>",
  "type": "PVC_TEMPLATE",
  "spec": {
    "storageClassName": "<user-provided-storageclass-name>",
    "resources": {"requests": {"storage": "<user-provided-size, i.e. 3Gi>"}},
    "accessModes": ["ReadWriteOnce"],
    "volumeMode": "Filesystem",
    "volumeName": "<user-provided-optional-volume-name>"
          }
}

Suchen Sie nach dem Erstellen der Volume-Konfiguration nach dem zugehörigen VolumeID-Wert.
Klicken Sie im ArcGIS Enterprise Administrator API-Stammverzeichnis auf Services > System > RasterProcessing (DPServer) > Scaling.
Kopieren Sie die deploymentId aus der JSON für die Service-Skalierung RasterProcessing (DPServer).
Klicken Sie im Stammverzeichnis der ArcGIS Enterprise Administrator API auf System > Deployments, und suchen Sie nach der genannten deploymentId.
Klicken Sie auf die deploymentId für den Service RasterProcessing (DPServer).
Klicken Sie auf Edit Deployment.
Suchen Sie im JSON-Code die Eigenschaft replicas.
Fügen Sie nach der Eigenschaft replicas die Volume-Spezifikation einschließlich des VolumeID-Werts hinzu, den Sie beim Erstellen der Volume-Konfiguration kopiert haben:
```
 
"volumes": [{
  "purpose": "GIS_SERVICE_TEMP",
  "volumeConfigId": "<volumeId>"
}],
```
Klicken Sie auf Senden.
Das Neustarten der Service-Bereitstellung dauert einige Minuten.
Aktivieren Sie optional die Option Run asynchronously.
Prüfen Sie zusammen mit dem Cluster-Administrator die neuen Persistent Volume Claims (PVCs), die für jeden Pod erstellt wurden, um zu überprüfen, ob das kurzlebige Volume erfolgreich konfiguriert wurde.
Diese PVCs werden an PVs gebunden, die gemäß der registrierten Volume-Konfiguration im Cluster dynamisch erstellt werden.

Verwenden Sie die kurzlebigen Volumes zum Speichern von temporären Daten für Ihre Rasteranalyse-Workflows.

Feedback zu diesem Thema?