Los volúmenes efímeros son ideales para flujos de trabajo, como análisis de ráster, que requieren cargar datos en un espacio temporal para procesamiento. Los administradores pueden crear plantillas de volumen persistente que generan varios volúmenes efímeros según demanda para pods de una implementación de servicio especificada. Cada pod de la implementación puede utilizar su propio volumen efímero, lo que proporciona a cada pod sus propios recursos en los que basarse. Una vez que se eliminan los pods y que los volúmenes efímeros dejan de ser necesarios, los volúmenes también se eliminan.
Volúmenes efímeros para análisis de ráster
Algunas herramientas de análisis de ráster distribuyen el cálculo entre varios pods de trabajo y escriben datos temporales mientras se lleva a cabo el análisis. Al procesar grandes cantidades de datos, se recomienda configurar volúmenes efímeros para proporcionar más espacio en disco para almacenar datos temporales conforme se procesan.
El espacio en disco necesario para almacenar los datos temporales varía en función de las diferentes capacidades de análisis de ráster; no obstante, en todas ellas es proporcional al número de celdas del ráster que se va a procesar y se distribuye de manera uniforme por todos los pods trabajadores configurados. Puede requerirse un espacio en disco disponible mayor dependiendo de la complejidad del análisis y de las entradas más grandes.
La configuración de clúster debe tener el espacio en disco necesario asignado para almacenar los archivos temporales asociados con la ejecución de la herramienta de análisis dada. Cada herramienta gestiona internamente los datos temporales y estos se eliminan después de procesarlos. La configuración de almacenamiento efímero que proporcione para este fin sirve como plantilla de volumen persistente que se aplica a la implementación del servicio de procesamiento de ráster.
Directrices de almacenamiento para análisis de ráster
Para compatibilizar el análisis de ráster distribuido, particularmente a realizar grandes análisis, se recomienda configurar volúmenes efímeros. Al determinar cuánto almacenamiento asignar, la cantidad de espacio en disco necesaria variará en función del número de celdas del ráster que se va a procesar y el número de pods trabajadores configurados.
Por ejemplo, para procesar un ráster de 2.500 millones de celdas (50.000 filas y 50.000 columnas), podría necesitar 30 GB de espacio en disco al utilizar la herramienta de relleno. Como alternativa, para procesar un ráster de 1000 millones de celdas (unas 30.000 filas y 30.000 columnas), podría necesitar 12 GB de espacio en disco al utilizar la herramienta de rellena. En ambos casos, el espacio en disco total requerido se distribuirá de manera uniforme por el número de pods configurados. Si se han asignado 10 pods para el servicio RasterProcessing, cada pod requerirá 3 GB para procesar 2.500 millones de celdas y 1,2 GB para procesar 1000 millones de celdas. En este caso, el servicio RasterProcessing necesitará que se configure almacenamiento efímero con 3 GB o 1,2 GB de espacio en disco. Cada pod que gire obtendrá esta cantidad de espacio en disco efímero (temporal). Si utiliza escalado automático, tendrá que utilizar el número máximo de pods como base de este cálculo.
El espacio en disco total que se requiere para procesar un ráster de 2.500 millones de celdas correspondiente a diferentes tipos de herramientas es el siguiente:
- 17 a 35 GB para análisis hidrológico
- 20 a 80 GB para análisis de distancia
- 30 a 33 GB para análisis de generalización
Algunos casos de uso pueden requerir mayor espacio en disco en función de la complejidad del análisis y de las entradas y salidas adicionales especificadas. En estos casos, para procesar un ráster de entrada de 2.500 millones de celdas, podría utilizarse hasta 90 GB de espacio en disco en un flujo de trabajo de análisis hidrológico y hasta170 GB en un flujo de trabajo de análisis de distancia.
Cuando determine los requisitos de su organización para configurar volúmenes efímeros, tenga en cuenta las siguientes recomendaciones:
- Primero, determine cuántos pods se necesitan para realizar el flujo de trabajo. Por ejemplo, si el servicio RasterProcessing se configura con 10 pods, distribuya el espacio total necesario entre estos pods. Si el servicio se ha habilitado con escalado automático, use el número máximo de pods como base de este cálculo.
- A continuación, determine una cantidad aproximada de espacio en disco necesario para el procesamiento en función del tamaño (número de filas y columnas) del dataset ráster.
- Divida el espacio en disco total aproximado entre el número de pods asignados para el servicio RasterProcessing. Este número es una buena estimación general de la cantidad de almacenamiento necesario para configurar el volumen efímero. Cuando el volumen efímero se incorpora al servicio RasterProcessing, cada pod solicitará este almacenamiento de forma dinámica cuando gire. Por ejemplo, si tiene un requisito de espacio en disco total de 30 GB y 10 pods ejecutándose en la implementación del servicio RasterProcessing, debe configurar 3 GB para cada volumen efímero.
Configurar volúmenes efímeros para análisis de ráster
Para configurar volúmenes efímeros para el análisis de ráster, siga los pasos que sindican a continuación. Utilizará el directorio API de administrador de ArcGIS Enterprise para crear una plantilla de volumen persistente y aplicarla a la implementación de servicio RasterProcessing.
- Inicie sesión en el Directorio de API de administrador de ArcGIS Enterprise como administrador.
- Haga clic en Sistema > Volúmenes > Configuraciones.
- Haga clic en Crear configuración de volumen.
- En el JSON de configuración de volumen, incluya la especificación del volumen efímero. Trabaje con su administrador de TI en lo que respecta a esta especificación si es necesario.
{ "name": "<user-provided-name>", "type": "PVC_TEMPLATE", "spec": { "storageClassName": "<user-provided-storageclass-name>", "resources": {"requests": {"storage": "<user-provided-size, i.e. 3Gi>"}}, "accessModes": ["ReadWriteOnce"], "volumeMode": "Filesystem", "volumeName": "<user-provided-optional-volume-name>" } } - Una vez que se haya creado la configuración de volumen, localice el valor de Id. de volumen asociado.
- En el directorio raíz API de administrador de ArcGIS Enterprise, haga clic en Servicios > Sistema > RasterProcessing (DPServer) > Escalado.
- Copie deploymentId desde el JSON de escala del servicio RasterProcessing (DPServer).
- En el directorio raíz de API de administrador de ArcGIS Enterprise, haga clic en Sistema > Implementaciones y busque el deploymentId referenciado anteriormente.
- Haga clic en deploymentId correspondiente al servicio RasterProcessing (DPServer).
- Haga clic en Editar implementación.
- En el JSON, localice la propiedad replicas.
- Después de la propiedad replicas, agregue la especificación de volumen, incluido el Id. de volumen que ha copiado al crear la configuración de volumen:
"volumes": [{ "purpose": "GIS_SERVICE_TEMP", "volumeConfigId": "<volumeId>" }], - Haga clic en Enviar.
La implementación del servicio tardará unos minutos en reiniciarse.
- Si lo desea, habilite la opción Ejecutar asíncronamente.
- Junto con el administrador del clúster, revise las nuevas reclamaciones de volumen persistente (PVC) que se crearon para cada pod para verificar que el volumen efímero se configuró correctamente.
Estas PVC se unirán a volúmenes PV creados de forma dinámica con arreglo a la configuración de volumen registrada en el clúster.
Utilice volúmenes efímeros para almacenar datos de forma temporal para sus flujos de trabajo de análisis de ráster.