Настройка эфемерных томов—ArcGIS Enterprise on Kubernetes

Эфемерные тома идеально подходят для рабочих процессов, таких как растровая аналитика, в которых необходимо загружать данные во временное пространство для обработки. Администраторы могут создавать постоянные шаблоны томов, которые будут генерировать несколько эфемерных томов по требованию для модулей указанного развертывания сервиса. Затем каждый модуль в развертывании сможет использовать свой собственный эфемерный том, что предоставляет каждому модулю свои собственные ресурсы для отображения. Как только модули удаляются и эфемерные тома становятся не нужными, они также удаляются.

Эфемерные тома для анализа растров

Некоторые инструменты растрового анализа распределяют вычисления по нескольким рабочим модулям и записывают временные данные во время выполнения анализа. При обработке больших объемов данных рекомендуется настроить эфемерные тома, чтобы обеспечить увеличенное дисковое пространство для хранения временных данных по мере их обработки.

Объем дискового пространства, необходимого для хранения временных данных, варьируется в зависимости от возможностей растрового анализа, однако для всех функций растрового анализа он пропорционален количеству обрабатываемых ячеек в растре и равномерно распределен по количеству настроенных рабочих модулей. В зависимости от сложности анализа и объема входных данных может потребоваться больше доступного места на диске.

В конфигурации кластера должно быть выделено необходимое дисковое пространство для хранения временных файлов, связанных с запуском данного инструмента анализа. Временные данные обрабатываются внутри каждого инструмента и удаляются после завершения обработки. Конфигурация эфемерного хранилища, которую вы предоставляете, будет использоваться в качестве постоянного шаблона тома, применяемого к развертыванию сервиса обработки растра.

Рекомендации по хранению для растровой аналитики

Для поддержки распределенного анализа растров, особенно при выполнении анализа больших объемов, рекомендуется настроить эфемерные тома. При определении объема выделяемого пространства учитывайте, что требуемый объем дискового пространства будет варьироваться в зависимости от количества обрабатываемых ячеек в растре и количества настроенных рабочих модулей.

Например, для обработки растра из 2,5 миллиарда ячеек (50000 строк и 50000 столбцов) при использовании инструмента Заполнение может потребоваться 30 ГБ дискового пространства. Или для обработки растра с 1 миллиардом ячеек (примерно 30000 строк и 30000 столбцов) вам может потребоваться 12 ГБ дискового пространства при использовании инструмента Заполнение. В обоих случаях общее необходимое дисковое пространство будет равномерно распределено по количеству настроенных модулей. Если вы выделили 10 модулей для сервиса RasterProcessing, каждому модулю потребуется 3 ГБ для обработки 2,5 миллиардов ячеек и 1,2 ГБ для обработки 1 миллиарда ячеек. В этом сценарии службе RasterProcessing потребуется настроить эфемерное хранилище с объемом дискового пространства 3 ГБ или 1,2 ГБ. Каждый запущенный модуль получит этот объем эфемерного (временного) дискового пространства. Если вы используете автоматическое масштабирование, вам нужно будет использовать максимальное количество модулей в качестве основы для этого расчета.

Общее дисковое пространство, необходимое для обработки растра в 2,5 миллиарда ячеек различными типами инструментов, составляет:

От 17 до 35 ГБ для гидрологического анализа
От 20 до 80 ГБ для анализа расстояния
От 30 до 33 ГБ для анализа генерализации

В некоторых случаях может потребоваться больше места на диске, что обусловлено сложностью анализа и заданными дополнительными входными и выходными данными. В таких случаях для обработки входного растра из 2,5 миллиардов ячеек может потребоваться до 90 ГБ дискового пространства в процессе гидрологического анализа и до 170 ГБ в процессе анализа расстояний.

При определении требований вашей организации к настройке эфемерных томов учитывайте следующие рекомендации:

Во-первых, определите, сколько модулей необходимо для поддержки вашего рабочего процесса. Например, если сервис RasterProcessing настроен на работу с 10 модулями, распределите общее необходимое пространство между этими модулями. Если в сервисе включено автоматическое масштабирование, используйте максимальное количество модулей в качестве основы для этого расчета.
Затем определите приблизительный объем дискового пространства, необходимый для обработки, исходя из размера (количества строк и столбцов) вашего набора растровых данных.
Разделите приблизительное значение общего объема дискового пространства на количество модулей, выделенных для сервиса RasterProcessing. Это число является хорошей общей оценкой объема хранилища, необходимого для настройки эфемерного тома. Когда эфемерный том подключен к сервису RasterProcessing, каждый модуль будет динамически запрашивать это хранилище при запуске. Например, если вам требуется 30 ГБ свободного места на диске и при развертывании службы RasterProcessing запускается 10 модулей, настройте 3 ГБ для каждого эфемерного тома.

Настройка эфемерных томов для анализа растров

Чтобы настроить эфемерные тома для поддержки растровой аналитики, выполните указанные ниже шаги. Вы будете использовать ArcGIS Enterprise Administrator API Directory для создания постоянного шаблона тома и применения его к развертыванию службы RasterProcessing.

Войдите в ArcGIS Enterprise Administrator API Directory как администратор.
Щелкните Система > Тома > Настройки.
Щелкните Создать конфигурацию тома.

В JSON-файле конфигурации тома укажите спецификацию вашего эфемерного тома. При необходимости проконсультируйтесь с вашим ИТ-администратором по поводу этой спецификации.

{
  "name": "<user-provided-name>",
  "type": "PVC_TEMPLATE",
  "spec": {
    "storageClassName": "<user-provided-storageclass-name>",
    "resources": {"requests": {"storage": "<user-provided-size, i.e. 3Gi>"}},
    "accessModes": ["ReadWriteOnce"],
    "volumeMode": "Filesystem",
    "volumeName": "<user-provided-optional-volume-name>"
          }
}

Как только конфигурация тома будет создана, найдите связанное с ней значение VolumeID.
В корне ArcGIS Enterprise Administrator API щелкните Сервисы > Система > RasterProcessing (DPServer) > Масштабирование.
Скопируйте deploymentId из RasterProcessing (DPServer) JSON-файла масштабирования сервиса.
В корне ArcGIS Enterprise Administrator API щелкните Система > Развертывания и найдите deploymentId, указанный выше.
Щелкните deploymentId для сервиса RasterProcessing (DPServer).
Щелкните Изменить развертывание.
В JSON найдите свойство replicas.
После свойства replicas добавьте спецификацию тома, включая значение VolumeID, который вы скопировали при создании конфигурации тома:
```
 
"volumes": [{
  "purpose": "GIS_SERVICE_TEMP",
  "volumeConfigId": "<volumeId>"
}],
```
Щелкните Подтвердить.
Перезапуск развертывания сервиса займет несколько минут.
При необходимости включите опцию Запускать асинхронно.
Вместе с администратором кластера просмотрите новые заявления постоянных томов (PVC), созданные для каждого модуля, чтобы убедиться, что эфемерный том был успешно настроен.
Эти PVC будут привязаны к динамически создаваемым постоянным томам в соответствии с конфигурацией зарегистрированного тома в вашем кластере.

Используйте эфемерные тома для хранения временных данных в рабочих процессах анализа растров.

Отзыв по этому разделу?