Настройка аналитики растров—ArcGIS Enterprise on Kubernetes

Растровая аналитика предоставляет встроенные инструменты и функции для предварительной обработки, ортотрансформирования и создания мозаики, анализа данных дистанционного зондирования и широкого спектра математических и тригонометрических операторов. Ваши пользовательские функции могут еще больше расширить возможности анализа вашей организации.

Растровая аналитика также предназначена для упрощения сотрудничества и совместного использования. Пользователи в вашей организации могут вносить данные, модели обработки и экспертные знания в проект по обработке изображений, а также делиться результатами с отдельными лицами, отделами и организациями в рамках вашего предприятия.

Введение в аналитику растров

Аналитика растров в ArcGIS Enterprise on Kubernetes - это гибкая система обработки, хранения и публикации растров, использующая технологию распределенного вычисления и хранения. Используйте аналитику растров для применения инструментов анализа растров и растровых функций в ArcGIS, создавайте свои собственные функции и инструменты и объединяйте несколько инструментов и функций в последовательности обработки растра для выполнения собственных алгоритмов для больших наборов растровых данных. Исходные данные и результаты обработки сохраняются и публикуются в вашей корпорации в соответствии с вашими нуждами и приоритетами.

Этот мощный функционал может быть расширен за счет использования возможностей и ресурсов облачных вычислений. В результате задания по обработке и анализу изображений, которые могли бы занимать дни или недели, теперь выполняются за несколько минут или часов. Поэтому теперь можно выполнять задания, которые ранее были слишком большими или сложными.

Подсказка:

Облачное хранилище данных является обязательным условием для локального и облачного развертывания. Оно используется для хранения результатов растровой аналитики.

Убедитесь, что ваш администратор выделил достаточную квоту ресурсов и рабочие узлы для поддержки этой расширенной возможности.

Включение растровой аналитики

Для выполнения следующих шагов настройки может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Чтобы включить растровую аналитику в качестве функции для организации, выполните следующие действия.

Убедитесь, что в вашей организации есть оба необходимых хранилища растров: одно облачное хранилище и одно реляционное хранилище.
Облачное хранилище используется для хранения результатов анализа растров. Если ваша организация развернута в облачной среде, рекомендуется использовать сервис облачного хранилища того же облачного провайдера. Реляционное хранилище используется для хранения наборов данных мозаики при создании размещенного слоя изображений или при создании выходной коллекции данных в ходе растрового анализа. Информацию о том, как добавить хранилище растров, см. в разделе Управление хранилищами растров.
В ArcGIS Enterprise Manager щелкните кнопку Функции на боковой панели.
Откроется страница функций.
Включите переключатель Аналитика растра.
Появится сообщение, в котором указывается, что процесс включения может занять некоторое время.
Щелкните Включить.
Запрос для включения аналитики растра отправляется. Процесс будет проверять предварительные условия и активировать вспомогательные ресурсы. Следующие системные сервисы будут запущены автоматически:
- RasterAnalysisTools
- RasterProcessing
- RasterProcessingGPU
- RasterRendering

Если функцию не удалось включить, повторите описанные выше действия, чтобы убедиться, что хранилища растров были добавлены, лицензия на аналитику растра действительна и доступна, а системные сервисы запущены. Просмотрите журналы, чтобы определить требования для этой возможности.

Теперь аналитика растра настроена Вы можете начать работать с инструментами анализа растра и размещать изображения в своей организации. Узнайте, как использовать аналитику растра и глубокое обучение.

Кроме того, посмотрите, как можно настроить рабочие процессы аналитики растров.

Включение ресурсов GPU для растровой аналитики

Анализ растров, особенно анализ глубокого обучения и инструменты искусственного интеллекта, могут использовать ресурсы графического процессора (GPU) в своем кластере. Вы можете настроить использование ресурсов графического процессора для повышения производительности моделей глубокого обучения и инструментов вывода. Для глубокого обучения графические процессоры обеспечивают скорость обработки, эффективность использования ресурсов и масштабируемость для вашей организации. Поскольку графические процессоры способны выполнять массивные параллельные вычисления, они незаменимы для анализа растров и глубокого обучения. Отдельные сервисы лучше выполняют обе задачи, если графические процессоры настроены для всех сервисов.

Чтобы включить ресурсы графического процессора для аналитики растра вашей организации, обратитесь к администратору кластера и выполните следующие действия:

Включите GPU для узлов в своем кластере Kubernetes.
Рекомендуется создать пользовательскую надпись для ваших узлов с графическими процессорами. Например, чтобы подписать узел node1 ключом raster и значением GPU, используйте следующую команду:
```
kubectl label nodes node1 raster=GPU
```
Войдите в ArcGIS Enterprise Manager как администратор.
Убедитесь, что включена аналитика растра.
Используйте настройки размещения модулей, чтобы гарантировать, что сервисы, требующие GPU, будут запланированы на узлах с поддержкой GPU.
Есть два сервиса анализа растров, которые могут использовать узлы GPU для обработки данных: RasterAnalysisTools и RasterProcessingGPU. Рекомендуется настроить размещение модулей для сервиса RasterProcessingGPU таким образом, чтобы он мог использовать возможности графического процессора. Если ваши рабочие процессы включают модели обучения, рекомендуется также настроить размещение модулей для сервиса RasterAnalysisTools.
1. Выберите Сервисы > Системные сервисы
2. Щелкните имя сервиса, а затем — Размещение модуля.
3. Чтобы применить правило привязки узлов, которое гарантирует, что модули сервиса запланированы на узлах GPU, укажите следующую информацию в разделе Привязка узлов и щелкните Добавить:
  - Тип — обязательное
  - Ключ — укажите ключ, используемый для подписывания узла GPU, например raster.
  - Оператор — In
  - Значение — укажите значение, используемое для подписывания узла GPU, например GPU.
4. Чтобы быть уверенными в том, что рабочие нагрузки анализа растров могут выполняться на узлах GPU с использованием маркеров для исключения других рабочих нагрузок из этих узлов, укажите следующую информацию в разделе Допуски и нажмите Добавить:
  - Эффект — не выполнять
  - Ключ — nvidia.com/gpu
  - Оператор — существует
5. Нажмите на кнопку Сохранить и дождитесь, пока модули будут запланированы.
  Внимание:
  Важно дождаться, пока модули будут запланированы, прежде чем продолжить. В противном случае модули могут остаться в состоянии ожидания, поскольку Kubernetes не сможет найти подходящие узлы, соответствующие запросу GPU и правилам их размещения.
Включите GPU для каждого сервиса, который необходимо настроить на использование GPU.
1. В верхней части страницы сервиса выберите Настройки.
2. Отметьте Включить графический процессор.
3. Щёлкните Сохранить.
При желании можно отключить узлы GPU, чтобы быть уверенными в том, что другие рабочие нагрузки не будут запланированы на узлах с поддержкой GPU.
```
kubectl taint nodes <your-node-name> nvidia.com/gpu=Exists:NoExecute
```

Настройка аналитики растра

Чтобы обеспечить оптимальную производительность и масштабируемость аналитики растра, примите во внимание следующие рекомендации:

При создании своей организации используйте облачный сервис хранения объектов для хранилища объектов.
Увеличьте число рабочих узлов. Для поддержки премиум-функций, таких как растровая аналитика, требуется как минимум один дополнительный рабочий узел для каждого профиля архитектуры. Проконсультируйтесь со своим администратором, чтобы определить, какой архитектурный профиль был выбран при создании организации, и соответствующим образом увеличить количество рабочих узлов. В зависимости от анализа, который вы будете выполнять, вам может потребоваться более одного дополнительного узла.
По возможности используйте узлы с поддержкой графического процессора. Дополнительно можно настроить привязку к узлам и допуски для запуска рабочих нагрузок GPU исключительно на узлах GPU. Это становится все более важным при проведении глубокого обучения и рабочих процессов с использованием искусственного интеллекта.
Изменяя развертывание сервисов с помощью дополнительных модулей и ресурсов, вы можете повысить общую доступность и пропускную способность своих рабочих процессов следующим образом.
- Для рабочих процессов, не включающих глубокое обучение и искусственный интеллект, масштабируйте развертывание сервиса RasterProcessing.
- При выполнении рабочих процессов по обучению моделей для рабочих процессов глубокого обучения масштабируйте развертывание сервиса RasterAnalysisTools.
- При выполнении рабочих процессов логического вывода масштабируйте развертывание сервиса RasterProcessingGPU.
Некоторые инструменты растрового анализа распределяют вычисления по нескольким рабочим модулям и записывают временные данные во время выполнения анализа. Используйте эфемерные тома при выполнении распределенного анализа растров в больших заданиях, требующих загрузки данных во временное пространство для обработки. Подробнее см. в разделе, посвященном настройке эфемерных томов.
При запуске процессов аналитики растров рекомендуется снизить уровень ведения журнала с уровня Отладка. Если вы не занимаетесь активным устранением неполадки, используйте уровень Предупреждение. Если вам требуется более подробное ведение журнала, используйте альтернативный уровень ведения журнала.
Рассмотрите возможность настройки коэффициента параллельной обработки, чтобы управлять количеством экземпляров сервиса обработки растров, которые можно использовать для обработки данных.
Возможно, потребуется отслеживать и увеличивать требования к памяти в зависимости от типа рабочего процесса анализа и объема обрабатываемых данных. Например, для глубокого обучения и рабочих процессов с использованием искусственного интеллекта большие объемы пакетов требуют больше памяти.
У инструментов аналитики растров будут предварительно настроенные ограничения. Для выполнения некоторых работ может потребоваться дополнительная емкость, чтобы инструменты работали должным образом. Вы можете изменить свойства масштабирования, чтобы увеличить объем памяти для различных микросервисов.

Отзыв по этому разделу?