Растровая аналитика предоставляет встроенные инструменты и функции для предварительной обработки, ортотрансформирования и создания мозаики, анализа данных дистанционного зондирования и широкого спектра математических и тригонометрических операторов. Ваши пользовательские функции могут еще больше расширить возможности анализа вашей организации.
Растровая аналитика также предназначена для упрощения сотрудничества и совместного использования. Пользователи в вашей организации могут вносить данные, модели обработки и экспертные знания в проект по обработке изображений, а также делиться результатами с отдельными лицами, отделами и организациями в рамках вашего предприятия.
Введение в аналитику растров
Аналитика растров в ArcGIS Enterprise on Kubernetes - это гибкая система обработки, хранения и публикации растров, использующая технологию распределенного вычисления и хранения. Используйте аналитику растров для применения инструментов анализа растров и растровых функций в ArcGIS, создавайте свои собственные функции и инструменты и объединяйте несколько инструментов и функций в последовательности обработки растра для выполнения собственных алгоритмов для больших наборов растровых данных. Исходные данные и результаты обработки сохраняются и публикуются в вашей корпорации в соответствии с вашими нуждами и приоритетами.
Эта мощная возможность может быть расширена за счет использования возможностей и ресурсов облачных вычислений. В результате задания по обработке и анализу изображений, которые могли бы занимать дни или недели, теперь длятся несколько минут или часов. Поэтому теперь можно выполнять задания, которые ранее были слишком большими или сложными.
Подсказка:
Облачное хранилище данных является обязательным условием для локального и облачного развертывания. Оно используется для хранения результатов растровой аналитики.Убедитесь, что ваш администратор выделил достаточную квоту ресурсов и рабочие узлы для поддержки этой расширенной возможности.
Добавление хранилищ растров и включение аналитики растра
Для выполнения следующих шагов настройки может потребоваться изменить способ развертывания ArcGIS в вашей организации; перед выполнением внимательно изучите их. Перед использованием аналитика растров, необходимо добавить поддерживающиеся хранилища растров и настроить их как функцию в ArcGIS Enterprise Manager.
Добавление хранилища растров
Для поддержки анализа растров необходимо добавить два хранилища растров: одно облачное хранилище и одно реляционное хранилище. Облачное хранилище используется для хранения результатов анализа растров. Реляционное хранилище используется для хранения наборов данных мозаики при создании размещенного слоя изображений или при создании в ходе растрового анализа выходной коллекции данных.
Чтобы добавить хранилища растров, выполните следующие действия:
- В ArcGIS Enterprise Manager щелкните кнопку Хранилища данных на боковой панели.
Появится страница хранилищ данных.
- В секции Хранилища растров щелкните Добавить хранилище, чтобы добавить первое хранилище растровых данных.
Примечание:
Если было добавлено более одного хранилища растров одного типа, инструмент случайным образом выберет, какое хранилище растров будет использоваться. Вы не можете задать, какое хранилище растров использовать.
Это хранилище растров будет содержать изображения, добавленные в организацию, и результаты любых инструментов анализа растров. Если ваша организация развернута в облачной среде, рекомендуется использовать сервис облачного хранилища того же облачного провайдера.
Если вы еще не добавили хранилища, этот раздел будет пуст.
- Укажите имя хранилища растров.
- Выберите Сервис хранилища и один из следующих вариантов:
- Amazon S3
- Azure Blob
- Google Cloud Storage
- Спецификации для каждого сервиса облачного хранения см. в разделе шаги по добавлению хранилища растров.
- Когда закончите, щелкните Добавить хранилище.
Растровое облачное хранилище зарегистрировано и появится в разделе Хранилища растров.
- На странице Хранилища данных щелкните Добавить хранилище, чтобы добавить второе хранилище, реляционное.
Это хранилище необходимо для рабочих процессов, которые генерируют набор данных мозаики для обработки растров.
- Укажите имя реляционного хранилища.
- Выберите Сервис хранилища и реляционное хранилище.
- Щелкните Выбрать файл, чтобы добавить файл подключения к базе данных.
В реляционной базе данных будут храниться наборы данных мозаики для размещения слоев изображений.
- Щелкните Добавить хранилище.
Растровое реляционное хранилище зарегистрировано и появится в разделе Хранилища растров.
Включение растровой аналитики
Чтобы включить растровую аналитику в качестве функции для организации, выполните следующие действия.
- В ArcGIS Enterprise Manager щелкните кнопку Функции на боковой панели.
Откроется страница функций.
- Включите переключатель Аналитика растра.
Появится сообщение, в котором указывается, что процесс включения может занять некоторое время.
- Щелкните Включить.
Запрос для включения аналитики растра отправляется. Процесс будет проверять предварительные условия и активировать вспомогательные ресурсы. Следующие системные сервисы будут запущены автоматически:
- RasterAnalysisTools
- RasterProcessing
- RasterProcessingGPU
- RasterRendering
Если функцию не удалось включить, повторите описанные выше действия, чтобы убедиться, что хранилища растров были добавлены, лицензия на аналитику растра действительна и доступна, а системные сервисы запущены. Просмотрите журналы, чтобы определить требования для этой возможности.
Теперь аналитика растра настроена Вы можете начать работать с инструментами анализа растра и размещать изображения в своей организации. Узнайте, как использовать аналитику растра и глубокое обучение.
Кроме того, посмотрите, как можно настроить рабочие процессы аналитики растров.
Включение ресурсов GPU для растровой аналитики
Анализ растров, особенно анализ глубокого обучения и инструменты искусственного интеллекта, могут использовать ресурсы графического процессора (GPU) в своем кластере. В версии 11.5 вы можете настроить инструменты анализа растров на использование ресурсов графического процессора для повышения производительности инструментов глубокого обучения и вывода. Для глубокого обучения графические процессоры обеспечивают скорость обработки, эффективность использования ресурсов и масштабируемость для вашей организации. Поскольку графические процессоры способны выполнять массивные параллельные вычисления, они незаменимы для анализа растров и глубокого обучения. Отдельные сервисы лучше выполняют обе задачи, если графические процессоры настроены для всех сервисов.
Для обучения заданий модели глубокого обучения вам необходимо только настроить сервис RasterAnalysisTools. Для инструментов вывода необходимо настроить сервисы RasterProcessingGPU для работы с GPU. Для некоторых моделей также может потребоваться настройка сервиса RasterAnalysisTools с инициализацией GPU. В этих случаях оба сервиса необходимо настроить на использование графических процессоров.
Предварительные действия
В ArcGIS Enterprise on Kubernetes можно внедрить плагин устройства для включения графических узлов в свой кластер. Чтобы включить узлы GPU, требуется плагин устройств NVIDIA для Kubernetes. Подробнее см. Узлы с поддержкой графического процессора.
Примечание:
В данной версии 11.5 ArcGIS Enterprise on Kubernetes поддерживается только с графическими процессорами NVIDIA.Чтобы включить ресурсы графического процессора для вашей организации, выполните следующие действия, которые зависят от вашей среды и настроек.
- Выполните действия по настройке аналитики растров или другой возможности, для которой вы хотите использовать узлы с поддержкой графического процессора.
- Проверьте, установлен ли на вашем экземпляре плагин устройства.
Многие облачные среды предварительно настроены с узлами графического процессора. Если подключаемый модуль устройства не установлен, см. документацию Подключаемый модуль (плагин) устройств NVIDIA для Kubernetes для получения подробной информации и инструкций по установке. Если выполняется локальное развертывание, администратор должен включить ресурсы графического процессора на каждом узле кластера.
- Чтобы использовать узлы с поддержкой графического процессора для рабочих процессов ГИС организации, установите запросы и ограничения для ресурсов графического процессора.
- Дополнительно, если хотите запускать рабочие нагрузки графического процессора исключительно на узлах графического процессора, настройте привязку узлов и допуски.
Настройка аналитики растра
Чтобы обеспечить оптимальную производительность и масштабируемость аналитики растра, примите во внимание следующие рекомендации:
- При создании своей организации используйте облачный сервис хранения объектов для хранилища объектов.
- Увеличьте число рабочих узлов. Для поддержки премиум-функций, таких как растровая аналитика, требуется как минимум один дополнительный рабочий узел для каждого профиля архитектуры. Проконсультируйтесь со своим администратором, чтобы определить, какой архитектурный профиль был выбран при создании организации, и соответствующим образом увеличить количество рабочих узлов. В зависимости от анализа, который вы будете выполнять, вам может потребоваться более одного дополнительного узла.
- По возможности используйте узлы с поддержкой графического процессора. Дополнительно можно настроить привязку к узлам и допуски для запуска рабочих нагрузок GPU исключительно на узлах GPU. Это становится все более важным при проведении глубокого обучения и рабочих процессов с использованием искусственного интеллекта.
- Изменяя развертывание сервисов с помощью дополнительных модулей и ресурсов, вы можете повысить общую доступность и пропускную способность своих рабочих процессов следующим образом.
- Для рабочих процессов, не включающих глубокое обучение и искусственный интеллект, масштабируйте развертывание сервиса RasterProcessing.
- При выполнении рабочих процессов по обучению моделей для рабочих процессов глубокого обучения масштабируйте развертывание сервиса RasterAnalysisTools.
- При выполнении рабочих процессов логического вывода масштабируйте развертывание сервиса RasterProcessingGPU.
- Некоторые инструменты растрового анализа распределяют вычисления по нескольким рабочим модулям и записывают временные данные во время выполнения анализа. Используйте эфемерные тома при выполнении распределенного анализа растров в больших заданиях, требующих загрузки данных во временное пространство для обработки. Подробнее см. в разделе, посвященном настройке эфемерных томов.
- При запуске процессов аналитики растров рекомендуется снизить уровень ведения журнала с уровня Отладка. Если вы не занимаетесь активным устранением неполадки, используйте уровень Предупреждение. Если вам требуется более подробное ведение журнала, используйте альтернативный уровень ведения журнала.
- Рассмотрите возможность настройки коэффициента параллельной обработки, чтобы управлять количеством экземпляров сервиса обработки растров, которые можно использовать для обработки данных.
- Возможно, потребуется отслеживать и увеличивать требования к памяти в зависимости от типа рабочего процесса анализа и объема обрабатываемых данных. Например, для глубокого обучения и рабочих процессов с использованием искусственного интеллекта большие объемы пакетов требуют больше памяти.
- У инструментов аналитики растров будут предварительно настроенные ограничения. Для выполнения некоторых работ может потребоваться дополнительная емкость, чтобы инструменты работали должным образом. Вы можете изменить свойства масштабирования, чтобы увеличить объем памяти для различных микросервисов.