Использование моделей глубокого обучения в ArcGIS Notebooks

Глубокое обучение — это быстро развивающийся метод анализа данных машинного обучения, который использует нейронные сети для имитации мыслительных процессов человеческого мозга. При интеграции с ГИС он может улучшить обработку данных и обеспечить более точный анализ данных.

Обычно с алгоритмами машинного обучения связаны три основные проблемы: анализ больших объемов данных, нехватка вычислительных ресурсов, а также эффективность и точность алгоритмов. Интегрируя ArcGIS Notebooks и алгоритмы глубокого обучения, вы сможете лучше справляться с этими проблемами.

Глубокое обучение в ArcGIS Notebooks

Модели глубокого обучения для данных изображений, доступные в ArcGIS Notebooks, делятся на четыре основные категории:

• Классификация объектов — Используется для определения класса объекта. Например, это можно использовать для определения того, повреждено ли здание после стихийного бедствия.
• Обнаружение объекта — Процесс локализации поиска объекта на изображении в ограничивающей рамке. Например, обнаружение объектов можно использовать для выявления плавательных бассейнов на изображении.
• Классификация пикселей — Используется для присвоения классов пикселям в изображении. Например, классификация пикселей может использоваться для классификации почвенно-растительного покрова.
• Классификация экземпляров — Объединяет как обнаружение объектов, так и классификацию пикселей. Классификацию экземпляров можно использовать для обнаружения объекта и его дальнейшей классификации. Например, классификацию пикселей можно использовать при обнаружении повреждений, чтобы не только идентифицировать повреждения, но и дополнительно классифицировать серьезность повреждений.

Примечание:

ArcGIS Notebooks также поддерживает модели, ориентированные на наборы табличных данных, облака точек и другие структурированные наборы данных.

ArcGIS Notebooks может использоваться для выполнения полного цикла глубокого обучения, при котором одна нейронная сеть обучается выполнять комплекс задач непосредственно на основе необработанных входных данных, минуя необходимость извлечения объектов вручную. Этот процесс начинается со сбора данных.

Сравнение предварительно обученных моделей и обучающих моделей

В ArcGIS модели глубокого обучения можно использовать двумя методами:

• Предварительно обученные модели — Используются для получения предварительных выводов из данных без необходимости использования больших пулов обучающих данных или длительного обучения модели. Хотя это и быстрее, при использовании предварительно обученной модели будет компромисс в точности. Эти модели можно переобучить для повышения их точности.
  • Пример: классификация почвенно-растительного покрова с использованием разреженных обучающих данных с использованием классификатора UNet в качестве предварительно обученной модели
    unet = UnetClassifier(data, backbone='resnet34', ignore_classes=[0])
    unet.show_results()
    unet.per_class_metrics()
    

• Обучающие модели глубокого обучения - Обучая модель глубокого обучения на большом наборе данных с достаточными ресурсами и временем обучения, вы можете разработать более точную модель.
  • Пример: классификация почвенно-растительного покрова с использованием разреженных обучающих данных с использованием классификатора UNet и переобучение модели
    unet = UnetClassifier(data, backbone='resnet34', ignore_classes=[0])
    unet.lr_find()
    unet.fit(10, lr)                   #10 iterations of model fitting
    unet.show_results()
    unet.per_class_metrics()
    

Запустите модели глубокого обучения в ArcGIS Notebooks

Чтобы использовать модель глубокого обучения в ArcGIS Notebooks, выполните следующие шаги:

Примечание:

1. Выберите модель глубокого обучения в группе 04_gis_analysts_data_scientists в доступном для загрузки архиве данных.
2. Загрузите файл .ipynb модели, которую вы будете использовать.
3. Щелкните на страницу Ресурсы вашего портала.
4. Щелкните Новый элемент и загрузите файл .ipynb скачанной модели.
5. Откройте блокнот, созданный файлом .ipynb модели.
6. Добавьте данные, которые хотите проанализировать.
7. Запустите следующие разделы блокнота:

   1. Подготовить входные данные
   2. Визуализировать обучающие данные
   3. Загрузить архитектуру модели
   4. Обучить модель

      Примечание:

      Этот раздел можно пропустить, если вы хотите использовать только предварительно обученную модель.

   5. Сохранить модель
   6. Вывод