栅格分析为预处理、正射校正和镶嵌、遥感分析以及大量数学和三角学运算符提供了内置工具和函数。 您的自定义函数可以进一步增强组织的分析功能。
栅格分析还可用于简化协作和共享。 整个组织的用户可以向您的影像工程贡献数据、处理模型和专业知识,并与企业内的个人、部门或组织共享结果。
栅格分析简介
在 ArcGIS Enterprise on Kubernetes 中,栅格分析是一种灵活的栅格处理、存储和共享系统,它使用分布式计算和存储技术。 使用栅格分析可以应用 ArcGIS 中提供的栅格分析工具和栅格函数、构建自定义函数和工具,或者将多个工具和函数组合到栅格处理链中,对大型栅格数据集合运行自定义算法。 可以根据您的需要和优先级,在整个企业中存储、发布以及共享源数据和处理结果。
通过使用计算功能和资源可以进一步扩展此增强功能。 结果是过去需要几天或几周才能完成的影像处理和分析工作,现在仅需几分钟或几小时即可完成,并且现在能够处理过去因为过大或过于庞杂而难以完成的工作。
提示:
云数据存储是本地和云部署的要求。 它用于存储栅格分析输出。添加栅格存储并启用栅格分析
下列配置步骤可能需要您更改在组织中部署 ArcGIS 的方式;继续下一步骤前请仔细查看下列说明。 在使用栅格分析之前,您必须添加支持栅格存储并将 ArcGIS Enterprise Manager 作为功能启用。
添加栅格存储
为了支持栅格分析,必须添加两个栅格存储:一个云存储和一个关系存储。 云存储用于存储分析的栅格输出。 关系存储用于在创建托管影像图层或栅格分析生成集合输出时存储镶嵌数据集。
要添加栅格存储,请完成以下步骤:
- 在 ArcGIS Enterprise Manager 中,单击侧边栏上的数据存储按钮。
随即显示数据存储页面。
- 在栅格存储部分,单击添加存储,以添加第一个栅格数据存储。
注:
如果添加了多个相同类型的栅格存储,该工具将随机选择要使用的栅格存储。 您无法指定使用哪个栅格存储。
栅格存储将包含添加到组织中的图像和所有栅格分析工具的结果。 当您的组织部署在云环境中时,建议使用来自同一云提供商的云存储服务。
如果您尚未添加存储,此部分将为空。
- 提供栅格存储的名称。
- 选择存储服务,然后选择以下选项之一:
- Amazon S3
- Azure Blob
- Google Cloud 存储
- 有关每个云存储服务的规范,请参阅添加栅格存储的步骤。
- 完成后,单击添加存储。
栅格云存储已注册并显示在栅格存储部分中。
- 在数据存储页上,单击添加存储以添加第二个存储:关系存储。
生成用于处理栅格的镶嵌数据集的工作流需要此存储。
- 提供关系存储的名称。
- 选择存储服务,并选择一个关系存储。
- 单击选择文件以添加数据库连接文件。
关系数据库将用于存储托管影像图层的镶嵌数据集。
- 单击添加存储。
栅格关系存储已注册并显示在栅格存储部分中。
启用栅格分析
要启用栅格分析作为组织的一项功能,请完成以下步骤:
- 在 ArcGIS Enterprise Manager 中,单击侧边栏中的功能按钮。
功能页面随即显示。
- 打开栅格分析切换按钮。
将显示一条消息,指示启用过程可能需要一些时间。
- 单击启用。
已提交启用栅格分析的请求。 此过程将验证先决条件并激活支持资源。 以下系统服务将自动启动:
- RasterAnalysisTools
- RasterProcessing
- RasterProcessingGPU
- RasterRendering
如果功能无法启用,请重复上述步骤,以确保栅格存储已添加,栅格分析许可有效且可用,并且系统服务已启动。 查看日志,确定此功能的要求。
栅格分析现已配置完成。 您可以开始在组织中使用栅格分析工具和托管影像。 学习如何使用栅格分析和深度学习。
此外,了解如何调整栅格分析工作流。
为栅格分析启用 GPU 资源
栅格分析,特别是深度学习分析和 AI 工具可以使用集群中的图形处理器 (GPU) 资源。 在 11.5 版本中,您可以配置 GPU 资源栅格分析工具,以增强深度学习训练和推理工具的性能。 对于深度学习,GPU 可为您的组织提升处理速度、资源利用效率和可扩展性。 由于 GPU 可以处理大量的并行计算,因此它们对于栅格分析和深度学习是不可或缺的。 当为每个服务配置 GPU 时,单个服务可以更好地执行这两个任务。
对于训练深度学习模型作业,您只需配置 RasterAnalysisTools 服务。 对于推理工具,您需要使用 GPU 配置 RasterProcessingGPU 服务。 某些模型可能还需要使用要初始化的 GPU 配置 RasterAnalysisTools 服务。 在这些情况下,两种服务都需要配置 GPU。
先决条件
在 ArcGIS Enterprise on Kubernetes 中,您可以实现设备插件以在集群中启用 GPU 节点。 要启用 GPU 节点,需要 Kubernetes 的 NVIDIA 设备插件。 有关详细信息,请参阅支持 GPU 的节点。
注:
在 11.5 版本中,ArcGIS Enterprise on Kubernetes 仅支持 NVIDIA GPU。要为您的组织启用用于栅格分析的 GPU 资源,请完成以下特定于您的环境和首选项的步骤:
- 完成以下步骤以配置栅格分析或其他您希望使用支持 GPU 的节点的功能。
- 验证您的实例是否安装了设备插件。
许多云环境都预先配置了 GPU 节点。 如果未安装设备插件,请参阅 Kubernetes 文档的 NVIDIA 设备插件以了解详细信息和安装步骤。 如果您已在本地部署,则管理员必须在集群中的每个节点上启用 GPU 资源。
- 为了使用启用 GPU 的节点来满足您组织的 GIS 工作流的需求,请设置 GPU 资源的请求和限制。
- 或者,要在 GPU 节点上专门运行 GPU 工作负载,请配置节点亲和性和容忍度。
调整栅格分析
要实现栅格分析的最佳性能和可扩展性,请考虑以下建议:
- 创建组织时,请为对象存储使用云存储服务。
- 增加 worker 节点。 栅格分析等高级功能需要每个架构配置文件至少有一个额外的 worker 节点来支持添加的功能。 与您的管理员合作,确定在创建组织时选择了哪种架构配置文件,并相应地增加 worker 节点。 根据您将执行的分析,您可能需要多个附加节点。
- 尽可能使用支持 GPU 的节点。 或者,配置节点亲和性和容忍度以仅在 GPU 节点上运行 GPU 工作负载。 在进行深度学习和人工智能工作流程时,这一点变得越来越重要。
- 通过使用附加 pod 和资源修改服务部署,您可以提高工作流的总体可用性和吞吐量,具体信息如下:
- 对于不包括深度学习和人工智能的工作流程,扩展 RasterProcessing 服务部署。
- 在执行工作流以训练深度学习工作流的模型时,请扩展 RasterAnalysisTools 服务部署。
- 在进行推理工作流程时,扩展 RasterProcessingGPU 服务部署。
- 一些栅格分析工具将计算分布在多个 worker pod 中,并在执行分析时写入临时数据。 对需要将数据加载到临时空间进行处理的大型作业执行分布式栅格分析时,请使用临时卷。 有关详细信息,请参阅配置临时卷。
- 运行栅格分析进程时,建议从调试降低日志级别。 如果您没有主动解决问题,请改用警告级别。 如果您需要更细化的日志细节,请使用其他日志级别。
- 考虑设置并行处理因子来控制可用于处理数据的栅格处理服务实例的数量。
- 可能需要根据分析工作流程的类型和处理的数据的大小来监控和增加内存需求。 例如,对于深度学习和 AI 工作流程,更大的批次大小需要更多的内存。
- 栅格分析工具具有预先配置的限制。 某些作业可能需要更多额外的容量以使工具正常运转。 您可以编辑扩展属性来增加不同微服务的内存。