45、利用 Galaxy 进行分布式多租户原位分析

利用 Galaxy 进行分布式多租户原位分析

1. Galaxy 概述

Galaxy 是一个并行计算环境，分布式并行计算由相互通信的应用程序执行，其源代码可在 https://github.com/TACC/Galaxy/ 免费获取。与 ADIOS 和 SENSEI 类似，Galaxy 作为中间件，实现活动（如模拟和分析/可视化组件）之间的通信。不同的是，Galaxy 的分布式计算模型旨在用作算法框架。

Galaxy 架构的两个核心组件为：
- 全局命名空间：数据对象发布到其中。
- 异步点对点和广播消息框架：用于工作消息。

这两个组件使得任何工作节点都能通过发送包含操作、参数以及源和目标全局名称的工作包，让一个或所有其他工作节点对数据执行参数化操作。当接收者处理工作包时，会识别与源和目标全局名称关联的本地数据对象，并执行操作。操作又可以创建并传输额外的工作包，请求系统其他部分执行工作。

以下是在 Galaxy 中实现简单数据并行算法的步骤：
1. 对 Work 类进行子类化，并定义：
- 操作：要对本地数据执行的操作。
- 成员：源和目标对象名称。
- 参数：算法所需的任何参数。
2. 驱动程序调用工作代码，该驱动程序使用预先存在的源对象名称、（可能预先存在的）目标对象名称以及其他参数进行参数化。
3. 如果目标对象不存在，驱动程序使用 Galaxy API 在包含源对象分区的工作节点上创建本地对象。
4. 驱动程序创建 Work 对象子类的实例，并使用 Galaxy 异步广