云环境下的MapReduce处理资源弹性提升与IaaS云性能表征

### 云环境下的MapReduce处理资源弹性提升与IaaS云性能表征 #### 1. CLEVER云联邦管理 在云计算领域，云联邦管理是提升资源利用效率的重要手段。在CLEVER中，集群管理器（CM）和主机管理器（HMs）通过软件代理（Agents）借助XMPP协议进行通信。这种设计使得在CLEVER环境中添加新模块和功能变得十分便捷，只需添加新的代理并更新CM和HMs的配置，即可实现消息的正确传递。 每个参与联邦的云通过Jabber ID（JID）进行标识。为了建立联邦，不同管理域的CM通过多用户聊天（MUC）以唯一的房间ID “Federation” 交换消息。只有经过XMPP服务器或外部第三方实体认证的活跃CM才能访问该房间。 #### 2. Hadoop与CLEVER的集成 为了使Hadoop具备云特性，我们利用了CLEVER提供的虚拟基础设施。虚拟机（VMs）运行在HMs上，作为Hadoop集群的从节点，由部署在CLEVER CM上的Hadoop主节点进行协调。 集成的优势主要体现在两个方面： - **通信优化**：通常Hadoop使用TCP/IP层进行通信，在跨域通信时，由于各域大量使用防火墙，可能会阻碍通信。而集成到CLEVER后，借助XMPP技术，联邦消息可以通过端口80发送。 - **自动扩展**：系统能够根据实时需求自动扩展。 实现Hadoop与CLEVER集成的两个主要软件代理是Hadoop主节点（HMN）代理和Hadoop从节点（HSN）代理。 - **CM软件组件**：通过HMs接口，集群协调器（CC）与集群中的所有HMs通信，交换可用资源、运行任务、工作规范和提供的服务等信息。CC还利用客户端接口与云客户端交互，接收请求并提供查询服务。此外，CM使用内部NoSQL数据库存储当前系统配置，由数据库管理器（DBM）进行更新。 - **HM软件组件**：专门支持云端Hadoop活动的代理是HMN代理，它为Hadoop集群中的所有虚拟节点提供配置设置，作为Hadoop集群的主节点，实现Hadoop功能以管理系统。启动时，HMN代理读取Hadoop配置，CC将其注册到CLEVER的活动代理列表中，以便接收HMs上代理的通知。 #### 3. Amazon S3云存储服务 Amazon S3是一种云存储服务，旨在为开发者简化大规模网络计算。它提供简单的Web服务接口，可在任何时间、从网络任何位置存储和检索任意数量的数据。开发者可以使用与亚马逊运营全球网站相同的高度可扩展、可靠、安全、快速且经济的基础设施。该服务旨在最大化规模效益，并将这些效益传递给开发者。 #### 4. 实验设置与过程 为了验证云联邦在并行分布式处理中的优势，我们进行了一系列实验。实验涉及四个CLEVER/Hadoop管理域（A、B、C和D）作为联邦云提供商，以及Amazon S3作为云存储提供商。以并行视频转码为例，测试整个环境。 实验硬件配置如下： | 硬件组件 | 配置详情 | | ---- | ---- | | CPU | Intel(R) Core(TM)2 CPU 6300; 1.86GHz | | 内存 | 3GB RAM | | 操作系统 | Linux Ubuntu 12.04 x86 64 | | 虚拟化软件 | VirtualBox | 每个实验重复50次，以获取平均值和低置信区间。实验主要阶段如下： 1. **t0时刻**：云客户端向特定的CLEVER域发送视频转码请求。 2. **t1时刻**：接收请求的CLEVER云决定与其他CLEVER域建立联邦，并检索域信息。为简化起见，我们预先使用CLEVER命令设置环境。 3. **t2时刻**