＜ Ｉ ＲＥＧＩＯＮ ＬＮＦＯ 数字地方 浅析服务器集群的设计◆实现与测试 ◆马浩 摘要：随着网络技术和信息化建设的发展，信息应用系统中单台服务器已经 无法满足日益剧增的用户对系统高可靠、高可用和高性能的要求，服务器集群系 统的建设在各大企事业单位越来越多。本文以山西省运城市人力资源与社会保障 局“一卡通”系统为例，分析讨论业务集群和数据库集群的设计、实现和测试。 关键词：服务器；集群；测试 统。对于人力资源和社会保障部来说，高可靠、高性 一、前言 能、多业务承载的集群系统是关键的业务支撑。 集群（Ｃｌｕｓｔｅｒ）技术是一种通过软硬件技术，将一 需求分析完成后，对该系统业务处理和数据存储拓 组物理上相互独立的服务器在系统中整合为逻辑上为单 扑结构设计如图： 一的系统，这些独立的服务器往往共用一个磁盘存储系 统，这种集群系统和单台服务器比较，其显著的特点表 现在高性能、高可靠和易扩展性，这种系统中任务调度 和服务器状态的监听则是集群系统的核心技术。 服务器集群系统目前主要有三种：高可用性集群 （Ｈｉｇｈ Ａｖａｉｌａｂｉｌｉｔｙ Ｃｌｕｓｔｅｒ）、负载均衡集群（Ｌｏａｄ Ｂａｌａｎｃｅ Ｃｌｕｓｔｅｒ）和高性能计算集群（Ｈｉ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｍｇ Ｃｌｕｓｔｅｒ）。高可用集群和负载均衡集群通常是结合在一起 的，在这种系统中，多台服务器同时负载前端提交的任 考虑到系统的负载，应用服务器和数据服务器采用 务，具体由哪个独立的服务器提供服务由集群调度器来分 双千兆捆绑与交换机连接，骨干网络采用双链路冗余， 配，当其中一台服务器由于某种原因停止工作，不会影响 一条为２Ｍ的ＣＰＯＳ接口Ｅ１专线链路，一条为４ＭＶＰＮ专 前端任务的提交和执行，这样系统就具备了高可用和负载 线，主链路为Ｅｌ专线，当Ｅ１专线不可用时ＶＰＮ专线链 均衡的特点。高性能计算集群主要解决科学计算，以多台 路可以保障系统的可用，这样就可以实现冗余链路和负 服务器并行计算为基础，这种系统将一个任务分解给了多 载平衡。这两条专线通过迪普的入侵防御系统ＩＰＳ２０００ 个服务器并行，而前两种系统则是将多个任务分配给多台 进入数据中心。用户将任务提交给应用服务器，应用 服务器，对于每个服务器，任务是不可分解的，相比较而 服务器再访问数据库服务器，数据库服务器通过Ｖ２０００ 言，商Ｉ生能计算集群要求更高的软硬件资源，成本较大。 磁盘管理平台访问磁盘阵列。交换机采用锐捷￥５７５０， 现在常见的一种技术称之为双机热备，这与集群系 ￥５７５０提供有２４个ＳＦＰ千兆光口，还可以根据需要扩展 统是不同的，双机热备系统中通常是只有一台在工作， 模块，可以满足数据交换传输的要求。 而另外一台则是当主机故障后，起到替代主机的作用。 数据库服务器集群使用２台ＨＰ Ｉｎｔｅｇｒｉｔｙ ＢＬ８６０ｃ ｉ２ 二、集群的设计与实现 Ｓｅｒｖｅｒ Ｂｌａｄｅ主机，每台采用英特尔安腾９３４０ ４Ｃ Ｐｒｏ ｔ处 理器，３２ＧＢ内存。操作系统为Ｔｍ６４ ＨＰＵｎｉｘ，数据库管 以山西省运城市人力资源与社会保障局“一卡通” 理系统为Ｏｒａｃｌｅ Ｅｎｔｅｒｐｒｉｓｅ Ｅｄｉｔｉｏｎ １０ｇ，配置Ｏｒａｃｌｅ ＲＡＣ集 系统为例，该系统覆盖运城市及城镇，将养老、医疗、 群技术实现数据库集群。Ｏｒａｃｌｅ ＲＡＣ可以实现多Ｎｏｄｅ负 工伤、失业、生育五项社会保险实行“五险合一”，统 载均衡，提供高系统的可用性，故障容错能力强。 一运行在该系统上。所以该系统是一个纵向结构，地域 应用服务器集群使用４台ＨＰ ＰｒｏＬｉａｎｔ ＢＬ４６０ｃ Ｇ６ 跨度大，链路质量不可控，多业务承载的广域网应用系 Ｅ５５０６刀片机，ＣＰＵ采用英特尔至强Ｅ５５０６处理器。因 ２０ 信息系统工程ｌ ２０１２．３．２０ 为社保行业软件运行所需系统的限制，业务软件只能运 行在ＬｉｎｕｘＴ，所以操作系统为ＣｅｎｔＯＳ５，集群主要通过 在２台刀片机上安装ＬＶＳ、Ｈｅａｒｔｂｅａｔ和Ｉｄｉｒｅｃｔｏｒｙ组件来实 现，工作模式为ＤＲ模式，业务软件分别部署在中间件 ＷｅｂＬｏｇｉｃ １０标准版上。ＬＶＳ集群技术正是基于Ｌｉｎｕｘ￣ 作系统，采用ＩＰ负载均衡技术，服务器集群对客户是透 明的，无需修改客户端和服务器端的程序。 磁盘阵列采用ＲＧ—ｉｓ．１６ＦＳＡＳ，可安装１Ｏ快硬盘， 本系统中安装了１０快３００Ｇ的硬盘，总容量为３ＴＢ。现 社保系统中数据量为７０ＧＢ，所以３ＴＢ的容量可以满足 数据的存储需求，为了提高系统磁盘阵列的可用性和 可靠性，配置了ＲＡＩＤ５。另外该磁盘阵列有２个４Ｇｂ ＦＣ 接口，可以满足数据库服务器数据的传输要求。另外 配置了一个备份系统，采用ＨＰ Ｓｔｏｒａｇｅ ｗｏｒｋｓ ＭＳＬ２０２４ １ ＬＴＯ一４ Ｕｌｔｒｉｕｍ １ ８４０磁带库，装入了１０快８００ＧＢ的磁 带，备份服务器上安装赛门铁克ＶＥＲＩＴＡＳ Ｎｅｔ Ｂａｃｋｕｐ ５．１软件，可以实现数据定时备份（支持全额备份、差 量备份和增量备份）与恢复。 三、系统的测试 当“一卡通”系统数据库导入、业务软件部署和基 本链路可达测试完毕后，就要进行性能和功能测试，对 于本系统，测试的关键是看两个集群是否实现了负载均 衡和高可用。当系统运行后，随着城市及乡镇参保人员 的增多，系统是否能够满足压力需求。目前运城市社保 系统中医疗保险子系统的数据量和业务占到整个系统的 ８０％，所以测试以医保子系统为例。 测试选择Ｅ ｌ专线链路，测试分两大部分，第一部分 为测试系统的负载均衡和高可用，当数据库服务器或者 应用服务器中任意一台停止服务时，集群系统仍能够提 供服务，客户端业务正常运行。这样就可以测试出系统 的高可用性，可以通过ＸＳｈｅＵ终端，实时观测集群中各个 服务器的ＣＰＵ、内存及正在受理的事务个数等情况来判 断所测试的集群核心调度器是否运行正常。在本例中， 数据库服务器集群由２台小机组成，应用服务器集群由４ 台刀片机组成，如客户端运行１０个事务，分配到４台刀片 机任务数为３—３．２．２，分配到２台小机任务数为５—５，这样 就实现了系统的负载均衡。如果集群调度器分配明显不 均，说明集群负载均衡配置不当，需要重新安装。 在实际的测试中，我们准备了２０台同样配置的ＰＣ 机做客户端，模拟运城市两定机构，运行“一卡通”医 保客户端软件２４ｄｘ时，每台ＰＣ机运行的客户端个数可 以递增，选择的测试条件是尽可能对系统造成压力，如 垦亘 皇 ＿ ：≥＞ 无限次数的循环查询，以便通过Ｘｓｈｅｌｌ观察记录应用服 务器和数据服务器的调度情况和两个集群的资源使用情 况。这里要注意的是ＰＣ机的客户端软件要重新编写代 码，以便清除循环测试占用内存，否￣ＩＪｐｃ机运行较短 时间后可能会崩溃，自动中断与服务器的连接。 第二部分，压力测试，也是决定集群系统成败的 关键，压力测试不可能准备几万ＰＣ机测试系统的负载 能力，不经测试的新系统也不可能上线应用。此时我们 选用了ＨＰ的性能测试工具ＬｏａｄＲｕｎｎｅｒ（ＬＲ），该软件 是一款功能强大、应用广泛的工业标准级负载测试测试 工具。为了得到更准确的测试数据，在２Ｏ台同样配置的 ＰＣ机都安装了ＬＲ，虚拟的客户端个数、测试用例和录 制的程序与第一部分中相同，这样可以观察该软件的测 试结果与实际客户端运行时的差异，如果差异较大，那 么该软件测试结果就不能真实反映本系统的运行性能。 通过测试，当每台ＰＣ机虚拟的客户端数量较少 时，如２Ｏ个以内，ＬＲ的测试结果与实际环境差异很 小，当客户端数量较大时，如大于１００时，实际环境中 对应用服务集群的压力较大，对数据库服务器的压力 较小。用ＬＲ￣ＩＪ试时，结果相反，这与ＬＲ的工作原理有 关。ＬＲ中虚拟客户端通过ＨＴＴＰ协议直接把事务提交给 数据库服务器，应用服务器集群只是对２０台ＰＣ调度。 在本例中，通过虚拟用户数递增测试，每台ＰＣ运行２００ 个虚拟用户，同时执行大批量循环查询，客户端无连接 中断，系统平均吞吐量为４６３Ｍｂｐｓ，事务平均响应时间 为３．１４ｓ，当每台ＰＣ虚拟２５０个用户时，数据库服务器的 ＣＰＵ占用率几乎为１００％，应用服务器的ＣＰＵ占用率在 ５０％左右，此时出现了连接中断的现象。 此时可以说明，该系统能够满足４０００个客户端同时 执行大批量查询，而目前运城市实际的两定机构医保客 户端为１２２５个，可以满足近几年运城市人社局的业务需 求，随着医保客户端、参保人数及社保业务的增多可以 对数据库集群和应用服务器集群进行扩展，以便满足新 的需求。 四、结束语 随着网络技术的飞速发展，传统的服务器体系结构愈 来愈不适应当前的需求，集群技术以其独特的优点很好地 适应了当前网络发展的需要。本文以运城市人社局“一卡 通”系统建设为例，介绍了集群的基本概念、应用服务器 集群和数据库服务器集群的设计、实现与测试。 （作者单位：运城学院） 信息系统工程Ｉ ２０１２．３．２０ ２１