时间：2023-09-19 16:27:34
开篇：写作不仅是一种记录，更是一种创造，它让我们能够捕捉那些稍纵即逝的灵感，将它们永久地定格在纸上。下面是小编精心整理的12篇计算机集群技术，希望这些内容能成为您创作过程中的良师益友，陪伴您不断探索和进步。
关键词：集群；并行计算；数据处理；统计信息系统
伴随着经济社会的迅猛发展，人们对信息的需求和汲取日益增多，单一的统计数据处理无法满足人们的需求，有必要将单一的统计数据处理发展为经济数据处理方向。对于经济数据处理系统构建方面而言，在利用计算机集群技术基础上，依据当下社会和大众的需要以及经济发展过程中出现的问题，依靠大量的准确可靠的实践数据，对经济管理方面的问题进行理论模拟和政策仿真。因此，基于计算机集群技术的经济数据处理系统构建能够为经济社会提供有价值的参考。
1.计算机集群的概念
集群技术是指一组相互独立的计算机，在高速通信网络的大背景下，组成一个完整的计算机系统，每个集群中的每个计算机都是运行自己所属程序进程的一个独立的服务器。目前集群系统大多采用的是心跳机制，通过对健康状况的全称监测，有效地避开或替换故障节点，在故障得以修复之后再将其自动加入集群系统之中，值得注意的是，整个切入和切除的过程都在几秒钟进行完毕，并不影响整体运行。在集群中，每一个提供服务的计算机都可以被称为一个节点，当一个节点不能使用时，集群系统也会自动完成。通常来说，两个节点的集群的两个服务器都处在活动状态才是理想效果，如果其中一个节点出现故障不能使用，应用程度就会自动转移到另一个节点上，这样一来，原本属于两个节点的工作如今要靠一个节点来完成，解决这种问题要做出的解决方案是将另一个节点作为备用状态，当活动节点出现状况时，备用节点才开始工作，这种方案虽然可行，但是需要一定的经济投入。因此在集群配置时，要充分提高可用性和可缩放性。
2.计算机集群的特点
集群系统从结构上可以分成开放式集群和封闭式集群系统两种，事实上，最常采用的是可用性技术基础之上的科学集群，这种科学的集群系统使用多个节点提供系统的冗余和服务，并且能够相互协调工作，对于用户而言，集群永远不会停止操作，这对高性能的海量经济数据处理系统构建是很有必要的。
计算机集群负载均衡，通过在多个节点上实现负载均衡，极大地发挥了个节点的运行速度和效率。很多企业对集群的要求很高，更注重计算机集群的使用价值，负载均衡这个特点使计算机集群中的各个节点平摊任务，在为大量用户处理问题时，这种特点就显现出了优势，比如说对网络流量的处理，当网络服务程序面临高入网流量，导致服务器无法迅速处理时，网络流量就会向系统中其他节点发送运行的网络服务程序。和科学的计算集群相比，负载均衡集群缺少跨节点运行的程序，普遍情况是每个节点单独行使独立的程序和任务，所以节点与节点之间的通信和交流要通过中央负载均衡服务器。
计算机集群的特点还体现在高可用性方面，当集群中一个系统发生故障时，相关软件迅速做出反应，将由其他节点代替它，次节点往往是主节点的镜像。由于集群使得服务器的运行速度尽可能加快，所以集群可以再多台机器上运行冗余的节点，来相互跟踪。
3.经济数据处理的意义
经济数据处理是把经济数据转换成便于观察分析、传送或进一步处理的形式，从大量的原始数据中抽取、推导出对人们又价值的信息以作为行动和决策的依据，科学地保存和管理已经处理过的大量数据，以便于人们能方便而充分地利用这些宝贵的信息资源。经济数据处理的意义不仅体现在经济发展上，对整个社会的综合性进步也有重大影响。
4.基于计算机集群技术的经济数据处理
如何用计算机集群技术处理经济数据，从以下方面着手：
（1）经济数据库资源的应用。经济类数据发展多年，已从宏观经济发展到微观经济，从区域经济到国际经济，甚至从行业到企业，大量的经济类数据都可以作为科学研究的基础，在实行具体的系统构建时，用户需要将想要计算的作业上传到集群的服务器上，运行并启动相应程序，系统中的控制节点要负责作业分配计算，控制节点往往是通过监视状态来监测各节点的运行状态。另外，在计算机集群上，各经济类数据之间的有机联系是通过查询、识别、比较等有效手段表现出来的。
（2）系统功能模块。用计算机集群技术处理经济数据要以核心数据库为基础，向用户提供远程数据检测服务，在这类服务之下，用户可通过相关条件，实现真正意义上的智能查询。在模型与仿真这个版块，收集整理现有的经济数据理论，比如管理、财务、金融等，以现有数据理论和实践为信息主要来源，在计算机集群基础之上实现有效应用和即时维护，也可在原有条件下进行技术改革和创新。在具体操作过程中可能会出现运行失败的情况，这要等到失败的服务器重新恢复运转之后，在进行网络交换信息，实现经济数据处理。
（3）数字化技术。现如今，“数字社会”“数字经济”这类词充斥了人们的日常生活，这说明作为工具学科的数字科学正在发挥巨大价值和潜能，在经济数据处理方面，更是要利用好这个平台，与此同时，计算机集群发展的基础是具有完善的标准体系，而经济数据处理的全过程都是建立在统一的标准之上，计算机集群技术发展的总趋势势必带动经济数据处理系统的不断前进，而经济数据处理系统的构建与升级也将反作用与计算机集群技术。实现这种全方位电子化数字化的战略目标，也就预示着成果中技术含量会很高，经济数据处理工作全部在网络环境下运行，也就实现了相关技术的跨越式发展，同时，成果的时效性也会数倍提高。在计算机集群的帮助下，经济数据处理从无序转向有序，改变了以前没有科学规章制度和精确运算的情况，既实现了资源共享，又依法保守了商业秘密或政府机密，有关资料管理业随之走向安全化、制度化。这种堪称为电子战略化目标的实现，必然会极大地促进政府管理模式和统计模式制度方法的有效变革。
5.集群技术与经济数据处理的发展与前瞻
总的来看，经济数据处理之下的集群技术的发展趋势将是高可用、不断拓展和高性能，其中一个必然方向是计算机集群中各个节点共享内存、硬盘、CPU等重要的子系统。撇开一般的优势，但从互联网中心服务器的变化来分析，便可以清楚地发现集群结构是中心服务器的发展趋势。
经济高速发展的今天，人们对其数据的处理要求和需要也日趋强烈，基于计算机集群技术之上的经济数据处理系统为我国统计分析工具的技术革新开创了崭新的局面和较为可观的发展前景，使得技术人员很快过渡到网络计算当中，及时有效地完成吞吐量较大的科学计算和商业数据，使得经济数据得到更好的管理和控制，从而全方位助推国民经济进步。
小结
以经济发展为基础的现代化趋势，强烈要求国家和企业充分重视到经济数据的处理系统，而经济数据庞大又很繁杂，并非单机就能解决，集群技术是一种尖端技术，目的是为了解决单机运算能力不足这个问题，为运算和数据统计提供了可靠性，降低整体方案的运算成本，获得规模可扩展能力，在多元化数据信息系统的处理方面，与传统的并行处理系统相比，集群系统有一定的优势，集群的风险投资小并且可以继承现有软件和硬件资源，这一点就大大增加了经济效益。利用计算机集群强大运算功能和数据库的大量储存信息的能力，辅之以统计专业软件和多媒体技术，这就使得经济数据处理形式不只停留在表面上，更有实际意义，在经济管理方面，可以做企业经营管理的辅助工具，让企业生产经营管理与国际先进水平接轨，为相关的科研机构提供有效理论和实践数据，为政府提供科学的决策支撑，有助于经济社会有效运转。
参考文献：
关键词 计算机技术；集群方案；双机技术
中图分类号TP3 文献标识码A 文章编号 1674-6708（2013）84-0183-02
1 集群的概念
计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。
按功效，可将集群分为：
1）高可用性集群 High-availability （HA） clusters；
2）负载均衡集群 Load balancing clusters；
3）高性能计算集群 High-performance （HPC） clusters；
4）网格计算 Grid computing。
高可用性集群提供了尽可能大的平均无故障时间时间、尽可能小的平均故障恢复时间。在集群内部署冗余设备，当系统中某台机器发生故障时，备用机器立刻启动接管任务。我们通常说的双机热备就是一种高可用性集群。
负载均衡集群提供了根据各个节点的闲置能力情况，将并发访问分散到各个节点上的功能，以使得集群整体的处理能力最大化，或当个任务的等待时间最小。
高性能集群、网格计算着眼点在于如何将一个大型任务分解到集群的各个节点中协同处理。主要应用领域包括天气预报、核试验仿真等。在我司目前及未来的主要项目中，一般不包含此类大型任务处理的需求，而主要处理多用户并发的小任务。这些并发小任务处理的性能问题特别适合使用负载均衡集群予以解决。
按照各种集群产品的技术路线，可将集群分为：
1）系统层集群
系统层集群是集群平台。在这个平台之上可以部署各个应用。由集群负责管理、监控应用，当节点发生故障时，集群将各种应用转移到后备节点上。Windows故障转移群集就是其典型代表。
2）应用层集群
特定应用所构成的集群。例如，数据库应用集群，web服务器集群。相应的集群只能实现特定应用的故障转移。
2 集群产品分析
2.1 Windows server故障转移群集（MSCS->WSFC）
2.1.1 概述
Windows Server 故障转移群集提供了各种基础结构功能来支持所承载的服务器应用程序（如 Microsoft SQL Server和 Microsoft Exchange）的高可用性和灾难恢复方案。如果一个群集节点或服务失败，则该节点上承载的服务可在一个称为“故障转移”的过程中自动或手动转移到另一个可用节点。
Windows故障转移群集是windowsserver的一个组件。通过该组件将多个计算机构成基于共享存储的集群。WSFC可以管理windows系统中的各种资源、应用程序和服务，为其提供系统层面的故障转移能力。
Windows故障转移群集是一个应用层集群、故障转移集群。
在windows server 2003中称为MSCS，在2008中称为WSFC。
2.1.2 系统结构图
2.1.3 功效
1）故障转移
故障转移功能是通过群集中连接的多个计算机中的冗余实现的，每台计算机都具有独立的故障状态。为了实现冗余，需要在群集中的多个服务器上安装应用程序。但在任一时刻，应用程序只在一个节点上处于联机状态。当该应用程序出现故障或该服务器停机时，此应用程序将在另一个节点上重新启动。
2）可以实现多节点互备功能。
在集群中部署多个应用（例如数据库、webserver等），正常情况下。各个应用分别在不同节点上运行。当任何一个节点故障时，该节点上运行的应用自动转移到其他节点上，从而实现双机互备。
3）可扩展性
可在线增加新节点
2.2 Oracle clusterware
概述：
Clusterware是oracle提供的集群软件。提供系统级的故障转移能力。类似于windows故障转移群集。在其之上可以安装各种应用（如数据库、webserver），可实现各种应用的故障转移。但实际情况是，clusterware往往只被用于oracle RAC方案中。
2.3 Oracle RAC
2.3.1 概述
Oracle RAC是oracle数据库提供的数据库集群功能组件。RAC支持一台或多台机器建立数据库集群，可将多个性能一般的设备组成集群，从而提高集群整体的并发处理能力。RAC中的多个节点不分主、备，同时在线，同时对外提供服务。
Oracle标准版包含此组件。Oracle企业版可选择此组件。
2.3.2 系统结构图
2.3.3 功效
1）故障转移 （failover）
实现了对客户端透明（TAF）的故障转移。所谓TAF，就是连接建立以后，应用系统运行过程中，如果某个实例发生故障，连接到这个实例上的用户会被自动迁移到其他的健康实例上。对于应用程序而言，这个迁移过程是透明的，不需要用户的介入，当然，这种透明要是有引导的，因为用户的未提交事务会回滚。相对与Client-SideConnect Time Failover的用户程序中断，抛出连接错误，用户必须重启应用程序，TAF这种方式在提高HA上有了很大的进步。
ORACLERAC故障转移的特点：
（1）访问时应用透明（注意不是对oracle客户端的透明），程序通过oracle端访问rac，访问程序无需了解数据库是双机还是单双机，只通过本地服务名即可访问；
（2）故障时应用透明，一些情况下，应用感受不到某个节点发生了失败，不会收到异常。一些情况下，应用收到异常，但不需要再次连接，即可继续执行访问。一些情况下，应用程序收到异常，并需要重新连接。
2）负载平衡（load balance）
服务器端的负载均衡可以根据RAC中各节点的负荷及连接数情况，而判定将新的客户端连接分配到负荷最小的节点上去。
3）可扩展性
在不中断服务的情况下，在线增加节点。满足业务扩展带来的性能要求。减少首次投资，降低风险。
3 结论
3.1 集群总结
1）群集分两个层面：系统层群集和应用层群集；
2）Oracel rac属于应用群集；
3）Windows故障转移群集是系统层群集；
4）群集能够实现一部分高可用性的要求；
5）Rac能实现负载平衡的需求；
6）Windows群集能实现多种应用程序环境下的互备方案；
7）高可用性的需求和场景很多，还需要群集之外的方案来实现；
8）除了高可用性的需求外，用户可能还要有其他需求，例如数据冗余、灾备，需要用集群以外的方案来实现。
3.2 集群选型的一般步骤
1）确定用户需求
技术方案与需求矩阵
需求
方案 高可用性 性能 数据冗余 灾备
节点 网络 存储 负载均衡 IO
集群 RAC √ √
Windows WSFC √
DATA GUARD √ √
ASM √
RAID √ √
网卡驱动中间件 √
2）确定用户价格偏好
3）确定用户使用习惯
>> 基于linux系统集群的架构与实现 基于Linux的计算机集群系统的设计与实现 基于Linux系统的软件技术应用研究 通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现 基于ARM的Linux系统移植研究与实现 基于Linux嵌入式系统的研究与分析 基于linux集群系统负载平衡下的作业管理策略 基于ARM与Linux的嵌入式系统教学项目的研究与探索 基于Linux操作系统教学设计的应用分析 基于Linux的实时操作系统的研究 基于Linux系统的机房温度监控报警平台的研究与实现 基于PDA的linux文件系统裁剪问题研究 基于Linux系统的远程控制技术研究 基于Linux智能DNS系统的研究和实现 基于Linux的文件系统监控技术研究 基于Linux内核的文件系统监控研究 基于Linux系统调用的反跟踪技术研究 基于Linux操作系统的网络编程方法研究 Linux环境下集群系统的资源管理 基于Linux的嵌入式监控系统软件平台研究与设计 常见问题解答 当前所在位置：l
# service httpd restart
（3）测试RS
访问192.168.122.10，网页中就会出现web1。
4.2 调度器配置Haproxy（主/备）
（1）安装Haproxy
# yum -y install haproxy
# cp -rf /etc/haproxy/haproxy.cfg{，bak}
（2）配置Haproxy
（3）启动haproxy
# service haproxy start
# chkconfig haproxy on
4.3 测试主备调度器
访问192.168.122.2，不断刷新，页面中会随机出现web1、web2和web3。输入用户名和密码之后，显示的界面；网页中勾选http2――Soft Stop――Apply，访问192.168.122.2，不断的刷新，页面中会出现web1和web3，但是不会出现web2，将http2Soft Start之后，又恢复正常。使用命令行的方式将web3的httpd的服务停掉，访问192.168.122.2，不断刷新页面，页面中会出现web1和web2，但是不会出现web3，而且192.168.122.2：1314/haproxystats页面中http3变成红色。在命令行中重新启动web3的httpd服务，页面中红色的http3又变回绿色，重新访问192.168.122.2的网站，又恢复正常。
5 结束语
集群并不是一个全新的概念，早在七十年代的时候，计算机厂商和一些研究机构就开始对集群系统进行研究和开发，对集群的研究源于集群系统性能的良好的可扩展性。文章以Haproxy LB集群为例进行集群应用的实施，使用Haproxy+Keepalived两种软件，实现了Linux系统下创建低成本、高性能、高可用的集群系统的效果，旨在为集群的发展与成熟提供参考和建议。
参考文献
[1]王国明.集群计算系统的分析与研究[J].电脑知识与技术，2006（32）.
[2]孟相武，等.基于Linux的高可用集群系统的设计及实现[J].电子科技大学学报，2005.
关键词： 大型计算机网络； 非正常数据； 数据挖掘技术； 合理挖掘
中图分类号： TN711?34； TP393.08 文献标识码： A 文章编号： 1004?373X（2017）12?0059?04
Abstract： Various softwares and equipments in large?scale computer networks have security holes， which lead to the previously?proposed abnormal data mining methods in large?scale computer networks can′t make reasonable mining. Therefore， a new abnormal data mining method in large?scale computer network is put forward. The method can mine the abnormal data in large?scale computer network by data washing， data format conversion and pattern mining operation. The data mining system designed with the proposed method is composed of data mining processor， analysis module and database. The database provides the processing and mining schemes for data mining processor and analysis module. The data mining processor is used to monitor the abnormal situation in large?scale computer network in real time， and carry out data processing. The analysis module is used to analyze the processed data by means of "secondary activation" mode， and dig up the abnormal data. The experimental results show that the proposed method has good convergence， and the system designed with the method has strong scalability.
Keywords： large?scale computer network； abnormal data； data mining technology； reasonable mining
0 引 言
随着电子信息技术的普及和不断发展，大型计算机网络随之产生，越来越多的网民能够更为便捷地享受各种信息资源，现如今，网络已成为人们生活中不可缺少的一部分。大型计算机网络在为人们提供便利的同时，也造成了一定的困扰，网络入侵事件时有发生[1]。若想有效维护大型计算机网络安全，需要将其中的非正常数据准确、高效地挖掘出来，相关组织已开始着手进行大型计算机网络中非正常数据挖掘技术的研究工作[2]。
1 非正常数据挖掘技术
数据挖掘技术是指依据特定任务，将重要的隐含知识从具有一定干扰存在下的随机数据集群中提炼出来[3]。数据挖掘技术是一项交汇科目，经其挖掘出来的数据具有一定的辅助决策作用。将这种技术用于进行大型计算机网络非正常数据的挖掘工作中，能够自动控制大量初始数据，为用户提供更多的便利[4]。
所提大型计算机网络中非正常数据挖掘方法的挖掘流程如图1所示。
由图1可知，所提方法先对大型计算机网络中的初始数据集群进行统一处理，处理过程包括数据洗涤和格式变换。数据洗涤的目的是将初始数据集群中的噪音、重叠参数和缺失重要特征的数据除去，再经由格式变换，使洗涤后的数据集群特征更加明显，提高对非正常数据的挖掘准确性。
当数据处理完毕，所提方法随即开始进行模式挖掘。所谓模式挖掘，是指通过对比分析方式获取大型计算机网络中数据之间共有特征的过程，所获取到的共有特征即为数据挖掘技术中的“知识”[5]。
将模式挖掘定义成向的映射，和均是大型计算机网络中初始数据集群的一部分，并且，。在中随机定义一个数据集群，此时可以将和在中出现的几率设为向映射的知识，用表示，则有：
设置和的取值范围可使所提大型计算机网络中非正常稻萃诰蚍椒具有收敛性。若无特殊规定，可将二者的取值范围均设置在0～100%之间。如果用户需要对某一特定的非正常数据进行精准挖掘，也可随时变更取值范围。
取值范围设定成功后，本文将式（1）和式（2）中的重叠部分输出，用来表示大型计算机网络中非正常数据的挖掘结果。
2 非正常数据挖掘系统设计
2.1 系统总体设计
现使用所提大型计算机网络中非正常数据挖掘方法设计数据挖掘系统，以实现对大型计算机网络安全的有效维护。
所设计的系统由数据挖掘器、分析模块和数据库组成，如图2所示。数据挖掘器被安放在大型计算机网络的特定节点上，用来实时监控网络工作的非正常情况，并进行数据处理。分析模块负责对数据挖掘器处理过的数据进行分析，进而挖掘出大型计算机网络中的非正常数据。数据库为数据挖掘器和分析模块提供数据的处理和挖掘方案。
2.2 系统具体设计
在所设计的大型计算机网络非正常数据挖掘系统中，数据挖掘器可看作是大型计算机网络初始数据集群的接收端，用于获取数据挖掘技术中的“知识”，其工作流程如图3所示。
由图3可知，在数据挖掘器开始工作前，数据库会事先根据大型计算机网络初始数据集群的特征制定数据挖掘器的具体挖掘方案，并对其实施驱动。数据挖掘器根据挖掘方案对数据进行洗涤和格式转换等处理。处理结果将被存储。
值得一提的是，数据挖掘器具有自检功能，如果处理结果不符合用户所设定的置信度，那么该结果将会被保留到数据挖掘器的缓存器中。一旦缓存器中有新鲜数据进入，数据库便会重新驱动数据挖掘器，直至处理结果成功通过自检。随后，所设计大型计算机网络中非正常数据挖掘系统的分析模块将对数据挖掘器的处理结果进行分析。为了增强系统的可扩展性，应充分利用系统计算节点的性能，并缩减节点失效率，为此，给分析模块设计出一种“二次激活”方式[6]，以延长系统计算节点的使用寿命，如图4所示。二次激活是指当系统计算节点出现疲劳状态时，分析模块将自动放出替补节点，使疲劳节点拥有足够的时间去休整。休整后的计算节点将替换下替补节点，继续进行数据挖掘工作。
在分析模块中，每个计算节点均有多个替补节点，如果节点即将失效并且未能寻找到下一个合适的计算节点，将采取替补节点与性能相似节点同时工作的分析方式，以保证所设计大型计算机网络中非正常数据挖掘系统的可扩展性，并使挖掘结果更加准确。
3 实验验证
3.1 方法收敛性验证
在大型计算机网络中，只有具有较好收敛性的非正常数据挖掘方法才能有效保证挖掘结果的准确性。为了验证本文所提方法收敛性的优劣，需要进行一次实验。本次实验在某大型计算机网络实验室中进行。用于进行数据挖掘的主机配置为：3 GB内存、四核i7处理器、500 GB硬盘。实验中，于主机写入本文方法，并向大型计算机网络中加入两种类型的大数据集群，两集群中的数据节点[7?8]分别为4万个和80万个。当数据节点中的数据不出现波动时，表示本文方法已进入收敛状态，此时主机便不会再向下一节点传递数据。实验结果如图5所示。
从图5可明确看出，本文方法具有收敛性，并且大数据集群中的数据节点越多，方法的收敛时间就越短。在两种大数据集群中，本文方法的收敛时间分别为1.2 s和4.3 s。据统计，其他方法的收敛时间大多在10.8 s左右，这显示出本文方法具有较好的收敛性。
3.2 系统可扩展性验证
为了验证经本文方法设计出的数据挖掘系统是否能够合理应对大型计算机网络中非正常数据的更新，需要对本文系统的可扩展性进行验证。实验选出的对比系统有基于Hadoop的数据挖掘系统和基于并行图算法的数据挖掘系统。
在第3.1节实验的基础上，只保留大数据集群2，并分别以横向和纵向方式向集群的数据节点中随机写入30 000个非正常数据。使用三种系统对大型计算机网络中的非正常数据进行挖掘，所得实验结果如图6～图8所示。
由图6～图8可知，三个系统在纵向写入下的可扩展性均低于横向写入。与其他两个系统相比，本文系统参与进行非正常数据挖掘的节点数量更多，并且节点失效率最少，证明使用本文方法设计出的数据挖掘系统具有较强的可扩展性。
4 结 论
本文提出一种新型的大型计算机网络中非正常数据挖掘方法，并使用该方法设计数据挖掘系统。数据挖掘技术是指依据特定任务，将重要的隐含知识从具有一定干扰存在下的随机数据集群中挖掘出来。将数据挖掘技术用于进行大型计算机网络非正常数据挖掘工作中，能够对大量数据进行自动控制，为用户提供更多便利。实验结果表明，本文方法具有较好的收敛性，使用本文方法设计出的数据挖掘系统也具有较强的可扩展性，可将大型计算机网络中的非正常数据准确、高效地挖掘出来。
参考文献
[1] 吴嘉瑞，唐仕欢，郭位先，等.基于稻萃诰虻拿老中医经验传承研究述评[J].中国中药杂志，2014，39（4）：614?617.
[2] 李善青，赵辉，宋立荣.基于大数据挖掘的科技项目模型研究[J].图书馆论坛，2014，34（2）：78?83.
[3] 丁骋骋，邱瑾.性别与信用：非法集资主角的微观个体特征―基于网络数据挖掘的分析[J].财贸经济，2016，37（3）：78?94.
[4] 杨丹丹.搜索引擎及网络数据挖掘相关技术研究[J].数字化用户，2014，20（11）：126.
[5] 王元卓，贾岩涛，刘大伟，等.基于开放网络知识的信息检索与数据挖掘[J].计算机研究与发展，2015，52（2）：456?474.
[6] 唐晓东.基于关联规则映射的生物信息网络多维数据挖掘算法[J].计算机应用研究，2015，32（6）：1614?1616.
关键词：超级计算；CAE集成平台；架构设计；第1个原型
中图分类号：TP311.52 文献标识码：A
Architectural Design of CAE Integration
Platform Based on Super Computation
DENG Ziyun1，2 ， ZHANG Jing1，BAI Shuren2，LIU Zhaohua2，CHEN Lei2，ZHANG Wei2
（1.College of Electrical and Information Engineering， Hunan Univ， Changsha， Hunan 410082， China；
2.National Supercomputing Center in Changsha， Changsha， Hunan 410082， China）
Abstract：CAE Integration Platform based on Super Computation can solve some problems in industrial products design， such as CAE software integration， calculation speed and parallel computer using. This paper proposed the overall structure and the overall architecture of the platform for development. The platform consists of 5 layers and 7 subsystems. The front end system adopts SSH architecture， ESB bus and middleware uses Spring， Hibernate and Tuscany combination. Cluster system is mainly on the “Tianhe No.1” super computer scheduling system improvements. According to the overall architecture design， the prototype platform was developed.
Key words： super computation； CAE integration platform； architectural design； first prototype
1 问题提出
企业在应用CAE（Computer Aided Engineering，计算机辅助工程）软件进行工业领域产品设计的过程中普遍发现存在以下问题：
1）CAE软件集成问题
CAE软件的品种有许多种，如CATIA，ABAQUS，ANSYS，LSDYNA，Fluent，SINOVATION等，行业应用、软件功能各有侧重，相互孤立，需要将这些软件通过接口统一集成起来，从而可以共同工作[1-2]，如能以云计算形式供企业共享使用则更为节约资源和成本.
2）计算速度问题
一个模型从初始建模、计算到优化处理，最终成型，要进行各种环境条件、材质、载荷下的仿真与计算，往往需要反复调整参数、计算、评估许多次，而CAE仿真需要进行大量的计算，现有计算机单机性能仍然存在瓶颈[3]，需要使用超级计算机来支持大规模的并行计算来缩短工业设计仿真的计算时间.
3）并行计算机使用问题
使用超级计算机的技术门槛较高，需要操作人员掌握的专业技术知识较多，比如Unix或Linux操作系统、应用行业专业知识、并行计算，甚至系统分析设计及程序开发[3].超级计算机的计算资源如能以Web的方式提供给公众用户使用则更为便利.
解决这些问题的根本办法就是研发出一个“基于超级计算的CAE集成平台”（以下简称“超算CAE平台”）.要研发出“超算CAE平台”首先要考虑的问题就是根据业务需求来理清平台的构成，搭建起先进而又稳定的平台总体架构，再进行下一步的设计和编码.
2 研究现状与趋势
“超算CAE平台”是工业设计领域的新兴发展趋势，国内国际的研究水平差距较小，但我国在超级计算机系统和CAE软件的无缝集成技术方面，尚缺乏研究基础和工程应用经验[4-5].
大型工程和复杂产品，例如盾构机、火星着陆器、飞机、轮船等，结构及其仿真都很复杂，依靠PC机、普通工作站无法完成其结构、功能与可靠性一体化的优化设计，这就必须依靠超级计算机技术来解决问题[6-8].
以第三方软件为平台集成CAD（Computer Aided Design，计算机辅助设计）/CAE软件是构建集成设计系统平台的一种趋势.适应于超级并行计算机和机群的高性能CAE求解技术，多种专业领域的CAE计算分析软件的集成化及其联合仿真，建立多物理场、多场耦合、不确定性的大型工程和复杂产品的计算模型，实现对大型工程和复杂产品的全面仿真分析和优化设计，是解决其多目标优化设计问题的必然途径[4-5].
3 主要业务过程描述
“超算CAE平台”的主要用户是工业设计中的设计人员，其目的是利用该平台实现工业设计中各类产品的设计、分析、计算、仿真和试验，并且让用户可以通过互联网环境使用该平台.“超算CAE平台”中的主要业务流程有三种：
1）针对各种CAE商业软件的求解器应用.
这种应用的主要过程要经历用户作业生成、作业提交、作业监控、结果运用4个阶段[9].
2）针对各种CAE商业软件的前后处理的应用.
该流程有前处理和后处理.前处理流程包括CAD模型的导入、相关参数的设置、前处理结果的导出、网格的划分、载荷的施加等.在拥有超级计算机的情形下，可将网格划分较细以得到更加优质和精确的计算结果[10].后处理流程包括计算结果的导入和计算结果的展示，即将求解的结果导入到CAE软件中，查看并进一步分析计算结果，计算结果可以图形化的方式来展现.
3）多种CAE软件的综合应用.
这种应用主要是复杂业务流程的组合，例如机电液一体化联合仿真、流固耦合、CAE参数的迭代优化等复杂过程.
4 平台总体构成
“超算CAE平台”由5层7个子系统构成，如图1所示.
表现层为“超算CAE平台”门户网站；应用层为作业提交与监控系统、计算资源管控系统；表现层和应用层合为平台的前端系统部分.
ESB（Enterprise Service Bus，企业服务总线）层为服务构件装配与复杂业务流程组合系统；中间件层为“超算CAE平台”中间件系统；ESB层和中间件层合为平台的ESB总线与中间件系统部分.
HPC（Hign Performance Computing，高性能计算）层则分别在Linux集群（“天河1号”超级计算机）和Windows集群中驻留研发的软件，比如完成作业调度的功能、资源监控的功能，以供中间件层进一步整合资源，形成共同和相对独立且机制灵活的任务调度；HPC的两个集群驻留软件系统合为平台的集群端系统部分.
安全管控系统贯穿于其它系统之中，但各个系统中有关安全的部分又能组合形成一个综合的解决方案.
5 平台总体架构设计
5.1 平台总体架构
“超算CAE平台”的总体架构设计如图2所示.下面针对该平台的总体架构各层分别描述如下.
1）门户层
可针对不同的用户类型和用户对界面进行个性化配置；可对集成的应用系统，包括作业提交与监控系统、计算资源管控系统进行界面集成、信息集成，形成统一的Portalets；可对不同的用户类型做出不同的权限配置；子系统集成可实现单点登录，用户登录时应当使用USB Key进行身份认证.
2）应用层
应用层的系统主要包括作业提交与监控系统和计算资源管控系统.用户在使用作业提交与监控系统时可生成作业、提交作业、监控作业、监控作业的执行过程、获取作业结果、进行作业的前处理和后处理，展现计算结果和查看作业的计费情况；计算资源管控系统可查看执行的作业的情况，进行能耗管理，生成资源热图和资源统计报表，进行必要的账务处理，如针对不同的用户设置账户预留资金、对账户进行充值等，可查看平台生成的各种日志，可查看Linux集群（“天河1号”超级计算机）和Windows集群的网络状况，可对用户的作业进行必要的干预，可对用户的类型、信息、账户数据进行适当的审批和调整.
3）ESB总线
ESB总线即服务构件装配与复杂业务流程处理系统，利用开源的Tuscany SOA（ServiceOriented Architecture，面向服务的架构）软件对各种服务构件在协议解藕的基础上进行统一的封装，形成与其它系统集成与通信的接口[11-12]；在通信上统一采用XML（Extensible Markup Language，可扩展标记语言）报文，支持使用XML Schema进行数据校验；可将XML报文利用路由配置接收来自其它系统的报文，再根据报文处理的需求和情况发送到目标系统；采用Spring开源软件对各种构件使用AOP（AspectOriented Programming，面向切面的
程序设计）编程技术进行前置、后置等增强处理，形成不同业务的处理流程，支持复杂业务流程的处理.
4）中间件
中间件主要功能是屏蔽Windows集群和Linux集群（“天河1号”超级计算机）之间的差异，根据目标集群来生成不同的指令或脚本，提交目标集群执行，并获取到中间结果和最终结果；可获取集群的结点状态，CPU/GPU、License等资源的分配情况和使用情况；作业执行的情况，以及对作业可进行干预；支持在一个作业中执行多个任务或作业步，从而可在一个作业中进行协同作业.
5）HPC层
在Windows集群和Linux集群（“天河1号”超级计算机）中会装有各种CAE大型商业行业应用软件，可执行结构力学、流体力学、电磁学等学科的有限元分析与计算，通过集群内的调度软件来进行大规模分布式计算作业；改进集群端的调度软件，以支持优先级调度、CAE行业应用软件License管理等功能.
5.2 前端系统架构
前端系统主要包括门户、作业提交与监控系统、计算资源管控系统，各层次划分及功能描述如图3所示.
1）展示层
展示层负责处理与操作者的交互，收集操作数据提供给应用服务者，并根据应用服务者的反馈将返回的数据通过一定的形式在界面上展示.展示层包括客户端界面逻辑和应用服务端数据表示逻辑.
2）业务层
业务接口层对上层传递来的数据进行解析并分别送入不同的逻辑处理，向用户返回底层逻辑处理结果.
[3] 朱小谦， 孟祥飞， 菅晓东， 等.“天河一号”大规模并行应用程序测试[J].计算机科学，2012，39（3）：265-267.
ZHU Xiaoqian， MENG Xiangfei， JIAN Xiaodong，et al. Performance test of massively parallel program on TH1 A [J]. Computer Science，2012，39（3）：265-267. （In Chinese）
[4] 田荣.中国CAE软件发展的新契机[J].计算机辅助工程，2011，20（1）：141-143，147.
TIAN Rong. New opportunity for CAE software development in China [J]. Computer Aided Engineering，2011，20（1）：141-143，147. （In Chinese）
[5] SUN Ninghui，KAHANE D，CHEN D. Highperformance computing in China： research and applications[J]. Int J High Performance Computing Applications，2010，24（4）： 363-409.
[6] 丁峻宏， 李根国， 金先龙， 等.基于高性能计算的CAE技术在大型盾构施工仿真中的应用[J].计算机辅助工程，2011，20（1）：163-167.
DING Junhong， LI Genguo， JIN Xianlong，et al. Application of CAE technology based on high performance computing in largescale shield construction process [J]. Computer Aided Engineering，2011，20（1）：163-167. （In Chinese）
[7] KASPER T， MESCHKE G. On the influence of face pressure， grouting pressure and TBM design in soft ground tunneling[J].Tunneling & Underground Space Technol，2006，21（2）：160-171.
[8] SCHMITT J， FRITSCH M，GATTERMANN J，et al. Numerical investigations to the influence of rearrangement of ground pressure for shield tunneling[C]//Proc ICOSSAR 2005.Rotterdam： Mill Press，2005：1317-1323.
[9]王波 章巧芳 彭伟.基于广域网的CAE资源共享平台的开发及应用[J].机械设计与制造，2010（4）：64-66.
WANG Bo， ZHANG Qiaofang， PENG Wei. The development and application of CAE resource sharing platform based on the WAN [J]. Machinery Design & Manufacture，2010（4）：64-66.（In Chinese）
[10]刘德仿，李丽英，周临震，等.基于ANSYS的建模及分析方法研究[J].制造业自动化，2011，33（10）：140-142，149.
LIU Defang， LI Liying， ZHOU Linzhen，et al. Research of modeling and analysis method based on ANSYS[J]. Manufacturing Automation，2011，33（10）：140-142，149. （In Chinese）
[11]邓子云， 杨晓峰， 黄婧.基于ESB的SOABPM系统集成平台关键技术研究与实现[J].科学技术与工程，2010，10（3）：798-802.
DENG Ziyun， YANG Xiaofeng， HUANG Jing. The key technology research and implementation of SOABPM system integration platform bBased on ESB[J]. Science Technology and Engineering， 2010，10（3）：798-802. （In Chinese）
[关键词] 叠前逆时偏移；CPU/GPU集群；设计；部署；地震成像
doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2013 . 21. 028
[中图分类号] F270.7；TP315 [文献标识码] A [文章编号] 1673 - 0194（2013）21- 0047- 02
1 引 言
目前，国内外所有行业的信息化、数字化建设突飞猛进，各种应用软件及科研手段日益依赖于各种有效的信息渠道（数据中心、信息通道），通过这种高度的信息化、数字化方式，生产效率得到前所未有的提高，企业效益（收益）丰厚，企业资源得到很好的积累与保护，企业资源得到合理使用与规划，企业竞争力增强。作为高性能运算应用的主要领域，石油地震数据处理系统要求计算机系统运算性能与运行稳定性极高的计算环境。作为核心技术的代表和战略决策的参谋部，大庆油田勘探开发研究院承担着大庆探区24万平方千米的油气勘探重任，为了不断适应今后企业的市场需求和强化自身的竞争力，拥有运行稳定、技术先进、性能优异的CPU/GPU集群处理系统来满足勘探技术要求是非常必要的，特别是提升大庆油田叠前深度偏移和叠前逆时偏移的处理能力。
2 CPU/GPU集群系统的总体架构设计
本次引进的CPU/GPU集群系统由偏移处理集群、常规处理集群、GPU集群、管理节点、刀片机箱、集群软件及机柜组成；该集群系统的核心是268台 HP BL460c G7刀片服务器作为偏移处理CPU节点、56台 HP Proliant DL160G6作为常规处理CPU节点，42台SL390作为逆时偏移CPU节点/逆时偏移GPU节点，15台DL380G7服务器作为管理控制节点，配备先进的Extreme BDX8万兆网络交换机、两台4万兆IB交换机用来提升高性能计算系统的计算能力，进而提升大庆油田地震资料处理系统中叠前深度偏移的处理能力，使之能够满足现在及未来几年内研究院生产任务的高性能计算需求。具体的拓扑示意图如图1所示。
3 CPU/GPU集群系统的软件架构
在CPU集群上安装GeoEast常规处理软件（256个CPU许可），在GPU集群（总共84个GPU）上安装GeoEast-Lightning逆时偏移成像软件。配置用于叠前逆时偏移计算的速度建模软件及配套的地震处理软件。
根据GeoEast地震处理软件、GeoEast-Lighting逆时偏移软件对操作系统安装环境的要求，确定了RedHat Linux操作系统版本、内核版本及系统环境配置需求，保证新集群系统的快速安装部署。
剩余的节点，安装升级的Paradigm处理软件，包括：GeoDepth2D/3D建模与深度域成像系统、三维各向异性克希霍夫叠前深度偏移（费马/程函旅行时间/波前重建）、3D TTI 三维各向异性克希霍夫叠前深度偏移等模块。系统软件结构如图2所示。
4 CPU/GPU集群系统特点
4.1 计算节点处理器效率高
随着新的勘探技术的不断应用和开发，一些非常规处理的技术必须使用计算性能极高的计算机系统来实现。针对大庆勘探开发研究院高性能数据处理计算机系统在特殊处理应用（叠前深度偏移应用）上存在计算性能不足的问题，CPU/GPU集群系统计算节点的配置在核数和主频方面都要高于现有系统的配置（2C6核2.8GHz）。
4.2 计算节点大容量内存的需求
现有系统的叠前深度偏移处理能力不足，其主要原因是计算节点的内存太小，所以新计算节点的物理内存尽量大一些，CPU核数与内存的比例最佳实践比例为1 ∶ 4，这样能更好地发挥CPU的性能（12核48G内存）。
4.3 集群管理简单、维护方便
计算机集群系统是一个由多个节点组成、采用多种并行计算技术构成的复杂的计算机系统，这种集群计算机系统要想实现稳定、高效地处理地震作业，不仅要解决各个节点之间的通讯和延迟问题，而且还必须有高效、界面丰富、维护容易的管理和诊断软件。比如实现系统的并行安装和配置；上百个服务器的批量开关机；动态监视系统资源使用情况等。
4.4 灵活方便的扩展性需求
新系统除了具有较高的性能且便于管理外，应该还具有灵活、方便的扩展性，随着业务的发展，用户可以在原有设备基础上，增加少许投入，在不影响现在应用运行的基础上实现系统硬件平台的升级。特别是将来扩展服务器设备时，除了硬件本身的费用，还应突破软件的限制，降低总体采购的成本。
5 CMU集群部署管理工具
HP CMU （Cluster Management Utility） 的集群管理工具是面向Linux集群的产品，可以管理相应的I/O、计算节点和管理节点，进行日常监控与备份、Clone工作，也可以通过广播方式发送并行命令，惠普集群的操作系统都是通过惠普提供的CMU来进行安装和维护的，通过Backup功能，备份操作系统的镜像，通过Clone功能，将相应LogicGroup中的镜像克隆到节点。不同的镜像文件属于不同的LogicGroup。当节点发生硬盘故障，需要恢复操作系统时，只需要确定该节点属于哪个LogicGroup，选中后，用该LogicGroup中的镜像进行Clone就可以了。
6 结束语
这次引进的CPU/GPU叠前逆时偏移处理系统，根据总体方案设计，完成了新集群系统的硬件设备安装、操作系统环境和地震处理软件部署，实现新引进集群与已有的处理系统的高效集成应用。并针对新引进的CPU/GPU处理集群系统的硬件、网络、存储及地震处理软件进行总体架构设计和优化配置，建立了满足叠前逆时偏移处理的计算平台，该集群的投产，将大大提高地震处理成像精度，对实现大庆油田“原油4 000万吨持续稳产应稳定到2020年、油气当量重上5 000万吨”的目标提供强有力的技术支持。
主要参考文献
近日，在追踪并探查高性能计算（HPC）趋势的项目《全球超级计算机500强》中，我们突然发现，顶级100强的1/3超级计算机正在使用SUSE Linux Enterprise Server操作系统。
在过去的几年中，高性能计算领域（近期往往被称为是高生产力计算领域）发生了重大的变革。导致这一现象的原因至少有一部分是因为开源以及各种新兴的群集技术的出现。成本更低的硬件与Linux两者的演变大幅度降低了这些系统的成本。计算机性能在短短几年就提升了几千倍，从而使商用硬件以高性能计算Linux集群的形式，也具有超级计算机的强大性能。
事实上，几乎每一个行业都正在采用Linux集群来实现性能的提升，从而成功达成企业目标。在石油勘探领域的地震分析、汽车与飞机设计领域的空气动力学仿真、好莱坞的特技效果、生物医学研究领域的分子建模、具备超级扩展性的商业计算，以及在商业分析领域的数据挖掘与金融模型等等都使用了高性能计算。随着2011年以来的不断变革，500强名单现已涵盖了270台行业超级计算机，覆盖学术、研究及政府领域以外的所有行业，其中在能源/石油天然气以及信息技术服务供应商行业中的超级计算机数量达到最多。最快速的行业超级计算机，并且在500强名单中位列第十一位的是法国道达尔的Pangea计算机，这是一个在SUSE Linux Enterprise Server上运行的SGI ICE X系统。
而基于高性能计算的Lustre，则是一个具备极强可扩展性、并行分布式的文件系统。这一系统能够支持多个计算机处理集群，实现成千上万个客户节点、在数百个服务器上千万兆字节的存储容量，以及每秒超过兆字节的聚合式输入/输出吞吐量。
SUSE的高级产品经理Kai Dupke表示：“对于拥有大型数据中心以及高性能需求的企业，包括那些在气象学、仿真、石油天然气、生命科学、多元媒体以及金融等行业的企业而言，Lustre都是一个十分受欢迎的选择。”
此外，技术人员还在研发多项存储技术，如Ceph，它是一个为实现完善的性能、可靠性与可扩展性而设计的统一型、分布式的存储系统。各种内置的分布式存储平台，例如Ceph，预示着计算与存储计算机处理器仓的结束。计算机处理器可以被用在某个特定需要的时刻，从而使企业能够最大限度地实现计算机处理器的利用，并且带来最大的投资回报率。这些新的高性能计算技术和准备上市的行业解决方案都将进一步推进高性能计算向企业应用大步进军。
关键词 集群系统；通信；开发研究
中图分类号TN91 文献标识码A 文章编号 1674-6708（2011）45-0214-02
1 通信自动化系统总体方案
现今的自动化通信系统可以分为以下几个部分：
1）OAS办公自动化系统。
全国第一届办公自动化规划讨论会当中，把OAS定义为是以先进科学技术作为主导、在办公业务活动中将以人为主的体力劳动逐渐转化为使用各种设备充当劳动力的办公活动，将办公室人员与各种设备结合起来共同为某种目的服务，形成一个人机互助的信息处理系统。
OAS与管理信息系统两者之间既能相互联系又能彼此区分。MIS处理数据的特点是将信息结构化，而OAS的应用范围就显得狭隘一些，主要处理MIS无法完成的任务、重点放在数量众多并且没有明确结构的业务上。近年来，信息技术快速发展，其中发展最为显著的是系统集成技术，OAS与MIS及DSS的集成，合力推出了更为广义的OAS，就是办公自动化系统的升级即综合办公自动化系统。
拥有超凡的智能化的OAS大厦，就是把上述办公自动化系统综合起来应用。对凡是使用它的管理者和用户都给予支持，处理各种层次的信息和多媒体的信息，在用户决策时给予正确恰当的意见。
2）BAS是指楼宇自动化系统或者也可以把它叫做建筑设备自动化系统，是把在建筑物或建筑群内的电力设备、照明情况、空调器材、排水情况、消防设施、运输情况、保安人员、车库的管理设备或系统中过于分散的事物，全部集中起来进行统一监视、控制和管理，为了达成这样的目的，形成了综合系统。这种全部自动化处理的系统，通过对建筑物中的各种设备自动进行监控与管理，使业主和住户的日常生活和工作更加安全、舒适、方便、它把整个系统的工作状态调节到最佳，更好的保障系统正常运行，使系统能进行现代化的管理。
2 高可用性集群系统的研究
2.1高可用集群的发展方向
随着企业经济的发展，信息系统在企业中广泛运用，用户使用的数量正在增多，高可用多节点集群系统的产生，受到了用户的青睐，随着企业需求的不断变化，高可用集群软件的开发有了新的方向：
1）应用系统发展多样化形态
对一般业务的开发已经不能满足于高可用集群应用系统的要求，目前高可用集群系统正在朝着多样化的方向发展，不能在一般业务上浪费过多精力，还要研制出一些特殊的应用模式。例如在生产制造业中，改变生产线上计算机系统的模式，充分提高系统的可用性；又如在银行等要求对关键业务进行保障的时候，将容错服务器设为平台，构建高可用集群系统，这样的案例可以称作是硬件和软件的有机结合，是将系统可用性充分提高的超强组合。
2）运行的形态保证多样化
随着技术的不断发展，CPU多核技术已经成为主力军，它的优点在于提高了处理能力，通过虚拟化技术的应用，增加服务器整合的需求。有数据表示，在发达国家中VM市场正在以惊人的速度增长。把服务器虚拟化后也存在一些问题，这就要使系统的可用性要比一般服务器高，使得虚拟平台拥有高可用性。
2.2高可用性集群拥有不间断应用
高可用性集群要实现不间断应用的目的就要为计算机系统增加透明的冗余处理能力。高可用性集群的功能是把一组带有网络源的计算机系统介绍给客户。计算机系统中一台计算机就成为一个节点。当计算机系统中的一个节点不能使用或者不能对客户的请求进行处理时，这个问题就会立刻被接到另外一个节点上进行工作的继续，客户不必知道具体是哪一个节点为自己处理的问题，一切都是以自动的形式进行完成。
除此之外，集群系统还具有硬件拓扑的形式，那么共享磁盘集群系统要达到各个节点数据都要共享，就需要有共享盘柜才能够实现，共享盘柜主要包括第一服务器、次服务器、存储列阵这3种是最主要设备，还有就是连接它们的心跳连接线。
集群中两种服务器要实现各个节点数据的同步进行，就要通过使用数据镜像技术在本地硬盘上，这样才能发挥集群的功能。 我们可以实际运用一下，将第一服务器和1节点进行配置，将次服务器和2节点进行配置，两个服务器都有自己的IP地址，这时集群软件对他们进行控制，从而形成了两个服务器共用同一个虚拟的IP地址，客户这时使用的IP就是这个虚拟的IP地址，这项技术确保了在集群服务进行时，不会对客户的IP造成影响。
2.3高可用性集群系统的实现方法
2.3.1高可用性集群系统的硬件以及操作系统选型原则
系统层集群方案的主要内容就是硬件和操作选型，一般从厂商的硬件使用高可性方案或者是从操作系统服务商处获得方案。在实施过程中注意以下问题：
1）考察各种方案的单机故障后的切换时间，是否满足需求；
2）考察故障切换后的应用能够继续正常运行；
3）考察是否存在单一故障点，是否存在整个系统同时失效的可能；
4）考察硬件故障监测的准确率、及时率。排除误报警、延报普；
5）考察网络监测故障的准确率、及时率。排除误报警、延报警；
6）考察是否具备不同主机间进程迁移的能力；
7）考察是否具备故障重启的能力以及考察广域集群的能力；
8）考察是否具有根据故障的程度选择恢复的程度的能力，如根据具体情况，决定全部还是部分切换到备份机；
9）考察集群机组的加入，退出，重新组成应用主备运行的能力。
2.3.2高可用性集群系统实施方案的应用软件的设计原则
不是所有的应用软件都可以在高可用性系统上直接应用。即使是在热备份工作模式，应用软件也必须满足一定的条件才能保证故障切换的顺利进行。因此设计适合高可用性系统的应用也是开发高可用性系统的重要部分。应用软件为了能够在高可用性系统上运行，首先必须满足下面几个条件：
1）系统重启或故障后应用可以自动启动。应用程序必须提供正常启动、关闭和故障启动的机制，能自动进行必要的错误恢复；
2）应用程序不能依赖任何所在单机系统的特有数据。包括SystemID洲[AC地址，本地文件系统等；
3）基于高可用性集群技术的通讯系统方案的设想设计基于并发思想的客户服务器程序。
参考文献
[1]周明天，汪文勇著.TCP/IP网络原理与技术[M].清华大学出版社，1993，12.
[2][美]W.RiehardStevens著.UNIX环境高级编程[M].尤晋元，等译.机械工业出版社，2000，2.
【关键词】计算机技术；网络；服务器
服务器与工作站的区别表现在PcU数、内存容量及带宽、I/0带宽与插糟的数量上。服务器内存容量可到16GB，可提供数10个32位/64位1/0插槽，有较大的内置磁盘或盘阵空间。
一、网络服务器群集的特点
集群服务器系统都具有很高的可扩展性，可扩展到规模很大的系统。在超级集群服务器中，通信卡是插在外部总线上，通信效率一般不高，但节点机本身是一个完整的中档或低档服务器，通用性强.超级服务器的节点机一般是特制的，体积较小，组装在大机箱中，节点机间连线较短。群集的节点机本身是一个现成的CP机、CP服务器、工作站或中档服务器，互联线长、组装不紧凑，通信效率较低，但同时它的成本也较低，且能够利用现有的计算机资源，故较容易普及。
集群服务器系统是指将一组或多组结点计算机通过高性能互连网络连接起来，并作为一个单一系统向用户提供高性能、高可用服务的系统。它从结构上可以归结出以下几个特征：
1.构成集群系统的所有结点是由多个具有各自功能的计算机系统。
2.连接各结点的互连网络提供结点间高性能、高可靠性和可扩展的通讯服务。
3.整个系统呈现给用户的是单一系统的映象(SnigelSystmeImage，简称551)。
4.整个系统具有高可扩展性(Sea-
lability)。
5.整个系统具有高可用性(Avai
-lability)。
信息化、网络、电子商务、内容服务、服务器聚集的，计算机与网络技术的飞速发展，使得应用领域不断增加。信息技术的应用不但包含有从信息查询、数据传送等技术，而且包含网络环境中的海量数据存储、数据挖掘和决策信息支持，以及数据存储的可靠性和可管理性等技术。而这些都需要集群服务器系统来提供更好的服务。
二、节能技术与度量指标
1.节能技术
为了有效解决节能问题，可以从以下六个方面重点考虑其解决方案：
1）全面检查系统组件。为了有效节能，我们必须先弄清楚电量到底花费在哪以及如何优化使用。在计算机系统中，通常有五个主要的电力消耗组件，即处理器、磁盘、内容、I/O设备和芯片组，要实现整个系统的节能就必须要求改善每一个系统组成部分的能源使用。
2）使用可管理电源的硬件。使用可管理电源的硬件可以帮助提高能效，例如硬件元件的电压可以通过动态电压调整（DVS）来调整，动态电压调整是一种电源管理技术，原理是处理器电压（速度）降低之后，能量消耗平方级的减少。在降压状态（undervolting）下能够有效节省能源。
3）建立系统能耗模型。为了创建节能系统，我们需要知道系统的结构，创建系统能耗模型，确保系统运行时知道电力的消耗情况，能够实时调整和控制整个系统的能耗。
4）获取和衡量系统性能。系统必须能够在不同负载情况执行任务时及时了解和衡量系统的性能信息，保证系统最小的能量消耗。
5）构建能耗优化器。节能系统应该包括能量优化组成部分，它负责系统运行时硬件的节能配置。
6）降低峰值功率。当前的桌面和服务器处理器在低速运行时的消耗低于峰值功率的1/3，峰值功率的70%可以被节省出来。Tsirogiannis等[1]实验证明几乎峰值功率的50%消耗在空闲状态。
2.度量指标
对于大型集群系统和数据中心来讲，维护费用占总拥有成本的比例越来越大。总拥有成本是一种经济上的技术评价标准，其目的是帮助消费者和企业管理者判断产品或系统的直接和间接成本。为此需要采用衡量节能技术效果的度量指标，有两种比较著名的绿色系统标准：1）能效比（performance per watt）；2）电源使用效率（power usage effectiveness，PUE）。这些标准的使用可以促使IT设备生产商制造出更节能的产品。1）能效比。能效比是评价计算机结构或计算机硬件能源利用效率的指标。它的计算方法是基准性能值除以平均电力消耗。性能和电力消耗的计量依赖应用领域，在计算机领域，性能的计量通常可采用每秒浮点运算数（Floating
Point Operations Per Second，FLOPS）和每秒百万指令数（Million
Instructions Per Second，MIPS）。每瓦特的每秒浮点运算数适用于浮点运算量较大的科学计算和模拟系统，作为超级计算机TOP500排行榜补充的Green500排行榜就是采用这个计算方法进行排名的。
三、网络服务器节能技术应用
1.系统层的能耗优化
在单核或多核的计算机系统中，可以通过调整电压来控制硬件的电能消耗。Merkel等[2]认为通过合理的调度技巧可以降低内存的能耗，在多核系统下由于受到内存竞争和芯片宽频率与电压设置技术的约束，频率调整的效果将影响到任务执行的效率。为了最小化运行在多处理器平台下的实时任务能源消耗，
2.应用层的能耗感知
应用层的能耗感知计算最近已经成为热点研究问题之一，其原因有两个：一是底层的能源优化在很大程度上依赖于准确估计应用的能耗概况，而大多数所需的信息和参考数据只能由应用程序估计提供；二是很多应用程序有不同的执行路径来完成相同的计算任务。
多级服务管理上，建立分布式电源管理服务，而不是在单个服务器和负载平衡服务器上，在满足点对点延时要求的情况下，通过它最小化整体的能源消耗。在Web服务器中，利用DVS和批量请求两种机制，提出三种节能策略：一是单独使用DVS，二是在低负载期间批量请求，三是在负载变化较大时采用DVS和批量请求相结合。这些策略都是在考虑系统响应和能耗节省的平衡情况下实现系统应用层节能。Xian等[3]提出能够便于实现能耗感知系统的程序设计框架，通过不同条件下系统运行时能耗特征的记录值估计能耗，允许应用程序根据自身的能耗采用不同执行计划，提供了获取特定情况下能耗估计值的编程接口以及应用指南，可以方便快捷地构建能耗感知应用程序。
参考文献
[1]TSIROGIANNIS D,HARIZOPOULOS S,and SHAH M.Analyzing the energy efficiency of a database server[C].SIGMOD.ACM,2010,231-242.
[关键词]高性能计算；数据处理能力；石油勘探；云计算技术
[DOI]10.13939/ki.zgsc.2015.20.055
1 高性能计算在石油勘探开发方面的发展趋势
1.1 国外的发展趋势
目前，高性能计算机的性能的速度每年都在快速增长，使其不断向前发展，其应用由主攻科学计算和工程计算领域，延伸到网络信息服务和商业自动化领域。
为了提高性能，降低系统功耗，减少占地空间和解决编程和管理较麻烦等问题，高性能计算机技术在发展的同时不断融入许多新的内容。例如，美国，日本和其他国家试图运用科学和计算机体系结构的发展结合在一起提供一种新的方法，以此开出一条高性能计算机发展的可持续发展道路。同时，基于网格技术和以商业节点为基础的高性能计算系统发展非常迅速，其系统的性价比高，研制速度快，美国和欧洲的许多国家纷纷在这类高性能计算机系统研发上投巨资。为了进一步提高高性能计算机的综合能力，美国正在研究采用包括超导、光互联和超大规模集成电路等多项先进的技术和工艺。此外，基于量子运算的超高性能计算机的研究，目前正处于理论阶段。
1.2 国内的发展趋势
（1）标准化和集成化的需求：将集群技术标准化，促进了高性能计算机生产的快速发展，同时集成化的集群技术，又拓宽了高性能计算机的应用范围。坚持标准化与集成化特性和不断创新技术，高性能计算机的应用前景会越来越繁荣。
（2）集群式高性能计算机的发展：集群体系结构的高性能计算机，指用标准化的互联网络将高性能部件连接起来而形成的。科学计算、事务处理和信息服务应用等工作都可以在这个系统平台上进行。其优势在于它性价比很高并且具有较高的可靠性和可扩展性，低成本和易维护等。随着计算机性能的迅速提升和价格的进一步下降，集群式高性能计算机的应用呈现出了蓬勃景象。
（3）网格计算技术的应用：伴随着高性能计算机和互联网技术的发展，网格计算技术应运而生，是针对复杂的科学计算的一种全新的计算模式。它主要是通过互联网把许多分散在不同地理位置的计算机连接起来，形成巨大的高性能计算机。该技术，在石油勘探开发领域发挥了很大作用，成效令人瞩目。网格计算技术的推广和应用，定会使石油工业的未来更加繁荣。
2 高性能计算在石油勘探开发领域中的应用
在石油工程中，数据的处理不容忽视，一点误差就会带来很大的损失，这就要求计算机系统有非常高的计算能力，尤其在石油勘探中。石油勘探开发是石油工程的重要组成部分，将在石油的勘探开发中采收集的大量数据进行分析，从而判断油储的分布情况。一般是先根据这些数据画出数据场的等值线，再交由专业人员分析油的分布，有多少油，可想而知这样的处理方式必会受到限制。另外等值线是二维的，不能形成三维立体的画面，结果浪费大量的信息的同时又没有得到我们所期望的结果。如果利用计算机技术和可视化技术，就可以从这些庞大的地震勘探数据中构造出三维实体，显示参数，直观地再现油藏的地质构造以及油藏参数在石油开发过程中的变化，给专业人员准确分析和解释原始数据提供了巨大帮助。这样的分析将更加准确，定位更加科学，降低石油勘探开发的成本。因此，为了取得勘探的最佳效益，使用高性能计算处理这些海量数据成为必然，这也成为高性能计算在石油勘探领域高需求的主因。
目前，在石油勘探中从采集数据、分析数据、油气藏描述到开发、钻井乃至管理整个油田生命周期和对生命周期的经济评价，全都靠计算机完成。高性能计算机技术的应用非常广泛，随着科技的发展，不仅应用在石油化工领域，在气象预报、核能模拟和生物工程等领域都得到应用，取得了显著的成绩。尤其在石油勘探开发领域，高性能计算机的应用占据了不可或缺的地位，在许多方面象征着高性能计算机技术的发展水平。
3 高性能计算面临的问题
面对石油勘探行业的特殊性和复杂性，高性能计算如何满足越来越高要求的数据处理能力成为首要任务。但是目前在计算性能、系统建设与运行成本等方面使得高性能HPC集群计算机系统已经面临着许多问题，主要表现在三大方面：
一是CPU处理器性能无法满足对计算能力的需求；
二是石油勘探高速增长的数据和存储扩容越来越不匹配；
三是能耗制约越来越严重，高性能计算机体积大、耗电多以及对计算机房空间、空调、电量需求大。
总的说来，就是传统的高性能计算方法已无法满足目前石油勘探行业对计算能力越来越高的要求和对数据处理的大需求，更无法满足石油勘探发展与应用的需要，这必然导致其会成为制约石油勘探发展的因素。面对这些严峻迫切的问题，如何尽快找到满足高性能计算需求的方法成为石油勘探行业关注的热点。
4 云计算破局石油勘探高性能计算需求
从目前的形式来看，实现灵活的可伸缩性成为解决石油勘探行业面临的三大困境的唯一解决之道。也就是要构建满足石油勘探高性能需求系统的几大重要点：一是使高性能计算机具有可拓展可伸缩性的计算能力；二是能够实现对相当大的存储容量的负载和存储容量的可伸缩性；三是能够对计算能力和资源进行更好的管理。因此，许多业内人士将打破石油勘探高性能计算需求局面的希望投向了云计算。
其实，对高性能计算而言，云计算这个概念并不陌生。例如存在一种早期的云计算模式，它把昂贵的计算资源集中部署和集群应用，这就是已经发展近30年的超级计算中心。但这种高计算服务不同于当前所谈论的云计算。目前的云计算是传统计算机技术和网络技术发展融合的产物，这些技术包括分布式计算、并行计算、网格计算、效用计算、网络存储、虚拟化、负载均衡等。其目的是运用网络把一些较低成本的计算实体整合起来，打造一个具有强大计算能力的系统。如果有效的管理和调度这些用网络连接的计算资源，建立一个计算资源池以服务用户，成为云计算的核心思想。
关键词 数学实验；云平台；分布式计算；MATLAB
中图分类号：G642.423 文献标识码：B
文章编号：1671-489X（2017）04-0012-03
Abstract This article elaborates design and implementation of the cloud platform of mathematical experiments， and the key technologies used in the process of platform development. The cloud platform is an integrated environment of mathematical experiments on the internet with openness， real-time and accessibility and capable of executing distributed computations. It is able to provide the online service of mathematical experiments and scientific computations for teachers and students， moreover solve complex computation problems. The cloud platform is a way to share the computational resources of high quality in mathematical laboratory within and between campuses， and explore the development road of mathematical laboratory in future.
Key words mathematical experiments； cloud platform； distributed computing； MATLAB
1 前言
目前国内众多高校的数学实验室是基于局域网的以微机为主体的机房，难以将其计算资源共享给广大师生或者科研人员使用，不具备开展大型实验项目和执行大型计算任务的能力，如大数据的分析处理。如何整合数学实验室的计算资源，使之能够提供高性能的计算服务，并将计算服务方便快捷地提供给广大师生使用，是数学实验室建设中亟待解决的问题[1]。
因此，一些学者提出基于网络的虚拟数学实验室，具有网络执行MATLAB程序的功能，能进行简单的数学实验，具有一定的实验教学管理功能；还有一些研究提出基于Web和MATLAB的虚拟实验系统，这些系统针对特定的数学实验项目编制，允许学生通过网络修改模型参数进行演示[2-3]。目前这种基于网络的数学实验室或者虚拟实验系统，不能进行分布式计算，难以开展大型的数学实验项目和完成复杂的科学计算任务，难以处理大规模的并发访问，离实际应用还有一段距离。
本文应用云计算的技术理念，提出构建基于J2EE（Java 2 Platform， Enterprise Edition）和MATLAB分布式计算技术的数学实验云平台，实现数学实验室的多核、多处理器、多台微机和大型数值计算软件等优质计算资源的校内和校际共享，满足广大师生日益增长的科学计算需求，特别是在分布式计算和大数据处理方面的计算需求。
2 数学实验云平台的设计
系统概述 云计算既指在互联网上以服务方式提供的应用系统程序，又指在数据中心用来提供这些服务的硬件和系统软件。云计算可理解为并行计算、分布式计算和网格计算的发展，或者说是这些计算机科学概念的商业实现[4]。
实验云是远程实验技术与云计算技术的融合，将改变传统的教育模式。数学实验云平台应用云计算的技术理念，将数学实验和科学计算理解为可以提供给用户的服务，数学实验室的软硬件资源为生产该服务的基础设施。因此，数学实验云平台定义为云计算技术下的集成数学实验环境，为学生、教师和其他用户提供即时的云端数学实验和科学计算服务，如并行计算、分布式计算和大数据处理等计算服务，让传统数学实验室的计算和服务能力有质的飞跃。
功能模块设计 数学实验云平台是一个集成的数学实验环境，在此环境中主要的操作对象有教师、学生、执行特定计算的科研人员和平台管理人员，该平台主要功能集中在数学实验、课程管理、科学计算、协作交流和资源共享等，具体的功能模块有：
1）数学实验，用户通过该模块接收数学实验任务、在线进行数学实验、查看实验结果及实验成绩、撰写并提交实验报告和储存及查看历次实验记录；
2）科学计算，用户通过该模块提交计算任务、编写计算程序、上传相关数据和获取计算结果，进行项目管理；
3）课程管理，该模块使用者主要为数学实验教师，主要功能有实验任务、收集并查看实验报告、评定实验成绩等；
4）协作圈子，该模块帮助用户完成需要团队合作的实验或者科研项目，在一个圈子里，圈子成员共享实验空间、代码空间，在线讨论交流等；
5）文件管理与共享，该模块提供讲义、辅助材料、课程录音、录像等课程资源的存储和共享；
6）人员管理，该模块用于管理教师、学生和其他人员的个人信息，包括所上课程、所侔嗉妒笛樾∽榛蛘呖蒲谢构、参与项目、项目角色等信息。
3 数学实验云平台的技术实现
系统架构 数学实验平云台基于J2EE和MATLAB集群技术开发，采用B/S（Browser/Server，浏览器/服务器）架构，如图1所示。Web服务器负责业务逻辑控制，MATLAB集群负责数学实验和科学计算，数据库负责存储用户信息、实验和计算代码、计算结果、分析报告等。用户从网页上发出计算请求，用户的请求给Web服务器处理之后，将发往MATLAB集群管理器，集群管理器给各计算机分配作业，完成计算任务后将收集计算结果并通过Web服务器返回给用户，其他需要存储的信息发往数据库。服务器端软件包括J2EE Server（Apache Tomcat 7.0.52）、MATLAB 2012a和SQL Sever2005。
MATLAB分布式计算集群的搭建 MATLAB分布式计算环境由其并行计算工具箱（Parallel Computing Toolbox）、分布式计算服务器软件（MATLAB Distributed Computing Server）和计算机集群构成（Math Works. 2012. MATLAB Reference guide. Natick， MA， USA）。在MATLAB集群架构中有3种角色：客户端（Client）、作业管理器（Job Manager）、Worker。客户端是发起计算任务的MATLAB线程，客户端发起的计算任务称为作业（job），作业是运行在MATLAB上的大型运算，客户端在并行计算工具箱的支持下定义作业并将其分割成若干个可以同时进行的小的运算，这些小的运算称为任务（task）；客户端将作业发送给作业管理器，作业管理器是服务端应用程序的一部分，用来协调管理作业及其任务的执行；作业管理器将任务分配给服务端独立的MATLAB线程进行计算，这些MATLAB线程称为Worker；Worker运行结束返回结果给作业管理器，再由分布式计算工具箱对其结果进行合并，得出最终结果发送给客户。
在一台计算机上，MATLAB并行工具箱只允许最多12个Worker同时运行，要使用更多的Worker，需要通过MATLAB的分布式计算服务器软件组建MATLAB集群。MATLAB集群的搭建分为四大步骤：MATLAB软件的安装、搭建集群局域网、分布式引擎的安装（MATLAB Distributed Computing Engine，
MDCE）、作业管理器和Worker的启动配置。MDCE是MATLAB的分布式计算服务器软件的一部分，用以维护Worker之间、Worker与作业管理器之间的通信，打开集群内各计算机的终端界面，进入MATLAB的安装路径“/toolbox/distcomp/bin”下，输入命令“mdce install”安装MDCE。安装完毕后，输入“mdce-version”，出现MDCE版本信息则说明安装成功，此时，输入“mdce start”，开启分布式计算服务。启动
MDCE服务后，输入“startjobmanager-name”命令创建作业管理器。
学生的数学实验程序较简单，计算量小，但是面临大量学生并发访问的问题；科学计算则针对大型计算或者大数据处理，用户数较少，但每次计算需要占用大量计算资源。为利用MATLAB集群高效完成这两项功能，在MATLAB集群中建立两类作业管理器：一类是数学实验作业管理器，名为EJobManager，拥有80个Worker；一类是科学计算作业管理器，名为SJobManager，拥有120个Worker，分别接受数学实验和科学计算任务。
MATLAB分布式计算集群的Web调用 Matlabcontrol是让Java程序与MATLAB交互的API，可以实现从Java程序向MATLAB发送命令，让MATLAB执行某个M文件等，其jar包可以在goole code中下载。Matlabcontrol调用MATLAB分为四大步骤：设置获取MATLAB时的相关参数，通过MatlabProxy的工厂方法获取，运行代码获取结果，关闭。在实际应用中获取和关闭MATLAB要消耗大量的系统资源，运行起来也非常慢。为此，笔者建立一个MATLAB池。池在服务器开启之时初始化，创建一定默认数量的MATLAB，并且设置一定的限制规则：设置池内最大数，达到这个数目后，新增用户需要等待其他用户释放。在这个机制下，用户可以直接在池中获得空闲的，而不是每次连接时新建一个；使用完了之后也不是直接关闭它，而是将放入池中。同时在Servlet中还设置了一个监听器来监听每个所使用的连接数，可以标记一个MATLAB进程同时被多少个用户所使用。本文系统以每个同时最多由20个客户使用作为限制。
用户向Web服务器发送求，Web服务器通过Matlab-control建立与服务端的MATLAB链接，用户通过此链接向MATLAB集群上的作业管理器注入作业，从而实现调用集群计算机完成计算任务。开启Tomcat服务器之后，自动加载InitServlet，InServlet中的Init（）方法自动初始化MATLAB池，并且默认开启1个MATLAB进程，把MATLAB的池对象放入Application中。
数学实验与科学计算模块的实现 每个用户所编写的MATLAB程序执行时间不一样，用户通过MATLAB提交作业并等待作业管理器返回计算结果，需要占用MATLAB较长时间，在大量用户并发访问时会导致MATLAB资源不足。其解决方案是将作业提交和获取计算结果异步执行，这样不仅可以克服因某个用户程序执行较慢而阻塞MATLAB进程的问题，而且由于用户提交作业后即释放对MATLAB的占用，可以让一个MATLAB响应更多的用户请求，减少系统开销。
该解决方案的具体做法是将用户MATLAB程序封装成指定名字的作业，通过MATLAB提交给相应的作业管理器，由作业管理器调度MATLAB集群处理。同时采用MATLAB定时器技术在集群端间隔一定时间扫描作业管理器中的作业状态，对状态为完成的作业，取回其结果并以文本形式保存到指定目录下，客户通过文件监听和Ajax技术获取该文本文件中的结果。这样使得作业提交、作业计算和输出结果分别在不同的计算机上完成。
通过MATLAB定时器输出已完成作业的计算结果的MATLAB函数如下：
function getResult（savepath，jobmanager）
[p q r jobM]=findJob（jobmanager）；
for i=1：length（jobM）
directory=get（jobM（i），’UserName’）；
filename=[directory，datestr（now，30）]；
result=getAllOutputArguments（jobM（i））；
xlswrite（[savepath ‘＼’ directory ‘＼’ filename]，result）
destroy（jobM（i））
end
前端页面的实现 数学实验云平台采用J2EE中的Jsp+
Servlet+Bean的MVC（Model View Controller）设计模式，前端页面采用Bootstrap框架开发，会根据显示器大小自动调整页面显示，用户可以在电脑、移动设备上登录该平台。用户成功登录系统后，进入数学实验或者科学计算模块之后，可以新建实验（科研）项目，或者进入已有的实验（科研）项目，编写计算程序提交作业，保存计算程序到数据库，方便下次调用查看，科学计算模块允许用户上传计算需要的数据和其他M文件。
4 结语
本研究基于云计算的技术理念，在J2EE环境下开发基于MATLAB分布式计算技术的数学实验云平台，具有开放性、即时性、易接触性，能够方便快捷地为广大师生提供数学实验和科学计算服务。该平台将数学实验室软硬件计算资源组建成集群，可以进行大型科学计算，充分发挥实验室资源的潜在效能。用户通过浏览器即可向该平台提交计算任务获取计算结果，实现实验室资源的校内校际共享，有利于提高实验教学水平。因此，本研究为高校利用现有实验室构建云计算实验室及实现其资源共享做了有益尝试，并为数学实验室的未来发展拓展了道路，符合教育技术信息化的未来发展方向。
⒖嘉南
[1]孙苏菁，白占兵.关于数学实验室建设的若干思考[J].科技视界，2013（11）：41.
[2]宋绍云，师红.基于Matlab Web Server的数学实验室体系结构的建立[J].玉溪师范学院学报，2007（12）：38-42.
一、江苏产业集群发展现状
江苏省的产业在地域上的集中度较高。江苏省仪器仪表及文化、办公用机械制造、通信设备、计算机及其他电子设备制造、纺织等行业集聚效应明显。即江苏省的产业集群主要为传统比较优势行业（纺织业、纺织服装、鞋帽制造业、木材加工及木竹藤棕草制造等）、机械（仪器仪表及文化、办公用机械制造、电气机械及器材制造、专用设备制造、通用设备制造等）、化工（化学原料及化学制品制造，塑料制品等）、冶金（黑色金属冶炼及压延加工、有色金属冶炼及压延加工等）和部分接包行业（通信设备、计算机及其他电子设备制造）。其中，电子信息设备、计算机及其他电子设备制造、纺织等行业主要以中小企业集群的形式存在，如电子信息设备、计算机及其他电子设备制造主要集中于苏州、无锡等地，苏州的丝绸、亚麻生产集群，常州灯心绒、牛仔布生产集群等；医药、化工等行业则是集中度较高的行业，其产值主要集中于大型企业，如医药行业主要为南京医药产业集团和扬子江药业集团，石化行业以中国石油化工股份有限公司江苏石油分公司、中国石油化工股份有限公司金陵分公司为主。江苏省的传统优势产业和机械制造业有比较完整的价值链，如南通是纺织基地，主要提供初级加工品，常州为牛仔布的生产基地，提供中间产品，而无锡是服装加工基地，生产出最终产品，且这些传统行业主要集中于苏南，地域集中度较高，行业集中度较低；石化、冶金等传统重工业则主要为大型企业，地理分布较分散，但是集中度相对较高；电子信息设备、计算机及其他电子设备制造业集中于苏州、无锡等地，主要为外商投资企业，负责零部件加工，属于接包型企业，处于电子信息行业的价值链低端，没有完整的价值链。
二、江苏产业集群发展存在的问题
江苏省的产业集群较发达，即产业组织的空间结构较集中，但是也存在一些问题：
（一）纺织业过度竞争。江苏省纺织服装、鞋帽制造业和纺织业的年产值分别占全国的21.4%、21%，且主要集中于苏州、无锡、常州、南通、扬州等苏南、苏中城市，地理集中度较高。但是，江苏省的纺织业也存在着中国纺织业的通病。首先，纺织行业呈现“两头小、中间大”的现象，即产品研发、品牌营销等附加值较大的部分小，普通加工等低附加值部分大，如江苏省知名服装企业只有红豆、波司登两家。其次，中小企业协作能力不强，且过度竞争现象严重。第三，纺织机械生产水平低，大型生产机械需要从国外进口。
（二）钢铁等传统重工业集中度较低。由于钢铁行业进入壁垒高，规模经济比较明显，所以钢铁行业的合理集中度应该处于较高水平，这样有利于提高国际竞争力和降低成本，江苏省内就有江苏沙钢、南京钢铁集团有限公司、中天钢铁集团有限公司、江苏永钢集团有限公司、江苏申特钢铁有限公司等十几家钢铁公司，且规模大小相当，所以钢铁行业集中度较低。
（三）电子信息等制造行业的同构性、附加值低。江苏省通信设备、计算机及其他电子设备制造业在全国的份额为23%，且主要集中于苏南地区，地域集中度较高，如苏州工业园区、昆山经济技术开发区、无锡高新技术产业开发区，三个集群2010年总产值占江苏省GDP总量的3.92%、4.14%、3.48%。苏南地区成为全国电子信息制造业的领头羊，但是苏南产业集群也存在一些问题。首先，苏南地区制造业以FDI为主，如通信设备、计算机及其他电子设备制造业规模以上企业中，国有控股44家，私营企业969家，外商投资企业1660家，可见外商占据了半壁江山，这些外商投资企业以出口为主，如2008年外资企业出口量前100家企业中，电子信息制造行业72家（其中苏州57家），外商投资行业或外商并购本地企业并不会带来预期的技术外溢和技术转移。其次，苏州等电子制造业集群是劳动密集型企业，处于价值链的低端，利润率较低，如2008年利润率仅为6.65%，在江苏省制造行业中排倒数第三（家具制造业利润率为6.27%，石油加工、炼焦及核燃料加工业为2.28%）。第三，苏南电子产业集群内部同构程度较高，即生产相同产品的行业聚集，而不是一个较完整的产业链，这些大多集群内部的企业多是国外企业下包网络中的加工厂，如2009年江苏省通信设备、计算机及其他电子设备制造业总产值的68.8%用于出口，这些加工企业之间的大多数是相互独立的，企业之间并没有合作关系，如昆山工业园区最大的电子制造企业仁宝、富士康是生产相同产品的企业，产品多直接出口到日本、韩国、新加坡等地，就连规模最小的产品也用来直接出口。所以苏南的产业集群内部并不能构成一个完整的企业网络，只是相同企业在地理上的集中而已，其竞争优势来源于廉价的劳动力和便利的交通。随着用工成本的增加和交通的日益发达，苏南地区的传统优势将丧失殆尽，如不及时优化产业结构，可能会导致产业空心化。
三、商业银行支持江苏产业集群发展策略
（一）明确商业银行的策略方向。每个产业集群都有集群主导的或是比较有优势性的产业，而集群产业的生存与发展常常受到国家产业政策的影响。国家产业政策通常指明今后一段时期内政府支持和限制的重点行业，并对各行业的发展规模和内部结构提出指导性意见。国家产业政策是产业集群所处的外部环境，也是从宏观角度把握产业集群整体发展趋势的重要依据。属于国家重点支持的行业，在政策有效期内发展条件优越，风险相对较小，这一行业的公司客户是商业银行积极营销的客户群；属于国家允许发展的行业，一般市场竞争比较充分，风险程度适中；属于国家限制发展的行业，往往发展空间较小，风险程度较高；国家明令禁止发展的行业和产品，行业风险极高，属于“禁行区”。商业银行要加强统一规划和指导，随时把握国家产业政策的方向，以分行为经营主体，立足当地实际，积极选择国家产业政策重点支持的行业。
