时间:2023-06-08 11:20:36
开篇:写作不仅是一种记录,更是一种创造,它让我们能够捕捉那些稍纵即逝的灵感,将它们永久地定格在纸上。下面是小编精心整理的12篇网络可视化管理,希望这些内容能成为您创作过程中的良师益友,陪伴您不断探索和进步。
关键词:网络管理;SNMP;网络拓扑;RESTful
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2015)34-0099-03
Abstract: With the development of network technology, network equipments have become one of the most important assets in many company. In order to manage the intranet of company and network equipments effectively, this paper presents the visualization network management system based on web.The system takes advantage of the convenience of web system and the universality of SNMP to implement a visualization system that include devices management, network topology management, machine room monitoring, intelligent alarm, repairing management.
Key words: network management; SNMP; network topology; RESTful
随着网络的快速发展,网络设备已成为各单位的重要资产之一,网络的安全性、可用性严重影响着企业单位工作环境,对网络的使用不当有可能会给单位带来巨大的损失。网络设备的管理和故障的快速修复也影响着企事业的竞争力。另一方面,Web技术由于其良好的兼容性,扩展性及便捷性已经逐渐取代C/S架构的技术,成为软件开发的主流。基于Web的可视化网络管理系统就是利用了Web技术,构建了集设备管理、网络拓扑、机房监控、智能报警、故障报修等功能的可视化管理系统。
1 系统需求分析
基于Web的可视化网络管理系统的用户角色主要分为四类:系统管理员、资产管理员、网络运维员、普通员工,其中:
1)系统管理员:主要负责保障系统的正常运行,包括对用户的权限进行调整,系统参数的设置等功能。
2)资产管理员:主要负责对网络设备及网络相关设备进行登记,利用可视化的界面对机房及网络设备的位置进行维护。
3)普通员工:主要是单位的网络设备使用者,通过系统申请网络设备,申请保修网络设备。
4)网络运维员:主要负责对设备故障进行检修,及时发现网络中的故障,并进行处理。
在对于不同的用户角色的需求进行分析后,基于Web的可视化网络管理系统的主要功能如图1所示。
1)设备管理的主要用户是资产管理员,主要包括设备的基本信息管理和生命周期管理。基本信息包括了设备的名称、种类、型号及在网络中的位置。生命周期管理包括了设备的入库、分配、使用、维修、报废的完整生命周期。
2)网络拓扑管理的主要用户是网络运维员,网络运维员能够通过Web方式对网络拓扑进行分层维护,能够通过Web直观地展现企业内部的完整网络拓扑结构。在后期的运维过程中,能够通过可视化的网络拓扑结构,快速发现和解决网络故障和设备故障问题。
3)机房监控的主要用户是网络运维员,机房监控主要利用传感器和摄像头将机房内的环境数据和实时画面通过Web的方式展现。及时发现机房内的温湿度环境变化。
4)智能报警分为阈值报警和发现报警,阈值报警通过对设备及环境设置阈值,当通过传感器收集的数据超过了阈值的范围,触发报警事件。发现报警是通过SNMP协议[1]主动发现网络中的未知设备进行报警。报警方式分为管理系统弹出、邮件通知、短信通知等。
5)故障保修功能是对设备产生故障后的保修流程管理,主要的使用用户是普通员工和网络运维员。普通员工可以对正在使用的网络及相关设备进行报修申请,网络运维员接到系统的申请提示后对故障进行排查和检修,并在系统中记录维修情况并及时回馈用户。网络运维员也可以通过智能报警主动发现设备故障,并发起报修。
6)统管理主要是对系统的基本设置进行维护。为了保证系统正常运行,可以对系统的参数进行设置,设置的内容包括报警短信的网关接口,报警电子邮件的发送地址,发送用户和密码,通过SMTP/POP3协议发送和接受电子邮件,传感器和摄像头的IP地址配置等。
7)用户权限的管理是维护系统的用户及角色信息,针对不同的角色分配不同的权限功能。
2 系统设计
2.1 系统架构设计
基于Web的可视化网络管理系统采用Tomcat作为应用服务器,MySQL作为数据库存储。
系统主要采用B/S的三层架构[2],JAVA语言编写,使用RESTful风格[3]的架构方式,将整个系统分为表现层,业务逻辑层,数据访问层,如图2所示。
系统还提供RESTful的开放接口提供各类传感器向系统报送实时数据。
2.1 使用框架
1)RESTEasy:JBoss的一个开源框架,用于构建REST风格的Web服务,本系统中,通过使用RESTEasy框架,为表现层提供统一的REST风格Web服务,通过JSON进行数据交互。同时为传感器提供标准接口上报实时数据。
2)Hibernate:用Hibernate作为ORM框架,用作数据与实体之间的映射,由于系统主要采用面向对象的设计方法,为了消除面向对象方法与关系型数据库之间的差异,采用Hibernate作为数据操作的基本框架。
3)jQuery:在展示层使用HTML+CSS+JS的组合方式,jQuery是JS的框架。在网页形式下提供各种前端特效,使操作更人性化,便捷化。
4)jTopo:jTopo是基于Web的图形化展示框架,主要用于展示网络拓扑效果。
3 系统实现及技术
本系统主要使用的技术是利用REST架构与传感器等进行交互,利用jTopo实现基于Web的网络拓扑功能。
3.1 RESTful架构
REST即表述性状态传递(英文:Representational State Transfer,简称REST)是Roy Fielding博士在2000年他的博士论文中提出来的一种软件架构风格。它是一种针对网络应用的设计和开发方式,可以降低开发的复杂性,提高系统的可伸缩性。在REST架构中,没一个URI都是一种资源的标识,在对系统功能进行实现时,将每个网络设备都作为一种网络资源通过唯一的URI进行标识,在利用HTTP的不同的请求方式对资源进行状态改变。
定义资源标识[4]的规则如下:
http://IP:PORT/{系统名称}/{应用名称}/{设备类型}/{设备ID}
系统名称为本系统的英文标识,应用名称针对系统中的不同应用进行标识,设备类型是以小写英文字母的方式对设备进行枚举标识,设备ID是系统为每个设备分配的唯一标识。例如,在监控系统中的ID为s001的服务器对应的URI标识为:http://IP:PORT/system/monitor/server/s001。利用HTTP的不同的请求方式,可对该资源进行状态改变。不同的请求方式分别是:
1)GET请求:获取资源,查看资源的信息
2)POST请求:创建资源,新建所需要的资源对象
3)PUT请求:更新资源,对资源信息进行修改
4)DELETE请求:删除资源,将资源删除
对资源属性的说明采用JSON的数据格式,以键值对的方式构成,属性名称记为PNi,属性值记为PVi,格式如下:
{PN1:PV1, PN2:PV2,......,PNn:PVn}
以服务器s001为例,当采集到服务器的CPU占用率为34%,内存占用率为27%时,需要将数据更新到系统中时,对http://IP:PORT/system/monitor/server/s001的URI进行PUT请求,请求的内容大致为:
{cpu:0.34,memory:0.27,......}
3.2 网络拓扑图框架jTopo
jTopo(Javascript Topology library)是一款完全基于HTML5 Canvas的关系、拓扑图形化界面开发工具包。利用jTopo可以构建基于Web的网络拓扑图[5]。jTopo分为四层:画布(Canvas),舞台(Stage),场景(Scene),对象(Object),画布是整个绘画的容器,一个画布上可以有多个场景,每个场景可以有许多对象,舞台是画布中当前展示的场景。
在系统中充分利用了这四层关系对网络拓扑进行展示,首先在画布中建立了各个不同的场景,包括机房、机柜、服务器,在进行不同场景切换时展现的内容也不同,在机房场景中展现的是机房整体结构,机柜、空调的位置等,如图3所示。
在机柜场景中,展示的是机柜内服务器,交换机,路由器等设备的位置,如图4所示。
利用场景在舞台上的切换达到各个拓扑图之间的转换。
3.3 主要功能界面
网络拓扑功能可以维护查看各类网络设备的位置及状态,对不同的设备可以设置阈值报警,当设备发生异常时网络拓扑图中会以红色标识设备发出告警。
系统提供折现图,柱状图,仪表盘等方式对网络的实时数据和历史数据进行展示,效果如图6,图7所示:
4 结束语
基于Web的软件系统是目前软件开发的主流方式,本文实现了基于Web的可视化网络管理系统,并在实际应用中获得了较满意的效果。在此系统的基础上,能够有效地管理各类网络设备,快速发现网络及设备故障并解决故障。方便了运维人员对网络状况的实时掌握及故障排查。系统中的基于Web方式展示网络拓扑的技术可以为相关技术人员提供借鉴。
参考文献:
[1] 刘振山, 徐孟春, 程玮玮. 基于SNMP协议的网络拓扑结构发现[J]. 信息工程大学学报, 2003, 4(4): 44-46.
[2] 张驰, 罗铁坚, 王相根. 基于Web的信息可视化系统的设计与实现[J]. 计算机系统应用, 2009(12): 5-9.
[3] Roy Thomas Fielding.Architectural Styles and the Design of Network-based Software Architectures[D]. Ph.D., Information and Computer Science, UC Irvine, 2000.
了解Gigamon公司的人都知道它针对金融、运营商行业的客户可以提供网络流量可视化解决方案。随着大数据时代的到来,数据量和数据中心网络的复杂性不断增加,激发了更多行业用户对网络流量智能监控解决方案的需求。在不久前举行的第三届中国能源企业信息化大会上,记者见到了Gigamon的亚太区业务拓展总监袁伟鹏,他向记者介绍了Gigamon针对油气能源部门的全面可视化方案,同时谈到了Gigamon独特的统一可视化矩阵(Unified Visibility Fabric)的优势。
流量可控
云计算、大数据、虚拟化、移动化的兴起,对于数据中心架构尤其是网络的管理、分析和安全产生了重大影响。用户对于网络效率、安全性和可靠性的追求永无止境,而传统的网络管理和监控方式则有些捉襟见肘。Gigamon的网络流量可视化解决方案采用带外方式,可以在不影响网络本身性能和可靠性的情况下,对流量进行监控。
网络流量的提取、分类、优先级划分等并不容易。传统的流量监控和分析往往要通过大规模添加新的工具和系统,或者变更以太网交换机的用途,或借助镜像端口复制流量,以及通过网络分路器分拆流量等方式实现。上述方式通常只借助一台交换机或一个分路器的有限过滤功能实现,功能和可视化都受到了限制,而且扩展和管理难度大,成本高。
能不能通过一种可靠的一体化的设计方式,冲破传统方式在性能、成本和管理方面的局限性,实现对网络流量的有效监控与管理呢?正是基于这种考虑,Gigamon推出了流量可视化矩阵(Traffic Visibility Fabric),它采用创新的架构,可以全方位实现流量的可视化与控制,提升扩展性和吞吐能力,同时增强网络的可靠性,提高网络效率并简化部署和使用。
统一可视化
在网络由简单的、静态的逐渐向复杂的、动态化的方向发展时,Gigamon流量可视化矩阵的优势就显现出来了,它为网络架构的设计师、管理员提供了全面的流量可视性,在不影响生产网络的性能和稳定性的情况下,可以对通过物理网和虚拟网的流量进行监控。许多大型企业、数据中心和服务供应商都采用了Gigamon流量可视化矩阵。
在可视化矩阵的基础上,Gigamon又进一步提出了统一可视化结构的理念,它可以提供跨平台的流量可视化功能,让用户原有的监测工具,可以监测和分析来自物理网络、虚拟网络或软件定义网络的流量,从而提升网络流量监控的智能化程度。统一可视化结构的好处显而易见:具有智能化的全面可视性,可以对远程站点提供实时、深入的监控;实现集中监控,为多种工具和IT部门提供可视性,从而简化运作;减少远程站点的维护人员和监测工具,节省成本。
精确分发与智能过滤
实现统一可视化,需要Gigamon公司的GigaVUE系列、GigaSMART等核心产品。这些产品基于Gigamon的专利技术,可以将网络流量智能化地传送至安全、监控或管理系统中。Gigamon可视化矩阵的“心脏”是Flow Mapping(流量映射)和GigaSMART技术。传统的过滤机制,在入站端口需要汇聚多条源链路,并过滤分发,效率低。而采用Flow Mapping,可以确保海量数据的精确挑选分发,仅将特定的流量送往各个监测工具或系统,大幅降低出站流量,从而显著提高工具的利用率。
GigaSMART就是一个智能的过滤引擎,它可以实现数据包的复制、汇聚、过滤、去重、切片、时间戳等,配合Gigamon的各种型号的网络监测工具,可以借助去重和源端口标记功能,消除用户不需要的内容,提高工作效率;利用掩码功能可以隐藏机密信息,让金融、医疗等对合规性有特殊要求的行业用户受益;借助源端口标记和时间戳功能,在接收流量时标记数据的来源和时间信息,可以提高数据的精确度等。
关键词:继电保护配置 可视化 智能匹配
中图分类号:TM769 文献标识码:A 文章编号:1007-9416(2016)10-0235-01
1 背景技术
赣州电网继电保护配置采用人工表格模式,工作量大,易用性查,保护和调度人员不能方便地查询或调阅。另一方面,目前也是依赖于保护人员的经验和记忆来编制保护变更内容。随着赣州用电需求日益增加,电网越来越复杂,给保护人员和调度员的工作Ю锤大挑战,对专业知识依赖程度很高,劳动强度大,工作效率低,且容易出现人为疏忽,对电网运行造成薄弱环节,存在安全隐患。国内已有实现继电保护定值可视化配置和浏览功能的平台型软件,主要问题是整体平台功能复杂,人机交互差,且不能跨平台运行。其次,未见基于判断电网一次运行方式的保护定值智能匹配、展示、输出保护变更内容的报道。因此,赣州电网联合武汉华大鄂电电气设备有限公司共同设计并开发了继电保护配置可视化软件。
2 软件介绍
2.1 开发环境
赣州电网继电保护配置可视化软件开发环境为Windows 2012操作系统,SQL Server 2012数据库,开发工具为Qt5.6,编译环境为Windows/Lunix/Unix主流版本操作系统。
2.2 软件架构
赣州电网继电保护配置可视化软件采用模块化设计思想,包括数据存储层、业务支撑层和高级应用层三层架构。数据存储层包括数据库和文件。数据库基于动态链接库设计,支持不同型号和版本的数据库,实现自动建库和更新,包括静态库和仿真库。文件包括电网模型、保护变更内容模板及历史版本。业务支撑层包括电网建模、网络拓扑、专家系统和系统管理。高级应用层包括保护定值配置可视化、保护定值智能匹配与自动输出。
2.3 运行环境
赣州电网继电保护配置可视化软件运行环境为Windows/Lunix/Unix主流版本操作系统,Oracle/SQL Server/MySQL主流版本数据库。
2.4 主要功能
电网建模实现电网接线图和台账维护功能。网络拓扑实现电网一次运行方式的准确判断。专家系统实现保护定值自动匹配规则制定。系统管理实现用户管理、运行设置。保护定值配置可视化实现基于可视化图形界面的定值配置与浏览。保护定值智能匹配与自动输出实现人工模拟调整电网一次运行方式、自动判断并自动匹配定值、以及自动输出保护变更内容。
2.5 软件流程
第一步,电网建模,一次接线图绘制与台账录入,形成电网静态模型;其次,保护定值可视化配置,基于一次接线图可视化环境,应用专家系统,录入保护定值配置方案,形成保护定值图形专家库,实现定值可视化配置和图形化浏览;最后,保护定值智能匹配,基于电网静态模型,人工手动(或自动接驳调度自动化系统获取实时数据进行网络拓扑)调整电网运行方式,应用网络拓扑,实现电网运行方式准确判断,形成电网仿真模型;基于保护定值图形专家库,自动匹配保护定值并在电网仿真模型一次接线图上显示,自动输出保护变更内容,并自动保存案例软件流程图见图1所示。
3 应用分析
赣州电网继电保护配置可视化软件自2015年10月投入试运行,已经达到预期目标。继电保护配置可视化软件保证了保护人员和调度员保护变更分析和决策的准确性,防范因人为因素造成的安全隐患,提高电网运行安全性和供电可靠性,经济效益和社会效益明显。其次,赣州电网继电保护配置可视化软件可以显著提高保化人员和调度员的工作效率,降低劳动强度,同时降低对专业要求,适应电网规模扩大、结构复杂和方式变更频繁的局面,提高技术管理水平,管理效益显著。最后,赣州电网继电保护配置可视化软件填补目前赣州电网调度自动化EMS系统与调度运行管理OMS系统之间的保护变更智能决策空白,推动行业相关技术发展。
收稿日期:2016-07-29
网络安全态势感知是针对网络安全隐患提出的新型技术,其研究历史也是由来已久。20世纪90年代,网络安全态势感知是由Bass等网络信息专家首次提出,通过为了深入研究这项技术,借鉴了空中交通监管态势感知,并其中的理论知识和相关技术运用到网络网络安全态势安全态势感知体系中,并为其发展创造了良好的开端。进入到21世纪初期,网络安全态势感知引入了SILK系统,其作用规模性的监测对网路安全态势感知。同时,很多网络信息计算方面的专家对以后网络安全的发展方向作出了预测,使网络安全隐患处在了一个可控的范围内。根据目前我国网络安全实际情况,关于网络安全态势感知体系正做着积极地研究,但其实际应用的普及度还亟待提高。
2网络安全态势感知体系结构
(1)体系主要技术
网络安全态势感知对网络安全信息的管理有着很好的效果,其效果的实现是结合了多种网络网信息安全技术,比如防火墙、杀毒软件、入侵检测系统等技术,其作用主要表现在对网络安全的实时检测和快速预警。通过实时检测,网络安全态势感知可以对正在运行的网路安全情况进行相应的评估,同时也可以预测网络以后一定时间的变化趋势。
(2)体系组成部分
网络安全态势感知体系可以划分成四个部分。第一部分是特征提取,该层的主要作用是通过防火墙、入侵检测系统、防病毒、流控、日志审计等系统整理并删选网络系统中众多的数据信息,然后从中提取系统所需要的网络安全态势信息;第二部分是安全评估,该部分属于网络安全态势感知体系的核心部分,其作用是分析第一部分所提出的信息,然后结合体系中其他网络安全技术(防火墙、入侵检测系统等)评估网络信息安全的运行状况,给出评估模型、漏洞扫描和威胁评估;第三个部分就是态势感知,这一部分的作用是识别网络安全评估的信息和信息源,然后明确双方之间存在的联系,同时根据评估的结果形成安全态势图,借此来确定网络安全受威胁的程度,并直观反映出网络安全实时状况和发展趋势的可能性;最后一部分是预警系统,这个部分是结合安全态势图,对网络运行中可能受到的安全威胁进行快速的预警,方便安全管理人员可以及时的检查网络安全的运行状况,然后通过针对性的处理措施解决网络安全隐患。
3网络安全态势感知关键技术
(1)数据挖掘技术
随着网络信息技术的成熟,网络中的信息量也在不断增多,同时又需要对这些数据进行快速的分析。针对这种问题,数据挖掘技术就应运而生,其目的是在大量的安全态势信息中找出有价值且能使用的数据模式,以便检测不确定的攻击因素和自动创建检测模型。数据挖掘广义上理解就是挖掘网络中众多的信息,但挖掘出来的信息是人们所需要的,而按照专业人士的解释,数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律的、人们事先未知的,但又有潜在有用的并且最终可理解的信息和知识的非平凡过程。其中提出的信息和知识由可以转换为概念、模式、规则、规律等形式。在知识的发现中数据挖掘是非常重要的环节,目前这项技术开始逐渐进入到网络安全领域,并与入侵检测系统进行了结合,其中运用的分析方法主要包含4种,即关联分析、聚类分析、分类分析以及序列模式分析。关联分析的作用是挖掘各种数据存在的某种联系,就是通过给定的数据,挖掘出支持度和可信度分别大于用户给定的最小支持度和最小可信的关联规则。序列模式分析与关联分析类似,但其分析更多的是数据之间的前后联系,即使通过给定的数据,找出最大序列,而这个序列必须是用户指定,且属于最小支持度。分类分析对集中的数据进行分析和归类,并根据数据的类别分别设置不同的分析模型,然后再分类其它数据库的数据或者信息记录,一般用的比较多的模型主要包括神经网络模型、贝叶斯分类模型和决策树模型。聚类分析与分类分析都是属于数据的分类,但两者的区别在于前者不需要对类进行提前定义,其分类是不确定的。具体细分下来聚类分析法又包括以密度为基础的分类、模糊聚类、动态聚类。关联分析与序列分析大多用在模式的发展以及特征的构建,分类分析与聚类分析大多用在模型构建完成之后的检测环节。现阶段,虽然数据挖掘已应用到网络安全领域,也具备较好的发展趋势,但使用过程中还是有一些问题需要解决。比如,获得数据挖掘需要的数据途径较少,数据挖掘的信息量过大,效率较低,费时又费力,难以实现实时性。
(2)信息融合技术
信息融合技术也叫做数据融合技术,或者是多传感器数据融合,它是处理多源数据信息的重要工具和方法,其作用的原理是将各种数据源的数据结合在一起然后再进行形式化的描述。就信息论而言,相比于单源的数据信息,多源数据信息在提供信息量具有更好的优势。信息融合的概念在很早以前就提出,而由于近些年高级处理技术和高效处理硬件的应用,信息的实时融和逐渐成为网络信息技术领域研究的新趋势,其研究的重点就是对海量的多源信息的处理。正是基于这种研究,信息融合技术的理论研究以及实际应用取得显著的效果。就信息融合的标准而言,美国数据融合专家组成立之初就进行了相应的工作,且创建了数据融合过程的通用模型,也就是JDL模型,该模型是目前数据融合领域常用的概念模型。这个模型主要有四个关于数据融合处理的过程,即目标提取、态势提取、威胁提取和过程提取。这些过程在划分上并不是根据事件的处理流程,每个过程也并没有规定的处理顺序,实际应用的时候,这些过程通常是处于并行处理的状态。目标提取就是利用各种观测设备,将不同的观测数据进行收集,然后把这些数据联合在一起作为描述目标的信息,进而形成目标趋势,同时显示该目标的各种属性,如类型、位置和状态等。态势提取就是根据感知态势图的结果将目标进行联系,进而形成态势评估,或者将目标评估进行联系。威胁提取就是根据态势评估的结果,将有可能存在威胁的建立威胁评估,或者将这些结果与已有的威胁进行联系。过程提取就是明确怎样增强上述信息融合过程的评估能力,以及怎样利用传感器的控制获得最重要的数据,最后得出最大限度提高网络安全评估的能力。
(3)信息可视化技术
信息可视化技术就是利用计算机的图像处理技术,把数据信息变为图像信息,使其能够以图形或者图像的方式显示在屏幕上,同时利用交互式技术实现网络信息的处理。在计算技术不断发展的条件下,信息可视化的的研究也得到了不断的开拓。目前信息可视化研究的领域不再局限于科学计算数据的研究,工程数据以及测量数据同样也实现了信息的可视化。利用信息可视化技术,可以有效地得知隐藏在数据信息中的规律,使网路信息的处理能获得可靠的依据。就计算机安全而言,目前网络安全设备在显示处理信息结果上,只是通过简单的文字描述或者图表形式,而其中的关键信息常常很难被提取出来。网络安全态势感知体系的主要作用就是通过融合和分类多源信息数据,使网络安全里人员在进行决策和采取措施时能及时和找准切入点。这就需要将态势感知最后得出的结果用可视化的形式显示计算机系统中,充分发挥人类视觉中感知和处理图像的优势,从而保证网络的安全状态能得到有效地监控以及预测。故而,作为网络安全态势感知体系的关键技术,可视化技术的发展以及实际应用有了显著的效果,对于网络安全态势感知中的攻击威胁和流量信息发挥重要的作用。同时,可视化技术的主要作用就是将态势感知的结果以人们便于认识的形式呈现出来,那么就需要考虑到态势信息的及时性和直观性,最后显示的形式不能太过复杂。此外,未来网络安全态势感知体系中可视化技术,还需要解决怎样把具有攻击威胁的信息与网络流量信息进行一定的联系,且为了加强显示信息的时效性和规模性,还需要制定相关的标准,保证安全态势的显示能规范统一。
4金税工程网络安全态势感知模型实例分析
对金税工程网络安全需求为牵引,通过数据挖掘深入感知IT资源(采集的要素信息),构建出金税工程网络安全态势感知模型。模型分解可分解为要素信息采集、事件归一化、事件预处理、态势评估、业务评估、预警与响应、流程处理、用户接口(态势可视化)、历史数据分析九个部分。
(1)要素信息采集:
信息采集对象包括资产、拓扑、弱点、性能、事件、日志等。
(2)事件归一化:
对采集上来的各种要素信息进行事件标准化、归一化、并对原始事件的属性进行扩展。
(3)事件预处理:
也是对采集上来的各种要素信息进行事件标准化和归一化处理。事件预处理尤其是指采集具有专项信息采集和处理能力的分布式模块。
(4)态势评估:
包括关联分析、态势分析、态势评价,核心是事件关联分析。关联分析就是要使用采用数据融合(Da⁃taFusion)技术对多源异构数据从时间、空间、协议等多个方面进行关联和识别。态势评估的结果是形成态势评价报告和网络综合态势图,借助态势可视化为管理员提供辅助决策信息,同时为更高阶段的业务评估提供输入。
(5)业务评估:
包括业务风险评估和业务影响评估,还包括业务合规审计。业务风险评估主要采用面向业务的风险评估方法,通过业务的价值、弱点和威胁情况得到量的出业务风险数值;业务影响评估主要分析业务的实际流程,获知业务中断带来的实际影响,从而找到业务对风险的承受程度。
(6)预警与响应:
态势评估和业务评估的结果都可以送入预警与响应模块,一方面借助态势可视化进行预警展示,另一方面,送入流程处理模块进行流程化响应与安全风险运维。
(7)流程处理:
主要是指按照运维流程进行风险管理的过程。安全管理体系中,该功能是由独立的运维管理系统担当。
(8)用户接口(态势可视化):
实现安全态势的可视化、交互分析、追踪、下钻、统计、分布、趋势,等等,是用户与系统的交互接口。态势感知系统的运行需要用户的主动参与,而不是一个自治系统。
(9)历史数据分析:
这部分实际上不属于态势感知的范畴。我们已经提到,态势感知是一个动态准实时系统,他偏重于对信息的实时分析和预测。在安全管理系统中,除了具备态势感知能力,还具备历史数据挖掘能力。
5结束语
作者:栾奕娜 李兰东 鞠凯歌 陶化举 王春兰 王丽艳 李灿东 单位:黑龙江农业职业技术学院 黑龙江省农科院佳木斯分院
通过接入云端服务器空间可以实现数据的海量存储,包括从视频的批量上传、存储备份、多码率转换、多CDN分发网络加速、视频内容制作、视频内容管理和高清视频播放等综合视频应用(图略)随着云计算技术的进一步发展,网民可以通过网络实现软、硬件资源的共享,网络资源的按需索取将成为可能,比如用网盘代替U盘和移动硬盘。只要用户网速够用,利用一台普通电脑就可以通过互联网索取高配置的虚拟服务器提供的海量空间资源和信息数据。相应地,网络视频资源的“按需分配”时代也将到来,比如根据用户终端类型的不同,服务器端可以提供诸如标清、高清甚至超清的视频播放服务。农业部门科普视频网络发展现状在媒体技术和网络技术高速发展的大环境下,黑龙江省农技部门的可视化农业科技推广进程却较缓慢。农村网民除通过电视有限的农业频道获取科教信息外,只能通过内容繁杂的公共视频网站查询信息,这对网络知识水平普遍不高的农村网民来说,想要快速获取有用的科技视频影片并非易事。此外,农技部门大多没有专门的科教视频网站,少数能够播放视频节目的网站在速度和容量上也很难满足用户需求。调研发现,受资金和技术约束,基层农技部门若要建立农业科技推广视频网站,需要自主开发或者构建视频系统,不但开发代价非常大,往往也难以维护。一套视频、管理、转码、播放软件至少需要十几万元,即使采用成熟的技术架构也需要3~6个月开发时间,加之购买带宽、服务器等硬件设施,总投入需上百万元。此外,缺乏网络开发和视频技术的技术人员团队更是自建可视化网络视频系统的瓶颈。
建立基于云视频服务的农业科技网络视频平台
借助高校的软硬件设施和专业技术资源,使开发出通用的农业部门网络视频系统接口成为可能。依托高校构建云视频网络系统黑龙江农业职业技术学院组建了可视化农业科技推广平台开发团队,团队由多媒体技术、网络软件开发、农技推广等多学科人员组成,技术和实践经验全面,保障了开发研究的顺利进行。现代教育技术中心,对可视化农业科技推广平台的硬件、网络模型设计、视频处理提供设备及技术支撑。网络信息中心进行系统构建、程序设计、调试和维护。农业推广专家依据我省各地的实际情况,分析可视化农业科技推广的实际需求,制定可行性方案。通过整合现代教育技术、网络技术和软件技术资源,利用最新视频云技术,建立了黑龙江农业职业技术学院网络电视台,开设了农业专家在线讲座、科技视频点播等栏目,实现了黑龙江农业职业技术学院农业科技推广可视化[3]。基于此,与富锦市、绥滨农场等多家农业科技部门合作,探讨制定了可视化农业科技推广通用方案(图略)。通过研究和实践,建立了可视化农业科技推广平台的软件系统,并根据各地农业部门实情设计了不同的网络视频门户运行模式。现有门户网站接入云视频服务平台近年来,随着黑龙江省农村地区网络覆盖面的扩大和网络应用知识的不断普及,在各级政府政策的支持和鼓励下,从黑龙江省厅农业部门到农场管局,都建立了自己相应的网络门户,拥有独立的网站,以方便对外农业信息和科技资讯,这也给基于云计算技术的网络视频的接入提供了平台。以绥滨农场信息港为例,针对其现有门户网站,植入了云视频服务平台接口,在极短的时间内开辟了科技视频栏目,并且能够流畅的运载高清视频媒体,实现了科技推广的可视化。不但节约了硬件设施的升级成本,还降低了管理难度。通过嵌入云视频软件接口,可以跨越传统高成本、管理难的视频网站,搭建低成本易运行的农业科技视频平台。农业部门可根据实际需求,在现有网络设备及技术基础上,建立可视化农业科技推广视频系统,农村网民可以通过该系统随时随地获取视频信息。搭建云视频服务网络电视台网络电视台是3网融合背景下的产物,为电信网、广播电视网和计算机互联网的相互渗透、互相兼容,并逐步整合成为全世界统一的信息通信网络提供了平台。借助云端服务器高速海量的视频传播服务,基层农业部门可以在现有的网络软硬件平台基础上架构网络电视台。通过对云视频服务器的链入,为普阳、牡丹江及军川等多个农场建立了网络电视台。和电视台一样,网络电视台具有类似的功能和操作,可以提供多个频道,任意更换节目,客户浏览方便,操作简单,效果直观。优于电视台的是,网络电视台是以视听互动为核心、融网络特色与电视特色于一体的智能化、多终端的公共服务平台[4]。网络电视台给用户带来的是高度集约的媒体资源整合和更加立体高效的内容呈现。借助网络电视台,农业科技推广部门可以充分利用网络媒介普及广、效率高的特点,发挥现场培训、电视和电脑3种信息载体的优势,系统整合农业科普资源,开展多样、交互的农业信息服务。
云视频服务应用展望
随着我国3网融合步伐的迈进,云视频服务将在下一代互联网演进过程中发挥重要作用,尤其会为农村网民带来更直接的实惠。通过技术改造,宽带通信网、数字电视网和互联网的技术功能将趋于一致,业务范围趋于相同。在未来网络时代,农村网民不但可以利用电脑上网、看电视、打电话,还可以通过手机和电视上网。基于云计算的网络视频共享平台的实现,农业部门可以通过网络与农民用户互联互通、资源共享,为其提供语音、数据和广播电视等多种服务,及时为农业生产和经营者提供科技、供求和价格等信息,为农业科技信息服务“最后一公里”提供了新载体。通过对可视化网络视频系统的推广应用,可以进一步推动科普资源的共建共享,发挥网络知识资源在开展农村科普工作中的积极作用,提升广大农民、农村科普工作者以及涉农工作人员的科学素质,进而加快广大农村地区的农业现代化发展进程。
[关键词] 石油勘探;协同;云计算;平台;远程;三维;可视化
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 17. 025
[中图分类号] TP315 [文献标识码] A [文章编号] 1673 - 0194(2014)17- 0041- 03
1 前 言
新疆油田作为中国西部第一个千万吨级大油田,经历了50多年的勘探开发,地表地理环境和地下地质条件越来越复杂,勘探开发的难度越来越大,因此必须大力推进信息技术的应用,以信息化、智能化来提升油气勘探开发的水平和效益。
在此形势下,新疆油田公司勘探开发研究院于2005年建成了勘探协同环境,利用“网络存储+服务器+胖客户端”的解释软件运行模式,实现了多学科、多专业的协同工作,极大地提高了勘探科研人员的工作效率。然而随着技术的进步和勘探研究大协同需求的出现,利用云计算技术对原有协同环境进行升级已经迫在眉睫。其中,石油勘探研究中所使用的主流专业软件(如OpenWorks、Geoeast等),都在向着体解释的方向发展,三维显示处于越来越重要的位置,如何实现远程三维可视化,将是协同环境升级为云计算平台至关重要的一步。
2 技术要求
在云计算平台的建设规划中,为了满足大协同的需求,将所有计算、存储和网络资源统一整合到数据中心,利用数据中心的资源开展勘探研究工作,通过网络把结果传输到客户端,科研人员直接面对的客户端将不再承担计算任务。而将后端的硬件资源与前端的客户端有效连接起来的正是云计算平台。云计算平台在整个系统中所处的位置如图1所示。
而在云计算平台的众多功能中,远程图形可视化是硬件设备与用户沟通的桥梁,是与用户体验直接相关的部分,其功能的完善与否将直接影响科研人员对云计算平台的评价,是极其重要的部分。其中二维图形的远程可视化技术已经非常成熟,诸如Xmanager之类的远程桌面软件已经得到了广泛应用。而三维图形的远程可视化技术也在近年来取得突破。远程三维可视化技术可以将应用软件服务器渲染好的图像(包括二维和三维)经过压缩后,通过网络发送给客户端,客户端只需将图像解压后显示。但是要将远程三维可视化技术应用到勘探云计算平台中,就必须满足油田勘探研究的需求:
首先,科研人员在使用油田勘探研究专业软件时,对显示的色彩和形状的准确度和清晰度要求非常高,这就要求远程三维可视化技术需要能够提供无失真的高清晰度画面。
其次,由于客户端通常位于科研人员的办公室,甚至有可能位于公网上,在图像传输时不能占用太大的网络带宽,因此要求远程三维可视化技术在保证图形不失真的前提下有优秀的图形压缩率,保证科研人员在低带宽网络中也能流畅使用。
再次,由于油田勘探研究专业软件种类较多,而且横跨Windows平台和Linux平台,需要远程三维可视化技术有足够出色的兼容性,保证勘探研究中所使用的专业软件都能通过其。
最后,原有协同环境已经实现了科研数据的共享,在此基础上,为了进一步加强不同地区科研人员之间的交流和协作,需要实现远程协同工作,即多名用户能同时登录到同一画面,其中任何一名用户的操作对其他用户均可见。
3 远程三维可视化技术在油田勘探研究中应用的实践
3.1 实践准备
目前主流的远程三维可视化技术有Citrix公司的XenApp,NICE公司的DCV,Halliburton公司的vSite-3D,HP公司的RGS和Schlumberger公司的LiveQuest。只有对这些技术进行充分的研究和测试,深入了解其功能和性能,才能筛选出适合石油勘探研究的远程三维可视化技术。
经过长时间的研究和测试,根据研究和测试的结果,经过综合考虑,勘探云计算平台决定使用XenApp来承担Windows平台软件的远程三维可视化工作,而由DCV来承担Linux平台软件的远程三维可视化工作。两者能够实现的功能如表1所示。
可以看到,在值得关心的技术指标上,这两种技术都能满足要求:
(1)能准确地显示三维图形的颜色和形状。
(2)在带宽占用方面,公司内部的千兆网都能较轻松地承担传输任务,而在公网上,可以通过调低画面质量来实现流畅运行(两种技术均采用差分算法,调低画面质量只对运动画面有影响,静止画面质量不变)。
(3)在兼容性方面,XenApp不支持Linux平台软件,DCV虽然支持两种平台,但Windows服务器必须架设在KVM虚拟机上,不仅性能损失较大,而且硬件资源部署的灵活度也较低。使用XenAppWindows平台软件,使用DCVLinux平台软件可以发挥它们各自的优势,同时互相弥补各自的不足。
(4)在协作模式上,XenApp只支持管理员与客户端的协作模式,不过Windows平台的远程协作方式很多,可以一定程度地弥补这一不足。而DCV支持各种协作模式。
(5)在定制研发方面,两者都能提供定制研发服务。
(6)显卡复用是指一块显卡能支持多用户同时使用需三维渲染的软件,这项功能能够提高硬件资源的利用率和部署的灵活度。两者都支持此项功能。
(7)在服务方式方面,XenApp提供的是SaaS服务,DCV提供的是PaaS服务。相比之下,SaaS服务在系统安全性、使用便利性和用户接受度上较PaaS服务更有优势。不过值得注意的是,科研人员在使用Linux平台的专业软件时经常需要打开Terminal来组织数据,此时PaaS服务反而具有一定的便利性。
3.2 实际部署
在实际部署中,由于XenApp已经集成了一整套云计算系统,能够实现云计算系统所需的全部功能,而DCV则仅有远程三维可视化功能,其他功能均需要自主研发组件来实现,其中包括用户管理系统、性能监控系统、负载均衡系统和用户访问门户。在研发这些组件时,考虑到研究人员使用的便利性,将XenApp和DCV两者整合为一个整体,这其中涉及跨平台的用户管理和同步、跨平台的软件授权管理、负载均衡算法的设计、软件单点登录的实现等一系列问题。在攻克了这些问题后,勘探云平台得以成功,其门户界面如图2所示。
可以看到Windows平台的Discovery、GeoMap与Linux平台的OpenWorks等软件在统一的门户向用户。用户点击软件图标后,会根据其所属平台自动使用XenApp或DCV来向用户提供远程可视化服务,为云计算平台的建设奠定了基础。目前该平台已经成功上线运行,效果良好。用户通过远程三维可视化技术使用勘探研究专业软件如图3所示。
3.3 实践中的一些问题
在现阶段,石油勘探研究用的专业软件并不是所有模块都需要三维显示,这部分工作并不需要显卡参与。那么最经济的做法应该是将软件在无显卡的服务器群和有显卡的服务器群各安装一份,并分别作为二维应用和三维应用,用户根据自己当前工作的需求在其中进行选择。但在实际测试时,用户无论其实际需求如何,大部分情况下都倾向于选择三维应用,造成三维应用服务器繁忙而二维应用服务器空闲的现象,并不符合提高硬件资源利用率的初衷。另外给用户额外的选项也会增加用户的困扰,使整个云计算平台的接受度降低。新疆油田勘探公司云计算平台为了提供更好的用户体验,将应用全部部署于有显卡的服务器群,但这就对负载均衡提出了更高的要求。
理想状况是,能将CPU计算资源与显卡计算资源隔离开,形成各自的资源池,当软件仅使用二维显示时,由CPU资源池独立完成用户请求;而当软件需要三维显示时,会调用OpenGL库,此时将这部分请求转移到显卡资源池,两个资源池合作为用户提供完整的图像。这与DCV的工作原理是相似的,其工作原理如图4所示。
DCV就是将图形中的二维和三维部分分离,分别交给CPU和显卡处理,然后在客户端将两者融合显示,而且DCV也提出了远程渲染服务器的概念,图形中的三维部分将通过“网络”传输给远程渲染服务器处理,可以说是云计算的理想架构。但是在实际的DCV产品中,这里的“网络”只能是KVM虚拟机及其宿主机之间的虚拟网络,不同的物理服务器之间是无法进行这样的协作的。而且目前显卡普遍使用的PCI-e 3.0接口的双向带宽高达32GB/s,现有服务器支持的网络无法承载如此高速的数据传输,这种架构必然将造成性能下降。
3.4 展望
随着技术的进步,特别是网络技术的快速发展,400G以太网技术的出现将使CPU资源池和显卡资源池的分离成为可能。当网络技术和远程三维可视化技术都支持这样的分离时,勘探云计算平台的架构应尽可能地向这一方向转变。
同时服务器虚拟化技术也在不断发展,逐渐有虚拟机软件支持显卡,而底层硬件虚拟化的好处是显而易见的,虽然现在勘探云计算平台底层硬件均未使用虚拟机,但从维护工作量和故障转移等方面考虑,当支持显卡的服务器虚拟化技术[1]成熟后,应将其与远程三维可视化技术结合,更好地为研究人员提供服务。而且Nvidia的VGX显卡虚拟化技术的出现也预示着显卡虚拟化时代的到来,虽然石油勘探专业软件更期望多块显卡的整合而非目前的将一块显卡拆分,但是显卡虚拟化技术也为远程三维可视化技术提供了新的可能。
4 结束语
随着信息技术的进步和勘探研究大协同需求的出现,云计算技术已经成为油田信息化智能化进一步发展的不二之选,而远程三维可视化技术在其中扮演着至关重要的角色。在建设勘探云计算平台的过程中,以大量的研究和测试工作为基础,在现有的主流远程三维可视化技术中选择了XenApp技术和DCV技术作为云计算平台的核心,收到了良好的效果。但技术进步的脚步不会停歇,远程三维可视化技术将与网络技术、虚拟化技术进一步结合[2],使勘探云计算平台不断完善和发展。
主要参考文献
1电子商务中的信息可视化
本文所指的信息可视化是利用计算机多媒体技术,通过图形图像,声音动画等形式对商品信息以及信息与信息之间的逻辑关系进行表述。这一过程分为三个步骤,首先系统根据消费者对商品信息的需求进行查询,其次将查询结果利用可视化的符号进行表述,最后将结果并通过互联网进行传输给消费者,与消费者进行互动交流。通过此技术可以让消费者迅速和高效地实现与大型的数据集进行交互处理,使消费者能快速而准确的获取到自己感兴趣的商品信息。可以说电子商务中的信息可视化是将新的技术、新的思想和新方法整合利用,实现商家与消费者之间直观、高效的信息交流。
2电子商务的发展
电子商务起源于20世纪90年代初的美国、加拿大等国家,是一种崭新的商业运营模式。最早的电子商务由计算机、互联网、程序化和标准化的流程以及一系列安全认证的法律体系组成。电子商务的交易主体是商家和消费者,基础是互联网,依托于商品和客户的数据信息,通常通过网银和第三方支付平台进行结算。随着互联网、信息技术、开发技术以及支付方式等电子商务相关技术的发展,我国的电子商务也日益繁荣。据统计,电子商务兴起的几年中,我国通过电子商务进行销售的企业网上销售商品和服务总额为9095亿元,占相关企业主营业务收入的比重近2%。全国企业网上采购商品和服务总额达16889亿元,占采购总额的比重约8.5%。其中,中小企业积极开展电子商务业务,全国约2%的中小企业开展了电子商务业务,并经常性的通过网络来办公。伴随着基于网络的数字化服务和产品不断涌现,这表明面向消费者的电子商务模式日益创新,也就丰富了人民群众的物质生活和文化生活,高了人们的生活质量。
3商品的信息可视化
一个成功的电子商务系统运行的必须保障和先决条件是要有一个完善的信息管理系统,并以此为平台,将商家、商品以及消费者的信息以数据的形式存储在系统中,通过对信息的收集检索,组织交流等手段加以利用,对数据进行有效的管理。在这里,信息组织是信息资源管理的基础,是信息管理的关键环节。作为一件商品,不能仅仅通过纯语言来进行表达,这就要求对商品的相关信息进行可视化处理。在信息可视化处理时,首先要考虑调动消费者的购买欲,其次要将商品的优点清晰、准确、充分的表述出来,以避免不同消费者对文字描述理解的差异。而通过多媒体技术实现商品的可视化,让消费者在浏览商品的时候就像身临其境一样,能比较清楚的选择商品,充分体验信息可视化的魅力。我们现在看到的淘宝网、拍拍网,京东商城、一号店等电子商务网站,都是运用了商品信息的可视化技术,这也很大程度上迎合了消费者,满足了消费者的需求,克服了消费者在网络上购物的的不可操作性。
4交易流程的信息可视化
图1电子商务的交易流程上述图1所描述的交易流程,是电子商务中一个经典的购物流程。商家供货,消费者购买,商品作为纽带将两者联系在一起。近年来,随着互联网、信息技术以及支付方式等电子商务相关技术的发展,越来越多的人接受甚者喜欢上了网络购物,消费者的群体呈现爆炸式的增长。与此同时,也有越来越多的企业开展了电子商务业务,甚至一些个人也通过不同的平台开展了电子商务业务。这种现象也进一步证明了电子商务存在的合理性和发展的潜力。
5电子商务中信息可视化存在的局限
电子商务中的信息可视化依赖于数据,而数据是能够符号化并能够被处理的信息,所以要实现信息的可视化就要对商家、商品以及消费者的信息进行处理,根据信息的属性和特征将其数据化。简单的属性和特征,可以用简单的数据进行表述,比如字符、数值等。复杂一些的也可以通过将图形图像、声音动画进行数据化进行表述,但是也是信息与信息之间的复杂关系,并不能通过字符、数值、图形图像、声音动画进行直观的表述,这也是信息可视化在现阶段的局限性。
6电子商务中信息可视化的发展方向
电子商务是企业和个人进行商业活动发展的必然趋势,信息管理在企业的组织、计划、领导和控制环节中更是具有重要的战略地位,随着社会的发展,企业的商务活动日趋全球化,消费者的需求也日趋个性化和多元化,全新的商务模式不断涌现,作为其中最主要的商务模式,电子商务对企业在信息的管理方面提出了更高的要求,联机分析、数据仓库、数据挖掘等智能决策工具的应用为企业开展电子商务业务提供了技术支持,而ERP、知识管理等经营理念的引入则更大程度的需要信息可视化的支持。而信息可视化作为电子商务中商家与消费者进行沟通交流最有效的手段,也必将在未来的信息管理理论与实践发展的基础上获得更大的发展。
关键词:可视化 实时监视 通信管理系统
中图分类号:TM76 文献标识码:A 文章编号:1007-9416(2016)11-0085-01
目前通信调控中心可视化平台基于信息通信管理系统已经实现了对通信系统运行的实时监控、调度、生产运行的各项业务实况的实时展示,作为信息通信系统运行工作的重要支撑手段和展示窗口,可视化平台的展示内容和技术支撑手段都需要进一步的深化和扩展。作为电力通信指挥管理中心,信息通信调控中心在承担日常信息通信调度运行监控的同时也承担展示窗口的工作任务。
1 技术路线
系统主要是采用开放式体系结构,提供开放式环境,采用面向对象的分层建模技术和 SOA技术架构,使系统具有良好的可扩展性。系统架构图由两部分构成,即可视化内部系统和外部系统。可视化内部系统前端界面展现通过WPF实现,后端服务为JAVA。内部之间的数据交互,通过SOCKET实现实时数据“推送”交互,通过WebService实现其它实时性要求不高数据请求交互。
主要的外部系统IMS、TMS、IAS通过WebService以及Socket与可视化系统进行数据交互。数据采集由外部系统以WebService推送方式或者内部系统通过综合数据平台主动去抓取实现。内部系统与外部系统通过制定统一标准模型,通过数据采集注册服务实现外部系统可扩展,可配置。
2 系统架构与功能设计
2.1 系统架构
国网淮南供电公司可视化平台深化应用项目运行环境为:调控中心大厅监控大屏(4*8拼接)、视屏拼接处理器、2台主备应用服务器、2台主备数据库服务器、1台图形工作站、2台内网台式机。实施用工作终端连接至局域网,能远程连接到应用服务器和数据库服务器,可访问应用服务器的9999/6868/7777/8080端口,可访问数据库服务器的1521端口,能够远程连接到省公司图形工作站。应用服务器可访问数据库服务器的1521端口。图形工作站连接至内网可访问应用服务器的相应端口。
2.2 系统功能设计
为实现公司对信息通信运行的“平台集中、应用融合、决策智能、安全实用”相关要求,实现公司达到“可靠性更高、业务内涵更广、响应速度更快、服务质量更优”的信息通信运行特征,强化信息通信调度的战略决策中心、资源配置中心、管理调控中心的定位,大力推进集团化运作、集约化发展、精益化管理、标准化建设工作,强化对信息通信生产经营管理状况的在线监测和即时管控。可视化平台需满足公司对信息通信系统资源、网络以及业务系统运行、应用及信息安全的整体可视化监控需求,提升公司日常检修、运行、运维的工作水平,实现监控数据可视化、调度运行可视化、管理流程可视化、系统控制可视化。建设监控全方位、服务全过程、展示全视角的信息通信可视化平台,实现信息通信运行“监控自动化、服务流程化、展示互动化”。可视化系统需要实现监控模式和展现模式,监控模式面向运维工作,展现模式体现信息化建设成果,且两种模式可实现快速切换。根据信息化调度运行管理需要,将监控模式的监控内容分为三级:
一级监控内容:运维工作的重点监控内容,必须保证实时显示,通过及时告警协助运维人员及时处理问题。
二级监控内容:重要性相对较低的指标可以通过循环显示的方式进行展示。
三级监控内容:统计类指标不需要实时显示,必要时产生可视化告警提示。
3 关键技术
为了适应界面的变化(多屏,高分辨率),因此应用程序将提供高度的可定制化,界面从粒度上划分为:业务模块(监控窗口)、业务主题及业务组件三部分。从使用上分为监控态和设计成立两部分。
(1)数据注册,由于需要接入IMS等系统的信息和数据。因此需要将各系统的数据按“指标方式”注册到系统中。
(2)界面设计,一个监控方案由一个或多个业务主题组成,一个主题单元由三个业务组件组成。
监控方案:模块是由为适应多屏显示器而提出的概念,一个业务模块就是一个覆盖整个桌面的业务窗口。它是由一个或多个业务主题组成而成的,它是一个业务应用的集合。
业务主题:一个业务主题就是一个业务应用,它是一个由业务组件组成的集合,形成具有特定业务含义的面向一个关注方面的业务主题,由一类可视化展现组件组成的某个应用监控画面。
业务组件:它是整个组态设计方案中的最小组成单元,它是事先已经开发好的最小业务功能拆分,可以通过自由组合的方式把业务组件通个指定的布局组合一个成为主题。
这三个层面的内容构成一颗“树”,方便用户在设计时导航。用户在设计时只需要把注册在系统中的业务组件拖到设计界面中,在组件属性窗口定义组建的相关属(在界面网格中占行列数目)性即可。业务主题就是由界面布局和业务组件组成的,界面布局以表格形式的进行设计。程序中将已开发好的组件按照分类组成业务组件素材库,提供给业务主题设计器来使用。界面布局表格支持表格嵌套,可以组合成各种样式的布局,每个表格的单元格可以放一个业务组件,我们可以从组件素材库中将组件拖动到界面布局的表格单元格中摆放,从而达到界面设计的目的。设计完成后我们可以保存好形成业务主题库,提供给业务模块设计器使用。
4 结语
信息通信系统可视化平台以信息通信系统运行监控为主体,进行多方数据的融合和关联,通过设计网络监控、应用监控、运行监控和机房实况等展示模式,全面直观反映信息通信系统运行情况和生产经营管理水平。系统通过各种展示模式的快速切换,以多视角、直观和创新的形式,合理有效的利用各种显示设备和技术,实现了功能实用、展示专业、灵活扩展的目标,确保了信息通信系统安全稳定运行,提升了信息通信资源统一调度监控和可视化展现技术支撑工具水平。
参考文献
关键字:可视化;网格计算;体绘制;面向网格的可视化
Abstract Scientific visualization is a process which in volves massive data sets and highly intensive computation.With the developments of computer hardware and network technologies, Scientific visualization has transited gradually from the parallel computation to the distributed computation of grid-enabled. Grid favors a new research direction, i.e.,grid-enabled visualization. In this paper , research contents, application, develop- ment trend and research direction of grid-enabled visualization is introduced.
Keywords Visualization;Grid Computing;Volume Rnedering;Grid-enabled Visualization
1.引言
科学计算可视化(Visualization in Scientific Computing,VISC)是20世纪80年代随着计算机技术的迅速发展而出现的新兴技术,其基本思想是“用图形和图像来表征科学计算数据”,来发现和理解科学计算过程中各种现象。科学计算可视化作为一种计算和数据密集型应用,往往需要较高的硬件配置,并常常利用并行技术进行加速。[1]随着计算机硬件和网络技术获得长足发展,图形硬件性能急速提升,科学计算分布范围不断拓展,计算规模不断扩大。网格技术就是在这种条件下产生的一种面向互联网的分布式计算方式,它是传统的并行计算和分布式计算在深度和广度上的拓展。其目的是利用分布在网络上的存储和计算资源,通过对它们的动态组合为解决超级计算问题提供支持。虽然网格技术仍在发展之中,但它所提供的资源汇聚、自治协调等功能将使得可视化应用在更广的范围内进行数据存储和计算,更好地与科学计算程序集成,并让更广范围的用户通过网格以远程或协作方式使用可视化应用。面向网格的可视化己经成为可视化领域的一个新的研究方向。
2.面向网格的可视化主要研究内容
面向网格的可视化,其含义是受网格支持的可视化,或网格驱动的可视化,指的是利用网格的功能,为并行/分布式可视化提供基础性支撑。图1为面向网格的可视化说明示意图。网格技术支持互联网范围的可视化应用,它对于可视化应用的意义有以下几个方面。[2][3]
第一,随着科学计算应用的发展,可视化数据集的存储量和计算量不断增大,而网格技术能够通过动态的资源组织满足数据存储和计算的要求,它能提供自治和动态的资源管理,实现数据采集、存储和计算的分布,因而可以利用更广范围内的资源,增强人们理解和使用科学数据的认知能力,扩充海量数据处理的能力,延伸人类科学活动的范围。
第二,可视化应用的高资源需求性必然限制其可访问性,近年来,虽然PC处理器和图形硬件的性能在以惊人的速度成长,但是仍然难以处理较大型数据的绘制,因此,长期以来,大数据量的可视化应用只能运行在高端并行计算机和PC集群上,往往需要远程使用。随着互联网的普及,远程可视化的空间进一步扩大了。与基于Web的远程可视化相比,网格提供了一个更为统一的资源共享和使用平台,在这个平台上协调各种资源提供远程可视化服务存在很多新的挑战,因为需要处理数据、计算和显示等多种类型的分步。
图1 面向网格的可视化说明示意图
第三,作为一种分布式可视化应用,面向网格的可视化应当支持多用户多任务,多个不同用户应该可以同时使用系统而互不干扰,同时每个用户又可以提交多个任务。另外,面向网格的可视化还应该为多用户间的协同提供支持。协同也是网格的一项重要特征。网格提供虚拟组织支持,这种虚拟组织的概念除表现为资源的虚拟化外,更突出表现为多个用户之间的协作。
第四,科学计算和可视化都是网格的主要应用对象。可视化通常是科学计算的后续处理步骤,为了更好地对科学计算结果进行可视化和驾驭,需要在可视化流程和科学计算过程之间进行协调和集成。通过这种集成可以更好地获得反馈并进行控制,提高资源的利用效率,方便问题求解环境的构建。
3.面向网格的可视化的探索及应用
由于科学计算可视化对于科研和生产的重要作用,面向网格的可视化己经成为一个新的研究方向,IEEE Copmuter Graphics & Applications杂志为此在2003年3月出了网格可视化专专辑。美国,欧洲等在面向网格的可视化领域进行了较多研究,这些研究的侧重点有所不同。
3.1 基于网格技术支持的并行体绘制的研究应用。如美国爱荷华大学的Knosp等人提出了一个基于网格的体绘制框架[4],他们使用Globus的资源管理、信息服务和数据传输工具支持并行体绘制框架;另外美国德克萨斯大学奥斯汀分校的计算可视化中心(CCV,ccvweb.csres.utexas.edu/ccv/)在己有的远程并行绘制系统的基础上使用Globus添加网格支持,在他们的设计中,可视化服务的实现由各个可视化服务器完成,并通过Globus的网格服务向用户提供可视化服务。
(北京理工大学软件学院,北京100081)
摘要:在信息时代,网络交流无论在深度还是在广度上都颠覆了传统意义上的交流,成为人们生活的重要组成部分,它不但满足了人们的内在需要,扩大了人们的社交范围,而且改变了人们的生活方式。计算机仿真技术作为一门专门利用计算机软件模拟实际环境进行科学实验的技术,为促进网络社会的交流提供了较好的技术基础。本文通过对计算机仿真技术和网络虚拟交流平台的研究,对仿真技术在促进网络交流方面的技术突破点进行了详细的介绍。
关键词 :仿真技术;网络交流;虚拟;关键突破
DOI:10.16083/j.cnki.-1296/G4.2015.02.066
中图分类号:O245文献标识码:A文章编号:1671—1580(2015)02—0151—02
本文受国家科技支撑计划项目(2012BAH38F01-05)资助。
收稿日期:2014—09—12
作者简介:张福泉(1975— ),男,福建福州人。北京理工大学软件学院在读博士,闽江学院计算机科学系,副教授,研究方向:流媒体智能存取技术,智能化数字表演与仿真技术。
一、虚拟网络交流的重要平台及其发展趋势
随着网络技术的发展,人们的交流方式发生了巨大的变化,低效率的传统交流方式逐渐被网络交流方式所取代。网络交流以网络作为信息的载体,将互联网作为交流分享的平台,极大地提升了交流的即时性和效率。
当前,网络交流平台主要包括即时通信交流平台、信息互动平台、网络商品交易平台和在线交流平台。无论人们在哪一个平台进行网络交流,对交流过程的快速、真实、便利的追求都永无止境,这极大地推动了仿真技术等计算机网络技术的进一步发展,也为仿真技术的发展指明了方向。首先,虽然网络交流平台的种类越来越多,网络交流的方式越来越繁杂,但是,单一的网络交流平台无法满足人们的需要,未来网络交流平台不仅能实现“现实人”与“虚拟人”的交流,还将实现“现实人”、“虚拟人”以及“虚拟物”之间的交流。其次,网络交流平台毕竟都是虚拟环境下的交流,无法满足人们相互之间真实的精神情感交流的需要。随着计算机网络技术的发展,网络交流的可视化、智慧化以及无障碍交流必将成为新的发展趋势,追求虚拟现实世界成为计算机仿真技术的发展方向。
二、可视化仿真技术在虚拟网络交流中的技术突破
可视化仿真技术指的是将仿真中的数字信息变为直观的、以图形图像形式表示的、随时间和空间变化的仿真过程呈现的技术手段。可视化仿真技术是仿真领域的重要研究分支,包括了可视化算法、实时绘制、图像生成、多通道及多视点显示、人机交互、分布式与并行计算、软件工程学、效果评估等理论技术以及各行业相关的建模技术,等等。
(一)可视化仿真软件的智能化、自动化。随着网络交流的不断深化和发展,实体动态、智能视点选取成为可视化软件的发展潮流。1.实体动态生成。在仿真开始前先在想定仿真节点编制好态势变化的想定文件,在仿真过程中通过节点的仿真软件对想定文件进行动态解析,从而实现对不同仿真节点的动态匹配。实体动态生成技术的优点在于将网络交流的不同需求进行分散化建模,简化了仿真建模的复杂性。2.视点智能选取。Vega是可视化视点选取使用较为广泛的工具,带有静止、运动模式等多种视点方式,但是,Vega等工具的固定观看模式无法充分体现复杂系统仿真过程中各个实体、事件、环境、场景、系统的实时运动变化情况,要实现对虚拟环境的实时、动态的视点管理,就需要全局漫游、俯视以及智能眼视点等模式。
(二)可视化仿真建模的三维实体柔性技术。智能视点实现了对具有固定实体的动态实时仿真,对于没有固定形状,并且随着时间和过程不断变化的实体,例如云、风、烟雾弹等柔性体,则需要采用柔性仿真技术,通过对物体的运动特性、机理以及作用建立起这些柔性体特殊的动力学和运动学模型,进行可视化绘制,实现对柔性体的三维仿真。
(三)可视化仿真实时性和逼真度的技术实现。实时和逼真是虚拟网络交流追求的两个重点,在技术进步的基础上实现两者的最大突破成为可视化仿真技术不断进步的动力。在硬件方面,通过提升计算机运行芯片的计算性能和处理模式来实现快速绘制;在软件方面,借助网络技术以及网格技术的并行计算、分布式计算,可以逐步优化软件结构和代码,减少计算量,从而提升绘制速度。
(四)非视觉物理量的可视化技术。在现实社会中不仅存在看得见、摸得到的实体,还存在不可见的非视觉物理量
(例如磁场、温度场、水声场、电场等)
。要实现虚拟社会交流的真实性,非视觉物理量的可视化技术也是非常重要的突破。非视觉物理量可视化仿真的关键技术是三维数据场仿真,一般通过两个途径来实现:1.对三维数据生成的等值面进行绘制,这是基于面的可视化,主要方法有切片技术、几何变形曲面法以及网格划分法等。2.将三维数据投影到计算机,再通过体绘制技术进行绘制,这是基于投影的可视化。
三、虚拟现实技术在促进虚拟网络交流中的关键突破
虚拟现实(VR)技术通过虚拟的“现实人”体验来表达、获取信息,集合了多种计算机技术,例如人工智能、控制论、数据库、计算机图形学、实时计算技术、人机接口技术、电子传感技术、机器人、多媒体以及遥现技术,等等,是一种最有效模拟“现实人”在自然环境中视、听、动等行为的高级人机交互技术。通过VR技术,创造出一个“现实人”可以与虚拟世界进行对话、虚拟世界对“现实人”的行为作出反应的人机交互环境,同时,表现出虚拟世界的自律、临场感,使得“现实人”具有身临其境的感觉,这也正是人们在进行虚拟网络社会交流时所极力追求的体验。
(一)VR的视觉表现技术。真实感以及图形图像实时绘制是实现VR视觉感知的重要手段之一,也是构造虚拟环境的核心,更高、更强的真实感和实时性不但保证了VR系统的沉浸感和交互性,而且也是VR视觉表现技术所追逐的重要目标。图形图像绘制是VR视觉表现的基础,一般可以分为:1.图形绘制技术,主要研究真实感光照计算、自然景物绘制以及纹理映射等;2.场景绘制技术,包括全光函数、光场计算、同心拼图、全景拼图等研究内容;3.图像与图像相结合的绘制技术,包括几何一致性以及光照一致性等方面的内容。
(二)VR的听觉表现技术。听觉是人类感知世界的重要信息来源,虚拟社会中的每一个发声体都是“现实人”感知虚拟社会信息的一个重要来源。事实上,我们在网络上感知的声音素材大部分都是数字化音频,由于不具有空间信息,无法体现虚拟社会听觉空间的真实感和立体感,而通过描述人的听觉系统对不同方位声音的不同频谱特性(头部相关传输函数:HRTF),例如双耳时间差、声级差等,可以建立起虚拟听觉空间(VAS),其中的声音定位技术是实现三维逼真音效的关键技术。
(三)VR的力/触觉表现技术。VR通过力/触觉设备对力/触觉信息(主要包括碰撞检测和碰撞响应)进行高效处理,在客户操作力/触觉设备时,碰撞检测算法对“现实人”与虚拟对象的碰撞情况进行检测,并在发生碰撞后运行碰撞响应策略。
(四)VR的嗅/味觉表现技术。在现实社会,人的嗅觉是由化学刺激产生的,而且气味间细微的差别都会引发不同人的不同反应,显然,要对虚拟社会的嗅/味觉进行高仿真,现在还存在一定的困难,这也将成为未来VR技术研究的重要方向,现阶段有许多科学家进行了有益的探索。例如:Amoore J.E就曾想用基本的七种气味来进行合成,但真实度不高。
虽然仿真技术为促进虚拟网络交流进行了各种关键技术的突破,实现了虚拟社会的可视化和可交流,但离现实社会中人与人的真实交往还存在一定的差距,而且虚拟社会中“现实人”、“虚拟人”以及“虚拟物”的相互交流还存在一定的障碍,需要进行进一步的仿真技术研究才能更好地实现。
[
参考文献]
[1]穆雪.可视化交互性虚拟电梯的设计与实现[J].黑龙江科技信息,2013(18).
[2]王平,陈智刚,郭光全,孙玉振,李益强.基于Vega的爆炸毁伤视景仿真技术研究[J].爆破器材,2013(4).
[3]王涛.基于UDK的数字校园虚拟现实引擎关键技术的研究[J].软件工程师,2014(4).
【摘 要】可视化(Visualization) 是20世纪80年代后期随着计算机技术发展而出现的一门技术,融合了认知心理学、图形学、图像处理、数据管理、网络技术等,并和相关的应用科学领域相结合,可广泛应用于气象学、流体力学、环境科学、地理信息、电磁学等方面。
【关键词】电网调度自动化;可视化技术
电网调度自动化集成系统可视化的目的是将计算中所产生的数字信息转变成直观的以图形或图像形式表示的信息,使用户对仿真计算的对象有形象而全面的了解,并使用户可以观察到数值模拟和计算的过程,甚至可以在仿真过程中对象进行交互控制,从而更加有效地处理和分析海量的工程数据,为工程人员提供一个探索和研究物理现象的先进工具,反映客观世界的本质和内在联系。
一、电网调度自动化集成系统可视化技术的研究背景
随着大电网的发展趋势,同时智能化调度的要求越来越高,监控系统数据多元化 ,使得传统数据展现手段有所局限,需要将电力系统运行状态利用可视化技术将系统运行状态以图形或图像方式予以显示,使系统运行人员更方便、更直观地了解当前系统的运行状态,以便其采取的运行控制措施更有效、更有针对性。
电网运行规模向巨型网络发展,分区电网之间得相互支援、相互补充成为现实和趋势。精确化数据来源(PMU, IED等)使数据采集种类大大增加。天气监控,环境监控,地理信息的融入使得电力系统运行成为一门综合类学科。电网规模的增加使得采集数据的数量和频度都在急剧增加,需要监视分析的数据量巨大。面对海量的不断变化的信息,调度员往往对数字并不敏感,同时静态的数据式表达无法满足电力系统运行对发展趋势,变化区域,运动速率和方向观察和分析需求。电网运行裕度越来越小,为了保障电网安全运行的动态响应能力,对智能调度提出了更高的要求。
二、电网调度自动化集成系统可视化技术的引入意义
可视化核心思想是Show me what I need to see Less is More .采用可视化技术实现对电网的监视,让调度员在很短的时间内直观地感受到电网运行的情况和趋势;提高电网的调度水平,有助于电网调度向“智能化”转变,减轻调度人员分析压力,将会给电网的安全稳定运行带来明显的社会效益和经济效益。。智能调度是今后调度自动化的发展方向,而可视化技术是智能调度的重要展现手段,因此具有很强的技术研究和应用意义。
三、电网调度自动化集成系统可视化技术的发展现状
可视化技术增强了电力系统二维可视化,同时应用三维可视化技术进行运行安全状态显示,实现了电网运行数据、潮流监视、设备运行监视的可视化。可视化基本展现方式有电压云图展示,利用等高线、等深线、渐变来描述电压的分布。是用颜色等高线图(color contour map)来显示电压分布,以地理信息系统为基础,将地理信息与电力系统节点运行数据相结合,生成节点运行数据等高线的可视化方法,从色彩、亮度和饱和度等三个维度对节点电压高低显示的颜色选择进行了展示,从而得到感觉较明晰的直观效果。
在SCADA系统中,可视化二维展现自动饼图、潮流跑动、等高线,三维表达方式(OpenGL)有三维棒图、三维空间转换、线路潮流跑动展示、线路饼图展示、线路负载率展示、主变负载率、电压云图展示、变压器负载3D展示、发电机有功无功出力3D展示、发电机功率分布监视、稳定断面展示、历史数据反演的可视化展示、稳定断面的可视化展示、发电功率分布展示。
关键词 可视化旅行日志;SNS;Flash 3D
中图分类号TP3 文献标识码A 文章编号 1674-6708(2013)83-0196-02
0 引言
随着Web2.0的成熟与发展,各种网络技术的应用,在知识经济化、经济全球化和高度信息化的社会中,社会性网络服务SNS、Blog、Tag和wiki等逐渐渗透到我们生活的方方面面[1]。SNS的发展,为快生活的现代人带来了一种全新的沟通方式。
另一方面,随着3D技术的日益成熟,在电影行业,已逐渐从2D过度到3D。在网络中,硬件技术的发展,带宽的提高,3D技术必将在网络中成熟壮大。据统计全球98%的浏览器都内嵌了Flash Player,用户基本上不用安装额外的插件,就能享受丰富的用户体验,所以Flash已经成为RIA的其中的一个主流实现。
Flash 3D结合了Flash和3D的优势,迎合了SNS发展的需求,Flash 3D必将在SNS(社交网络)世界里大展拳脚。
SNS网络的窜红,也带来了另一个商机,Social应用程序。Social 应用程序是一个基于用户社会交往习惯之上的游戏活动应用,它的特点就是能够支持单人或多人共同游戏,传播性强、带有很强的休闲特征、具备社会性。Social 应用程序不仅仅是消磨时间这么简单,而是社会化交流和表达方式的直观体现。
旅游是人们在快节奏生活空隙,放松的一种好方式;日志能记录你的一切。结合SNS和Flash 3D的特点,提出了开发这款基于SNS与Flash 3D的可视化旅游日志系统。基于SNS与Flash 3D的可视化旅行日志系统,作为一款SNS网站上的应用程序,包括所有社交应用程序的特点:休闲娱乐、多人互动、传播性强、具有社会性;系统添加Flash 3D内容,提供一种更真实的体验感觉;它能像普通日志一样,记录你的生活,并且提供可视化的展现,更具有实用性。
1 系统框架
2 关键技术
2.1 开源库OpenSocial
2.2 Papervison 3D开源引擎
PaperVision 3D开源引擎与其他3D引擎一样,包含下面几个3D场景基础。场景(Scene)、摄像机(Camera)、观察口(Viewport)、3D对象、材质(Material)、渲染引擎(Render Engine)[4]。场景是在3D空间中由多组3D对象合成的一个整体,所以在屏幕上看到的场景是将每个可视对象添加进去而形成的。摄像机,它可以把3D空间中一些真实的场景记录下来,同时摄像机还可以确定并查看场景的点。3D空间的相机不是场景的一部分,也不是可是对象,所以不用把它放入场景中。摄像机如同真实相机一般可以缩放也可以聚焦。3D空间的相机与真实相机相比较,前者作用更为广泛。例如在3D中,如果对象与相机之间的距离太近或太远,将会自动删除防止它被渲染。相机的功能远不止这些,它还能够将某些在不可视区域的景象选择性忽略。上述内容都是根据相机性能的角度来解说的,当对象出现在相机后方后者距离相机过远的地方,则不需要任何记录,仔细考虑过这些问题后会发现以上优势为整个应用程序节省很多计算的空间和资源。观察口可以视为舞台上的一个sprite容器,它能够把存在相机里的记录对象全部导出。如果把观察口比喻成相机的一部分,那一定是相机的镜头,因为镜头是放在3D场景上的窗口。此时如果把窗口虽小,就只能看到3D场景中的一小部分;反之则能多看到一些。这就证明观察口与现实中的窗口极其相似,它的观察范围能够随窗口大小的改变而改变,这也影响了我们对看到场景多少的进一步研究。
渲染引擎像一个滚动的相机,渲染引擎开始工作时,机器输出相机记录的信息给观察口, 停止动作时,观察口不会输出任何新的信息,仅能看到最后的那张图像,渲染是计算机中最繁重的任务,它需要重复计算场景内部的对象并输出信息到观察口。
3 结论
可视化旅行日志系统前台提供了用户图形化的界面,可以高效的完成应用;系统后台管理模块的设计与实现结合了软件工程理论和关系数据库的设计理论和方法,综合应用了各种设计、开发工具,成功的实现了系统后台管理模块对整个系统的进行的有效、便捷的管理。
参考文献
[1]赵德伟,徐正巧,赵兴强.基于SNS平台的协作学习探讨[J].现代远程教育,2009(3):49-50.
[2]吕晓鹏.精通Flex3.0-基于ActionScript3.0实现[M].北京:人民邮电出版社,2008,6.