时间:2022-02-22 16:13:23
开篇:写作不仅是一种记录,更是一种创造,它让我们能够捕捉那些稍纵即逝的灵感,将它们永久地定格在纸上。下面是小编精心整理的12篇网络流量监测,希望这些内容能成为您创作过程中的良师益友,陪伴您不断探索和进步。
中图分类号:TP
文献标识码:A
文章编号:1672-3198(2010)17-0348-01
1 网络流量的特征
1.1 数据流是双向的,但通常是非对称的
互联网上大部分的应用都是双向交换数据的,因此网络的流是双向的。但是两个方向上的数据率有很大的差异,这是因为从网站下载时会导致从网站到客户端方向的数据量比另外一个方向多。
1.2 大部分TCP会话是短期的
超过90%的TCP会话交换的数据量小于10K字节,会话持续时间不超过几秒。虽然文件传输和远程登陆这些TCP对话都不是短期的,但是由于80%的WWW文档传输都小于10K字节,WWW的巨大增长使其在这方面产生了决定性的影响。1.3 包的到达过程不是泊松过程
大部分传统的排队理论和通信网络设计都假设包的到达过程是泊松过程,即包到达的间断时间的分布是独立的指数分布。简单的说,泊松到达过程就是事件(例如地震,交通事故,电话等)按照一定的概率独立的发生。泊松模型因为指数分布的无记忆性也就是事件之间的非相关性而使其在应用上要比其他模型更加简单。然而,近年来对互联网络通信量的测量显示包到达的过程不是泊松过程。包到达的间断时间不仅不服从指数分布,而且不是独立分布的。大部分时候是多个包连续到达,即包的到达是有突发性的。很明显,泊松过程不足以精确地描述包的到达过程。造成这种非泊松结构的部分原因是数据传输所使用的协议。非泊松过程的现象迫使人们怀疑使用简单的泊松模型研究网络的可靠性,从而促进了网络通信量模型的研究。
1.4 网络通信量具有局域性
互联网流量的局域性包括时间局域性和空间局域性。用户在应用层对互联网的访问反映在包的时间和目的地址上,从而显示出基于时间的相关(时间局域性)和基于空间的相关(空间局域性)。
2 网络流量的测量
网络流量的测量是人们研究互联网络的一个工具,通过采集和分析互联网的数据流,我们可以设计出更加符合实际的网络设备和更加合理的网络协议。计算机网络不是永远不会出错的,设备的一小点故障都有可能使整个网络瘫痪,或者使网络性能明显下降。例如广播风暴、非法包长、错误地址、安全攻击等。对互联网流量的测量可以为网络管理者提供详细的信息以帮助发现和解决问题。互联网流量的测量从不同的方面可以分为:
2.1 基于硬件的测量和基于软件的测量
基于硬件的测量通常指使用为采集和分析网络数据而特别设计的专用硬件设备进行网络流的测量,这些设备一般都比较昂贵,而且受网络接口数量,网络插件的类型,存储能力和协议分析能力等诸多因素的限制。基于软件的测量通常依靠修改工作站的内核中的网络接口部分,使其具备捕获网络数据包的功能。与基于硬件的方法比较,其费用比较低廉,但是性能比不上专用的网络流量分析器。
2.2 主动测量和被动测量
被动测量只是记录网络的数据流,不向网络流中注入任何数据。大部分网络流量测量都是被动的测量。主动测量使用由测量设备产生的数据流来探测网络而获知网络的信息。例如使用ping来估计到某个目的地址的网络延时。
2.3 在线分析和离线分析
有的网络流量分析器支持实时地收集和分析网络数据,使用可视化手段在线显示流量数据和分析结果,大部分基于硬件的网络分析器都具有这个能力。离线分析只是在线地收集网络数据,把数据存储下来,并不对数据进行实时的分析。
2.4 协议级分类
对于不同的协议,例如以太网(Ethernet)、帧中继(Frame Relay)、异步传输模式(Asynchronous Transfer Mode),需要使用不同的网络插件来收集网络数据,因此也就有了不同的通信量测试方法。
3 网络流量的监测技术
根据对网络流量的采集方式可将网络流量监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于Netflow的监测技术三种常用技术。
3.1 基于网络流量全镜像的监测技术
网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。
3.2 基于Netflow的流量监测技术
Netflow流量信息采集是基于网络设备提供的Netflow机制实现的网络流量信息采集。
3.3 基于SNMP的流量监测技术
关键词:网络性能;网络状态监测;简单网络管理协议;NetFlow
中图分类号:TP393文献标识码:A 文章编号:1009-3044(2008)22-670-03
A Survey and Analysis: Network State Monitoring Technology of Campus Network
ZHU Peng
(Computer Application Department,Research Institute of Petroleum Processing,Beijing 100083,China)
Abstract:The structure of Campus Network is becoming more and more complex together with its applications. New applications appear which are sensitive to network performance. Network state monitoring is becoming more and more important for network users and researchers. The article summarizes significance and analyzes the main theory,technology of network state monitoring.
Key words:network performance; network state monitoring; SNMP; NetFlow
1 园区网网络监测的意义
近年来,随着各单位计算机应用水平的整体提高、内部园区网网络建设的日渐完善,以及实验仪器设备的网络自动化程度提高和发展,越来越多的日常学习、工作和科研、实验活动依赖计算机和网络来开展运行,这就要求各单位内部的园区网网络环境有很高的稳定性和运行效率,并能针对不同网络内部科研应用需求提供相应的网络质量保障。园区网连接着各个计算机、服务器、网络设备、存储设备及系统设备、试验装置、仪器仪表,通过交换信息使之成为一个高效运行的有机整体,为确保各项依赖园区网的科研活动顺利进行,必须保障园区网的正常运行和性能稳定。
同时,不断进行的信息化建设使得各项商业、科研活动对园区网络日渐依赖,这也带来了新的信息安全隐患,如何保障网络与信息系统的安全已经成为需要被高度重视的问题。随着园区网内部网络应用的迅速发展,越来越多的攻击和安全隐患来自于园区网内部,使得传统的基于网关的安全架构在新一代的攻击手段面前显得非常脆弱。而且这些传统的安全防护手段多属于被动形式,只能简单过滤或丢弃攻击数据,而无法在攻击源发起攻击时或之后的较短时间内即时响应,将内部网络中可疑的攻击源主机断开,使其无法通过内网连接进行攻击。在这种情况下,主动对园区网内部的网络运行状态进行监控,并根据网络流量异常信息采取相应的质量控制和防范乃至隔离控制,将可以成为传统计算机安全技术(如网关防火墙)的有益补充。
2 园区网网络状态监测技术
2.1 网络监测技术概述
网络状态监测是网络管理和系统管理的一个重要组成部分,网络状态数据为园区网的运行和维护提供了重要信息,这些数据对调控网络资源分布、规划网络容量、网络服务质量分析、网络故障检测与隔离、网络安全管理都非常重要。目前,根据对网络流量的采集方式可将网络监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于NetFlow的监测技术三种常用技术。
2.2 基于网络流量全镜像的监测技术。
网络流量全镜像采集是目前IDS主要采用的网络流量采集模式。其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其它两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。 但采用端口流量镜像方式将增加网络设备负担,对网络设备性能的影响较大。而若使用探针等附加设备实现流量镜像,安装时对网络影响较大,安装完成后虽对网络设备的影响较小,但为网络结构增加了新的单点失效点,在大型网络环境下,可能会影响网络的稳定性。故基于网络流量全镜像的监测技术较少用于园区网网络监测中。
2.3 基于SNMP的流量监测技术
简单网络管理协议(SNMP)已经成为事实上的网络管理标准,得到很大范围的应用。SNMP首先是由Internet工程任务组织(Internet Engineering Task Force)(IETF)的研究小组为了解决Internet上的路由器管理问题而提出的。SNMP是基于TCP/IP协议的网络管理标准,它简单明了,占用系统资源少,已成为事实上的工业标准。SNMP提供了从网络设备收集网络管理信息的方法,并为设备提供了向网络管理端报告故障和错误的途径。SNMP是协议和规范族,包括MIB(管理对象信息库)、SMI(管理信息结构)和SNM协议。同时,SNMP被设计成与协议无关,所以它可以在IP,IPX,AppleTalk,OSI以及其他传输协议上被使用。
基于SNMP的流量信息采集,实质上是通过提取网络设备Agent提供的MIB(管理对象信息库)中收集一些与具体设备及流量信息有关的变量。基于SNMP收集的网络流量信息包括:输入字节数、输入非广播包数、输入广播包数、输入包丢弃数、输入包错误数、输入未知协议包数、输出字节数、输出非广播包数、输出广播包数、输出包丢弃数、输出包错误数、输出队长等。 基于SNMP的网络流量信息采集可以以极小的代价实现一定程度的网络流量相关信息的收集,但其收集的信息多是出于网络管理的需要,无法提供足够丰富的网络流量信息。利用其实现网络总流量的定期监控、观察网络设备端口的流量和使用状况可以满足网络管理的基本需求。
SNMP采用‘管理者―’模型来监测各种可管理的网络设备,利用无连接的UDP协议在管理者和之间进行信息的传递。图1勾画出了SNMP管理者和SNMP间的通信关系。一个SNMP管理者可以向SNMP发送请求,读取(Get)或设置(Set)一个或多个MIB变量数值。SNMP可以应答这些请求。除了这种交互式通信方式,SNMP还可以主动向SNMP管理者发送通知(Trap或Inform Request)以提示管理者一个设备或网络的状态。
■
图1 SNMP管理者与SNMP间的通信示意图
在园区网网络监测中采用SNMP机制有以下优势:1)可以随时随地收集网络流量信息,及时获取当前园区网络的运行情况;2)能够即时收集到网络中大量设备的同步流量信息;3)采用方法基于IP层,不受底层网络物理类型的限制;4)能够收集到网络设备自身的工作信息、端口状态。并可根据需要远程配置修改网络设备的相关参数;5)基于SNMP的流量监测所需费用较少,对现有的网络性能影响较小,且易于集成到各种网管系统中去。
在此基础上,如果配合后台数据库记录收集到的网络流量、性能数据,就可以实现对整个园区网络进行有效的监视,并能在网络发生故障时及时发现并通知相关人员处理,从而提高网络可靠运转的时间,减少因网络故障造成的中断时间。
2.1.基于NetFlow的流量监测技术
NetFlow是Cisco公司提出的一项网络数据流统计标准,利用NetFlow技术,路由器可以输出流经路由的包的统计信息,从而监测网络上的IP 流( IP flow) 。采集到的NetFlow流量信息可以帮助进行网络规划、网络管理、流量计费和病毒检测等等,NetFlow流量信息采集是基于网络设备提供的NetFlow机制实现的网络流量信息采集,在此基础上实现的流量信息采集效率和效果均能够满足网络流量异常监测的需求。它可以实时提取大量流量的特征,实现对流量的宏观统计分析。目前,NetFlow技术已经成为网络设备流量信息采集事实上的标准,一些大型的网络设备厂商均在其主流的路由设备中实现了对NetFlow主要版本的支持。
表1主流厂商网络流技术对比
■
NetFlow的实现由路由器、数据采集设备和流量分析工具三部分构成,如图2所示。
路由器启动NetFlow功能,负责抓取路由器上发生的流量信息,当Cache表超时后,网络设备中的NetFlow Agent 将通过规范的报文格式将表项数据以UDP方式向NetFlow数据采集设备发送。NetFlow数据采集设备可以是商业系统或是采用开放源代码的工作站,它负责实时处理收到的报文,提取出流量数据,进行过滤和聚合后记录在数据库中。NetFlow流量分析工具根据数据采集设备数据库中记录的网络流量信息进行网络规划、流量计费和各种网络管理应用,并产生各类报表等。
■
图2NetFlow的工作原理示意图
由于NetFlow技术所产生的信息详尽且趋近于即时,可让网管人员深入地了解数据包中的信息,获得很多网络运行情况的细节。依据NetFlow信息进行网络规划,将大大提高规划的效率,减少盲目性。
(上接第671页)
在园区网网络监测中采用NetFlow机制有以下优势:
1) 对源及目的业务端口号的统计、分析,可以科学地估算出各种业务在网络总流量中所占的比重和在各条链路上的分布,对网络业务流量进行精细化分析,包括网络间数据流中各个具体业务的流量及百分比;同时,也可以根据应用层数据参数Protocol、Port、Bytes对各个网络业务进行排行,进而科学地预测各类业务流量的增长规律。
2) 通过对整网流量的长期监测,可以建立园区网流量基线,了解网络内各节点的即时与历史网络流量状态,掌握网络应用及发展趋势,从而提高网络的管理维护能力。
3) 通过统计分析,我们还可以获知那些业务是目前网络上最受欢迎的业务,进而对相关网络应用业务的建设和规划提供准确的基础数据;对于业务流量大的端点,分析其增长规律,可以指导对其合理及时的扩容,从而提高整个网络的运行质量。
4) 利用NetFlow产生的流量记录与统计分析系统配合,还可以记录网络平常在不同时间的流量或服务器连接使用情况,当发现网络或某服务器流量异常,或是服务器连接情况异常大量增加或减少时,在第一时间发出警报,让网络管理员可以立即采取相应措施,尽快确定异常流量源地址及目的地址、端口号等多种信息,针对不同的情况,分别利用切断连接、ACL过滤、静态空路由过滤、异常流量限定等多种手段,对异常流量进行有效控制、处理,从而在最短时间内恢复网络的正常运行。这在防范病毒,尤其是蠕虫或木马等造成的DoS与DDoS攻击时尤为有效。
3 结束语
当前,随着信息化建设步伐的加快,各单位都在不断地建设和改造内部的园区网络,园区网络的不断扩展使得网络的拓扑变得越来越复杂和不规则。而网络新应用的涌现和网络用户的快速增长也使得网络流量不断增大、网络应用日益复杂。采用一种或混合使用多种技术监测园区网网络状态的重要性和迫切性越来越突出。园区网网络监测技术已经成为计算机网络研究中一个重要的课题方向。
参考文献:
[1] Cisco. System , NetFlow Services Solutions Guide[S], 2003.
[2] Stewart A J. Network State Monitoring: A Network Security Assessment Concept[EB/OL]. /papers/nsm/network_state_monitoring.txt, 2000
[3] 陈秀兰,吴军华.通用网络流量监测报警系统的设计与实现[J]. 微计算机应用, 2006(4):47-50.
[4] 何丰,靳娜.基于NetFlow的IP网络状态监测系统的设计与实现[J] . 通信技术, 2007(8):36-38.
了解Gigamon公司的人都知道它针对金融、运营商行业的客户可以提供网络流量可视化解决方案。随着大数据时代的到来,数据量和数据中心网络的复杂性不断增加,激发了更多行业用户对网络流量智能监控解决方案的需求。在不久前举行的第三届中国能源企业信息化大会上,记者见到了Gigamon的亚太区业务拓展总监袁伟鹏,他向记者介绍了Gigamon针对油气能源部门的全面可视化方案,同时谈到了Gigamon独特的统一可视化矩阵(Unified Visibility Fabric)的优势。
流量可控
云计算、大数据、虚拟化、移动化的兴起,对于数据中心架构尤其是网络的管理、分析和安全产生了重大影响。用户对于网络效率、安全性和可靠性的追求永无止境,而传统的网络管理和监控方式则有些捉襟见肘。Gigamon的网络流量可视化解决方案采用带外方式,可以在不影响网络本身性能和可靠性的情况下,对流量进行监控。
网络流量的提取、分类、优先级划分等并不容易。传统的流量监控和分析往往要通过大规模添加新的工具和系统,或者变更以太网交换机的用途,或借助镜像端口复制流量,以及通过网络分路器分拆流量等方式实现。上述方式通常只借助一台交换机或一个分路器的有限过滤功能实现,功能和可视化都受到了限制,而且扩展和管理难度大,成本高。
能不能通过一种可靠的一体化的设计方式,冲破传统方式在性能、成本和管理方面的局限性,实现对网络流量的有效监控与管理呢?正是基于这种考虑,Gigamon推出了流量可视化矩阵(Traffic Visibility Fabric),它采用创新的架构,可以全方位实现流量的可视化与控制,提升扩展性和吞吐能力,同时增强网络的可靠性,提高网络效率并简化部署和使用。
统一可视化
在网络由简单的、静态的逐渐向复杂的、动态化的方向发展时,Gigamon流量可视化矩阵的优势就显现出来了,它为网络架构的设计师、管理员提供了全面的流量可视性,在不影响生产网络的性能和稳定性的情况下,可以对通过物理网和虚拟网的流量进行监控。许多大型企业、数据中心和服务供应商都采用了Gigamon流量可视化矩阵。
在可视化矩阵的基础上,Gigamon又进一步提出了统一可视化结构的理念,它可以提供跨平台的流量可视化功能,让用户原有的监测工具,可以监测和分析来自物理网络、虚拟网络或软件定义网络的流量,从而提升网络流量监控的智能化程度。统一可视化结构的好处显而易见:具有智能化的全面可视性,可以对远程站点提供实时、深入的监控;实现集中监控,为多种工具和IT部门提供可视性,从而简化运作;减少远程站点的维护人员和监测工具,节省成本。
精确分发与智能过滤
实现统一可视化,需要Gigamon公司的GigaVUE系列、GigaSMART等核心产品。这些产品基于Gigamon的专利技术,可以将网络流量智能化地传送至安全、监控或管理系统中。Gigamon可视化矩阵的“心脏”是Flow Mapping(流量映射)和GigaSMART技术。传统的过滤机制,在入站端口需要汇聚多条源链路,并过滤分发,效率低。而采用Flow Mapping,可以确保海量数据的精确挑选分发,仅将特定的流量送往各个监测工具或系统,大幅降低出站流量,从而显著提高工具的利用率。
GigaSMART就是一个智能的过滤引擎,它可以实现数据包的复制、汇聚、过滤、去重、切片、时间戳等,配合Gigamon的各种型号的网络监测工具,可以借助去重和源端口标记功能,消除用户不需要的内容,提高工作效率;利用掩码功能可以隐藏机密信息,让金融、医疗等对合规性有特殊要求的行业用户受益;借助源端口标记和时间戳功能,在接收流量时标记数据的来源和时间信息,可以提高数据的精确度等。
流量监测是网络管理的基础。从网络体系架构来说,网络流量是一切研究的基础;它能直接反映网络性能的好坏;更能帮助判断网络故障及网络安全等状况。随着Ineernet重要性的日益提高和网络结构的日益复杂.人们经常会遇到网络拥塞和服务质量低等一系列问题.越来越有必要对网络的整体拓扑结构和网络行为进行深入的了解、分析,以利于发现网络瓶颈,优化网络配置,并进一步发现网络中可能存在的潜在危险。为此。需要对大规模网络结构进行动态描述,并根据网络流量的变化分析网络的性能,为加强网络管理、提高网络利用率.因此网络流量的测量与分析一直为人们所关注。
2.课题名称和课题来源
网络测量技术始于上世纪70年代初,发展于80年代.90年代已渐成体系.在网络测量的方法、工具及流量的测量模型等方面取得了长足的发展。美国在1992年开始着手IIltemet特征的研究.其中比较著名的项目有NIMIⅢationalIntemetMea.surementInfrastnlctu商。它是一个完整的网络测量基础框架,并且是第一个执行大规模端到端ntemet行为测量的软件.NIMI主要采用主动测量技术.主要目的是要测量全球的Intemet.致力于建立一个总体的可扩展的网络测量基础框架.而不是为特定的分析目标做一组特定的测量操作。
网络流量简而言之就是网络上传输的数据量。就象要根据来往车辆的多少和流向来设计道路的宽度和连接方式一样,根据网络流量设计网络是十分必要的。在网络中不同的位置通过不同的方法采集不同空间粒度和不同时间粒度下的网络流量,并借助于数理统计、随机过程和时间序列等数学手段针对预先所定义的一系列的网络流量的相关属性对网络流量展开分析与研究,得到网络流量的不同属性在其构成、分布、相关性和变化规律与趋势等方面的特征,简称流量测量;并且所得到的"特征"叫做网络流量特征,简称流量特征。
网络流量贯穿整个网络,没有网络流量,网络应用也就无从存在。如果把TCP/IP协议栈比作成为网络的灵魂,通过网线等连接起来计算机、交换机和路由器等网络设备比作成为网络的骨架,那么网络流量可以看作成是网络中流动的血液。这样,对于研究网络的可用性、可靠性和稳定性而言,研究网络流量显然是获得第一手有效参数的最为直接和最为基础的手段之一。应用各种主要基于硬件或者软件或者硬软件相结合所实现的流量测量与分析系统,实现网络流量的监测,并根据你的应用情况对网络流量进行一定的干预,以保证关键性的应用。
3.前人在本课题研究领域的成果简介
流量监测包括测量工具/系统的部署、流量数据的采集(包括数据包捕获、归并和采样处理等)、数据包的解析和处理(包括协议解析、按照协议、流和应用等不同聚合层次进行聚合表示和流量识别与分类等)、测量实体量化数值的获得与统计分析、流量特征化描述、流量存储和查询表示、流量建模等多个环节,具有相对复杂的处理和分析过程。目前存在有众多种流量测量的实现方法,他们可适用不同的测量环境、满足不同的测量要求,并且有着不同的实现方式。概括来看,现有的这些实现方法大致可以依据如下几个方面进行分类:根据测量时所依赖工具的实现主体是硬件还是软件,流量测量可以被分成基于硬件的测量和基于软件的测量两种。基于硬件的测量通常需要设计和应用特定的硬件设备来对流量数据进行采集和分析。如IPMON、OCxMON、InMonsFlowProbe、NavTelIW5000ATMTrafficAnalyzer等,这些硬件设备通常被称为流量采集探针(Probe),需要配置有网络处理器(NP,NetworkProcessor)或专用的流量捕获板卡采用串接(in-line)、镜像(Mirror)或者分光(OpticalTap/Splitter)等方式捕获被测量的流量。而基于软件的测量一般是指通过普通的商用计算机(commoditycomputer)即所完成的流量测量。这类测量的主要特点就是被测流量的采集通常是借助于现有的硬件(如市面上可随便购买到网络接口卡(NIC,NetworkInterfaceCard,如以太网卡(EthernetCard))或者现有的网络设备(如网络中已经部署且正在工作的服务器、交换机和路由器)来完成。
它主要包括两个类别:一类是通过对操作系统内核和网络协议栈的增改(由于代码开放性等的限制,操作系统内核和网络协议栈的增改通常是在开源的Linux下进行),借助普通的网络接口卡(如将普通的以太网卡置于混杂模式(promiscuousmode)并借助于BPF完成对感兴趣数据包的过滤)等将一般的商用计算机转换成为具有数据包捕获和分析处理能力的流量测量系统。另一类则是被测量的流量并非由普通的商用计算机直接获得,而是需要从服务器、交换机、路由器等特定的网络设备上经过一定处理后导出,然后再由普通的商用计算机完成后续的流量处理和统计分析等工作。需要说明的是,特定设备上所导出的流量通常并非是详细的网络级的原始数据包,而是根据特定设备的不同,可能是SNMP/RMON统计数据,可能是经过聚合处理后的flow数据,也可能是服务器日志,等等。不同形式的数据,对应要求在普通的商用计算机上通过不同的程序或软件实现相应的流量处理和统计分析功能。
对于大多数的网络用户而言,网络仅仅是为这些用户的应用,如WEB网页浏览、BT电影下载、QQ聊天程序、Skype网络电话、PPLive在线视频等等,提供连通性的媒介。以TCP/IP协议栈为基础和核心的网络遵循并实现了信息隐藏的原则,将具体的用户级的网络应用抽象为底层的数据帧/包的发送和接收,而终端的用户无需了解网络工作的底层细节。例如,用户在Youtube的主页面上点击网页上的超链接观看所感兴趣的在线视频的时候,他不需要知道和关心会有多少个网络数据包生成,也无需了解这些数据包是如何在网络中进行路由的、IP协议是如何完成寻址定位功能的、TCP协议是如何提供了可靠的端到端的数据传输功能的、HTTP协议是如何应用超文本表示和描述页面上不同元素的、Youtube服务器上FlashMediaServer是如何实现自动位速率选择和动态缓冲的,等等。用户关心的可能仅仅是:他们所想要看到的视频内容是否能够快速的被呈现出来?视频内容的播放是否能够一直都很流畅?视频内容是否能够下载保存到自己的电脑上来?总而言之,用户所最为关注的是应用,可以为他们带来更为轻松和简便的、更为丰富和优质的网络应用。然而,对于网络管理人员而言,由数据包/帧这一最基本元素所形成的网络流量却是我们应该关注和研究的对象。这是因为网络本身并无任何价值,其关键在于它所承载的业务,即人们日常所应用到的网络应用。而不管哪一方面、什么类型、遵从什么架构、应用哪种协议、通过何种方式所实现的网络应用都会产生流量,也必须要产生流量。这些流量会流经作为最终的发送端和接收端的计算机、完成寻址和路由功能的交换机与路由器、提供安全检查和防护的IDS和IPS系统等网络设备。而正是这些具有不同能力和不同功能、处在不同层次和结构上的网络设备凭借各种形式互相连接起来构成了整个网络。
4.研究的主要内容和方法
(1)利用QoS优化技术,按照不同网络设备上不同的网络应用进行网络带宽的分配,通过分类确定流量的优先权,并对较高的优先权提供优先服务。由于行政网段是网路的一个重要服务对象,必须首先保证其服务质量,所以将网路内部行政网段流量设为最高的优先级。
(2)通过交换机管理设置,利用VLAN技术,将不同位置上的交换机和IP地址管理集中在某个管理网段,把网络划分为若干子网,对访问管理网段的流量进行限制。
(3)利用组播优化技术,在网路中的网站上动态的直播、VOD和网络电视等均采用组播技术,在网络上建立一个视频服务器,点击视频等即可观看。访问网内FTP、VOD和网络电视服务器的多媒体流应用流量,此类流量较大,在播放时段对多媒体流设置相应的优先级。
5、预期达到的目的和应用前景
网络结构的优化在优化过程中应尽量减少节点汇聚,原先的节点可扩展为新汇聚,从核心到汇聚都采用直接逻辑连接,不再设置中间有源节点。采用以高速路由交换机为核心,多层交换机作为汇聚层,可管理换机作为接入层的网络设计。在实际应用中,重要骨干设备采用双线路连接到核心设备上,核心层至汇聚层交换机也采用双千兆光纤做链路聚合(Trunking)的冗余组网方案,在加大带宽的同时冗余了骨干链路,然后根据链路的长短来确定使用光纤链路,还是使用双绞线从汇聚层交换机联到接入层交换机,并且接入层设备采用线路捆绑连接到汇聚层,这样在设备或物理链路出现故障时均可自动转换,进而提高网络的带宽和稳定性。
网络应用优化在网络应用优化前,先对网络内所有终端全面杀毒,检测各种蠕虫和Ddos的攻击,实现网络安全,净化网络运行环境。
[关键词]网络流量流(Flow)
中图分类号:TP3文献标识码:A文章编号:1671-7597(2009)1210099-01
随着IT、网络技术的迅猛发展和企业信息化程度的不断提高,各种网络应用越来越丰富。因此,如何保证网络的可用性和关键业务的畅通运行,对网络正常健康的发展将起到至关重要的作用。维持正常网络运转,就需要有相应的技术手段,明确了解网络上各种应用的带宽占用情况,分析用户流量行为,以便合理的规划和分配网络带宽,有效地保障关键业务应用的正常运行。尤其是在发生流量异常的同时,迅速有效的分离和抑制异常流量,对非法业务实行遏止,使网络流量能保持其健壮性。
常用的网络流量和协议分析有四种方法:
一、基于SNMP
MRTG是最常使用并且最典型的一种基于SNMP的产品。其安装过程非常简便,其结果输出采用Web页面方式,因此需要在相应的平台上安装系统,如NT上需要安装IIS,UNIX则需要安装apache。MRTG通常被网络管理人员用来收集网络节点端口流量统计信息,是典型的监视网络链路流量负荷的工具。MRTG的定制非常方便,一般可以在网络的重要节点端口和故障发生频繁的网络设备处利用MRTG进行监视,这些监视包括:关键链路流量和关键节点性能状况。
MRTG的优点是安装、定制简单,结果采用Web方式输出方便实用,而且是免费产品,在世界各地有很多的开发人员不断对其升级和改进。MRTG的缺点是功能较单一,分析功能不强,其收集到的流量信息是端口的统计信息,不能用于复杂的分析。
二、基于网络探针(Probe)
流量探针是一种用来获取网络流量的硬件设备,使用时将它串接在需要捕捉流量的链路中,通过分流链路上的数字信号而获取流量信息,分析的结果存储在探针的内存或磁盘之中,具体的前端展现依赖与之对应的专门软件。因此具有效率高、可靠性高、高速运行不丢包的特点。流量探针安装非常方便,可以实时将RMON II的流量信息完全记录下来,这对分析网络的性能和故障很有价值。如果将流量探针串接到Catalyst系列交换机端口,开启端口映射(Span Port)功能,将各个端口的流量映射到安装了流量探针的端口,则仅通过对一个端口的监测就可以收集到多个端口的流量信息。端口映射(Span Port)是由Cisco公司提出的概念,在其Catalyst系列设备上都可以实现。其它厂商如Foundry公司的交换机也提供端口映射的功能,但现在还不支持跨交换机的映射。
流量探针的安装很简单,可以用于高速(千兆)的网络而不影响网络性能,流量探针可以实时捕捉包,但其成本高,不同的物理链路,因其采样方法也不同,而需要使用不同种探针。
三、基于实时抓包分析
基于实时抓包的分析技术提供详细的从物理层到应用层的数据分析。但该方法主要侧重于协议分析,而非用户流量访问统计和趋势分析,仅能在短时间内对流经接口的数据包进行分析,无法满足大流量、长期的抓包和趋势分析的要求。常见的产品有NAI的Sniffer Pro,免费的tcpdump、ethereal等。
通过端口映射Sniffer Portable可以实时采集多种数据并保存到数据库中,同时可以通过其分析部件实时监视和显示这些数据的统计信息。利用Sniffer Portable的数据捕捉功能可以在短时间内对网络流量进行实时采集,这些采集到的流量数据可以包含整个包的信息,也可以只是包的一部分。利用捕获到的包可以进行协议分析、数据重组(如重组E-mail)等工作。对包的解码和分析是Sniffer工具的一个最有特色的,也是最强大的功能。
当不采用厂家的特殊硬件系统,Sniffer Portable只能用于100Mbit/s
及以下速率链路,网络中可以安装多个Sniffer Portable,但它们都是相互独立的,分别有各自的数据库,收集到的数据独立存放,这对于整个网络的分析带来一定难度,因此它特别适合小范围内的性能维护和分析;Sniffer Portable分析能力特别强大,可以解析近370种协议。当要求对更高速(GE或POS 2.5Gbit/s)的链路采集流量,或者是全面收集大型网络的流量时,可以采用Sniffer的硬件产品及其分布式系统,但其价格昂贵。
四、基于流(Flow)的流量分析
目前基于流的分析技术主要有两种:sFlow和NetFlow。sFlow是由InMon、HP和Foundry Networks联合开发的一种网络监测技术,它采用数据流随机采样技术,可以适应超大网络流量(如大于2.5Gbps)环境下的流量分析,让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。目前,仅有HP、Foundry和Extreme Networks等厂商的部分型号的交换机支持sFlow。NetFlow[13]是Cisco公司开发的技术,它既是一种交换技术,又是一种流量分析技术,同时也是业界主流的计费技术之一。它可以回答有关IP流量的如下问题:谁在什么时间、在什么地方、使用何种协议、访问谁、具体的流量是多少等问题。NetFlow因为其技术和Cisco网络产品的市场占有率优势而成为当今主流的流量分析技术之一。NetFlow的配置非常方便、安装简单,除了需要在路由器上配置之外,只需要一台UNIX工作站作为流的收集工作站,所有路由器或交换机上发送的NetFlow流都将送到此工作站集中,方便处理和分析。NetFlow流信息量特别丰富,可以为流量分布、业务分布等性能分析提供最充足的数据,但需要消耗一定的路由器资源(CPU和内存)且不能实时捕捉数据包。根据NetFlow的特点可知,其非常适用于大型的网络,和流量探针、Sniffer等比较,NetFlow成本最低,实施最方便,而且不受速率的限制,是数据流量采集的发展方向。
基于Flow的分析方法将成为趋势,在上面所提到的四种方法中,基于Flow的分析方法应该是网络流量分析技术的趋势。这是它的技术实现理论所决定的。
参考文献:
[1]朱士瑞,基于小波分析的异常检测系统[D].江苏大学硕士学位论文,2006.
[2]陈宝钢、张凌、许勇,基于P2P应用的网络流量特征分析[J].计算机应用,2005,Vol.27,No.3.
[3]顾荣杰、晏蒲柳、邹涛,基于统计方法的骨干网异常流量建模与预警方法研究[J].计算机科学,2006,Vol.33,No.2.
关键词:网络流量;元数据;大数据分析
近年来,网络攻击事件频繁发生,传统的安全防御体系难以满足网络需要。大数据技术具有用户追踪和情报收集的功能,可以通过实时监控网络的数据历史,以提高网络安全,大大地避免网络攻击事件的发生,对网络信息安全领域有着重要的意义。
1 网络流量分离平台
现阶段大数据分析技术已收到界内所有人的关注,但很多人对于大数据分析的理解始终停留在表面,关于大数据的生成方式一无所知。大数据分析需要大量的数据集作为基础条件,过小的数据集无法支持大数据分析,对于真实情况不能很好的进行反馈,而这也将失去继续改进的机会。目前大多数的企业的IT服务对于信息安全方面的要求较高,而本文将提到的网络流量分流平台是在网络交换路由设备的各特性基础上建立起来的多性能平台,完全可以满足当前企业网络的流量分析,而且由于其实分布式的部署方式,可以使流量线性分流,从而大幅度扩大流量规模,实现信息的实时分离和汇聚,从而提高海量元数据分析的稳定性。
2 元数据的定义、采集和存储
在传统主干网中,主要通过实时分析各主干节点路由器传输的信息,并挖掘与其相关的历史信息,迅速发现导致网络流量连接异常的安全事件,已达到安全监测的目的。例如通过获取flow信息来源,进行预警,从而借助特定端口的网络扫描能力,迅速查找流量放大攻击事件。但随着网络攻防和安全防御方法逐渐被人了解,紧靠flow信息的收集已经逐渐不能满足网络的安全监测需要。无论是企业网还是校园网,其入侵监测系统主要是根据网络流量进行信息报警的系统,报警过程产生的大量数据为元数据类型中的一种。但入侵检测的效果与特征规则库的更新及质量有直接关系,检测功能很难作用在未知和新型的安全威胁,而且它具有很强的实效性,一旦没有捕捉到安全事件,则不会再次检测。对于商业入侵检测系统的研究,由于详细程度较低,且输出类型较少,所以无法支持研究,对此,通过开源的Snort,以分布式部署的方式,同时运行多个检测引擎,从而形成大规模的检测系统,不仅性能较高,且能够快速进行更新,可控性也有极大的提高[1]。
从网络流量中可以获取到非常丰富的各种类型元数据的信息量,而且在很多单位和企业中,就算将所有的数据进行存储也不会付出超过自身无法承受的代价。通过Web访问的元数据可以直接检测不加密的HTTP请求和响应报文;通过FTP访问的元数据可以直接检测FTP请求和响应报文;通过域名请求和响应的元数据可以直接检测DNS协议的Response和Query信息;通过五元组和flow元数据可以直接进行应用层协议分析。当前大多数商业流量控制产品或在审计用户行为过程中产生的各种类型和格式的元数据都是由Socket或Syslog进行输出而成的,但考虑到实际的性能,很多时候都是在开源库和开源软件的基础上以满足10G流量处理的需要而提取的元数据。如今10G流量可以使用分布式部署方式实现大规模流量分析,及本地文件储存各类元数据的功能[2]。
3 大数据分析平台
由于大数据分析是对不同的目标和对象进行分析,因而需要使用的分析平台也就有针对性。使用Hadoop平台的HDFS文件系统存储从网络流量生成的大量元数据,通过HIVE进行对安全关联数据的挖掘,可以大幅度减少不必要的数据集。当前传统关系型数据库包括MySQL、PostgreSQL等,能存储不同类型的安全事件和相关联的信息。传统关系型数据库具有高实时性查询功能,能满足常规数据的实时查询,Hadoop具有低实时性的查询功能,可以用于查询海量数据,两者有各自的优势,也有一定的缺点,只有进行互补提高自身的效率,以开通更优质的业务服务。此外,处理数据过程中,对Linux Shell命令组和Python脚本进行合理的运用,也可以促进系统运行效率的提高。
使用大数据分析实验平台Hadoop,主要因为其具有24台物理机节点,可以极大地满足安全分析的需求。其中存储计算节点有21个,管理节点有2个,作业提交节点有1个,所有的节点都有配置合适的CPU、内存、SSD硬盘、SATA硬盘,并利用以太网的万兆流量,将所有节点的网络进行连接,最后形成大容量的HDFS[3]。
Hadoop在部署软件过程中使用Cloudera Standard4.8.0版本进行的,且采用CDH4.6.0+IMPALA 1.3.2+SOLR 1.2.0作为系统的组件。MapReduce统计是当前查询中最常用的软件,其中应用程序包括SQL语句和HIVE。投入使用后,通过浏览器的GUI查询可以发现其使用效果还存在不稳定的因素,而且为实现自动化的目标,最后还是在命令行界面进行实际的查询。现阶段Hadoop平台无论是响应应用需求时间还是全部硬件性能都还可以接受,因而索引还没有通过分区列和压缩进行优化。当然,目前对Hadoop平台性能的优化研究并没有停止,直至查询效率实现最优化为止。
4 基于挖掘和关联的大数据分析
前期进行的统计分析是为后续安全分析提供数据,而前期的数据属于混杂的大数据,不利于后期的分析,因此在前期时需要将大数据转换成小数据。在这个过程中,首要目标是先要在IP的基础上建立和形成一系列黑白名单。白名单制能够自动对前期的网络流量进行调整,为确保安全分析的效率,它可以提前处理掉许多无用的数据,以便后期的处理分析和存储。黑名单制能够根据数据所处的区域,进行锁定操作,从而对数据的发展和变化趋势进行跟踪,从而有效地提高安全监测效率。
部分安全漏洞对网络的损害极为严重,但其发生较为突然,而使用大数据分析后,可以对这种安全事件及时反映,并迅速对安全等级进行测定。多种WebShell和通过网站传播的木马在攻击网络时都可以从元数据中提取出明显的特征,利用各种挖掘算法并关联分析,就能了解投放的人、时间、地点等。网络攻击者在制造网络安全事件后,都会在入侵完主机后消除各种痕迹,但这些痕迹却早已经被基于网络流量的元数据记录下来。不管是哪种攻击方式,只要入侵过主机,都会有痕迹存在,而元数据则可以将这些痕迹进行还原,了解攻击方式、地点及时间,从而第一时间追踪到攻击者的IP地址。当然并非所有的攻击都能够进行实时阻断,其中必然会有一些忽略,但事后会自动开启安全应急响应措施进行补救,实用性还是比较高的,而这都是基于元数据的积累上,元数据太少,就可能无法发现攻击,安全事件就会频繁发生。随着网络安全监测被人熟知,攻击渠道可能已经不再局限于HTTP协议,还可以用过SSL加密或其它渠道发起高持续性威胁攻击。现阶段的高校还无法完全防御这种攻击方式,但提取应用层协议存储和IP流量中的元数据,可以直接分析攻击方式,就可以实现在攻击时第一时间发现,并根据痕迹及时进行跟踪,从而降低或避免损失[4]。
5 结语
网络安全问题一直是全球都关注的话题,随着信息技术的发展,网络攻击方式越来越多,而传统安全防御体系也存在防御乏力的现象。大数据技术是基于这种背景下研究出来的新型防御技术,它的主要价值在于分析和跟踪,通过分析大量的数据,还原安全事件的形成过程,并进行实时跟踪,对网络安全领域有着重要的意义。
参考文献
[1]姜开达,李霄,孙强. 基于网络流量元数据的安全大数据分析[J]. 信息网络安全,2014,05:37-40.
[2]付钰,李洪成,吴晓平,王甲生. 基于大数据分析的APT攻击检测研究综述[J]. 通信学报,2015,11:1-14.
对网络管理者来说,传统的被动式网络监控和维护方式已经无法满足要求,校园网的管理人员希望能找到更合适的分析工具来对网络进行有效的监控分析,并能找出对网络性影响最大的因素及用户和业务的增长规律,在网络出现故障或即将出现瓶颈之前给出科学的预测,及时对网络进行优化、升级和改造,以满足不断增长的用户和业务需求。
流量统计和分析是网络管理中的一个重要内容,它不但可以及时发现网络流量的过载,攻击等异常情况,还可以对正常流量进行分析,帮助网络管理者了解各种级别的用户对于网络的使用情况,为采用合适的商业模式提供决策依据。
流量透明化的现状分析
随着校园网的规模越来越大,IT服务的完善,网络管理者也会提出以下问题。
一、当前的上网流量占用多大带宽?这些带宽主要谁在占用?这些占用是允许的吗?在WWW访问之外,是不是有大量的FTP等下载?是允许的吗?
二、DMZ区的服务器有多少是内网用户在访问,有多少是外网用户在访问?如果是内网用户访问多,是不是考虑将其迁移到服务器区?外网用户的访问有时间规律吗?
三、外联的服务器是提供特定用户访问吗?哪个访问流量最大?最大流量占用的用户是合法的吗?服务器是否该扩容了?有非法用户访问这些服务器吗?
四、这些关键的业务服务器的带宽够用吗?是不是考虑一台服务器提供多个业务服务或多台服务器提供一个业务服务?除生产业务外,这些服务器是不是还提供其它无关的业务,导致影响性能?谁访问这些服务器更多一些?这些服务器哪个时间段最繁忙?
五、教职工和学生用于的流量分别有多大?用于上网的流量有多大?谁更多地使用互联网?是必要的吗?谁占用的网络带宽最大?这些占用是必要的吗?哪个用户在非法扫描网络?是否有用户提供非法的下载(WWW/FTP)服务?
要解决这些流量问题,不是一件容易的事情,常规的方法有以下几种。
其中一种是网管方式。网管方式通过启动SNMP来获取流量信息。但SNMP只能获取流量的字节数,无法获取字节的构成,更无法获取流量的发起方。该方法可解决流量的分布问题,无法解决流量的构成问题。该方式主要用于设备的管理,而不适用于精细的流量分析。
另外一种是数据包监听方式。该方法是将关注的流量串联到或镜像到分析仪器;通过分析仪器来获取流量的构成和细节。该方法可做到流量的精细化分析,做到2~7层的流量分析,但缺点也很明显,只有在部署分析仪器的地方进行流量分析,如果做到全网多节点流量监控,必须部署多个分析仪器,导致部署成本急剧上升。该
方式可很好解决流量的构成问题,但几乎无法解决流量的分布问题。该方式适用于对少量关键点的监控,不适合大规模日常使用。
最后一种是基于流技术的方式。该方式是让网络设备在转发数据流量的同时,生成特定的流量信息,然后将流量信息发送到特定的分析模块,进而实现对流量的分析。理想情况下,如果让网络中的每台网络设备均发出流量信息,那么就可以轻松解决流量的分布问题,同时解决流量的构成问题。缺点是各厂商提供的流分析技术都是私有技术无法通用。
网管方式无法进行流量构成分析,不再讨论。由于分析仪器的昂贵,监听方式不适用于大规模部署,而且分析到7层应用后,容易使用户隐私受到侵犯。而流技术的分析方式功能均衡而强大,对流量的分析只到业务字节,不涉及应用级,无隐私顾虑。
流技术方式更适合网络流量分析。但由于各厂商之间流技术方式大多采用的是厂商的私有协议,就导致了不同厂商设备在组网后流技术方式不兼容的问题。正是由于这个原因国际化流量监控标准技术IPFIX(IP Information flowExport)应运而生。
校园网流量透明化管理
我校在进行流量透明化管理之前,整个网络接入用户的类型比较复杂,本来就不富裕的网络流量常被消
耗殆尽。在经过几次互联网出口和校园网骨干带宽进行扩容后,情况仍得不到解决,为了搞清楚这些流量都被哪些用户和哪些应用占用了,我们引进了锐捷网络的校园网解决方案,根据国际化流量监控标准技术IPFIX来对校园网的流量使用情况进行审计和评估。
网络透明化解决方案包括流量采样设备、流量采集设备、数据分析处理设备(如图1)。利用IPFIX日志,网络透明化解决方案提供了一种网络监测、分析的方式,直接从支持IPFIX功能的路由器和交换机中收集流量信息,可以灵活启动不同层面(接人层、汇聚层、核心层)的网络设备进行IPFIX流量日志收集,并将收集的内容以IPFIX格式的日志输出给Collerctor设备分析。管理员使用Analyser的分析功能,可做网络使用状况监控、用户行为追踪、异常流量检测等,同时基于功能丰富的报表,可做网络规划方面的决策。(如图3)
主要实现了以下功能。首先是网络得到优化。可以使网络管理员及时掌握网络负载状况,网内应用资源使用情况,对核心网络的重点链路进行统计,各类TOP应用百分比,使用各类应用的网内用户、服务器的流量趋势
及统计值,迅速发现网络当前的使用状况和不同链路的使用率变化趋势,尽早发现网络结构的不合理或网络性能瓶颈,尽快作出网络优化方面的决断,最终实现网络的优化使用。
其次是网络规划参考方面。利用IPFIX流日志以及网络透明化长期监控网络带宽而形成的各类趋势报表,如基于设备接口的长期流量入出趋势,长期流量入出趋势分析,各类应用百分比,有助于网络管理员跟踪和预测网络链路流量的增长,从而能有效的规划网络升级。
第三是网络流量异常监测方面。利用网络透明化解决方案提供的某段时间内的流量、应用趋势分析,可非常直观的看到网络流量是否有突然增长或突然下降的现象,并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。
第四是广域网流量监测方面。对于发展中的六盘水师范学院来说,WAN带宽是非常有限的,如果WAN链路流量增大,通常我们的做法就是进行投资以升级WAN链路,但如果我们能掌握WAN流量的特征,制定相应的策略,就能使WAN带宽得到最合理最充分的使用,避免进行不必要的升级投资。
1主要解决方法
未经合理分配和管理的带宽使用将造成严重的带宽资源浪费,甚至会因为滥用带宽而破坏正常网络业务应用的畅通运营。随着校园网内部的信息化程度的提高,VOIP,视频会议,OA等应用系统的部署,网内业务流量不断增加。同时,不受控的网络下载,P2P使用,以及蠕虫等都对网络有效带宽利用构成很大的冲击。不采取有效的优化控制措施,单纯增加网络带宽不能起到很好的效果,反而提高运营成本。QoS服务质量及流量控制设备部署在专网出口,网段出口,或网络的关键链路,能够提高关键数据优先级,控制无价值数据占用的带宽,对现有带宽进行合理分配和管理。可以将用户和网络上各种应用进行分类管理,为每一类用户或网络应用分配不同的带宽,并可以对非正常的带宽使用进行抑制或封堵,充分保障了正常业务应用的顺畅运营,网络的正常运转,降低运行成本,真正发挥互联网的价值。
2应用案例
某全国重点高校,目前整个校园网共有信息点8400个,三个校区70栋主要的教学楼、办公楼、实验楼、学生公寓等,形成一个以千兆以太网为主干、快速以太网为辅的跨城区大规模园区网。整个校园网现有教育网1000M、电信网500M、和铁通网100M三个出口,总带宽1600M。
位于校园网信息中心的网络环境是由100M铁通网、500M电信网和1000M教育网的三条链路构成,主干设备包括:华为85系列核心交换机,Netscreen防火墙,F5系列链路负载均衡设备。出口是用F5系列链路负载均衡设备做链路的负载均衡,分别连接教育网1000M,电信500M和铁通100M出口线路,下面连接Netscreen防火墙,再下一级连接学生宿舍区的华为85系列核心交换机和教学区的华为85系列核心交换机,该校在校学生人数约为22000多人,同时在线人数可达到6000多个信息点。该校对校园网运营提出了较高的要求,利用QoS服务质量及流量控制设备为其出口带宽进行分析与优化。
连接该校内部校园网到互联网出口的带宽目前负荷较重,基本上在不作任何控制的前提下可以跑满所有的带宽。这主要是由于近一两年来,互联网络的广泛应用导致了大量的新型应用的引入和发展。除了常规的对互联网的浏览、查询、电子邮件等多种应用类型以外,多线程的FTP下载、在线游戏、蠕虫病毒、以及DDOS攻击等多种新型的网络数据在网络中大量使用和出现。尤其是P2P应用,由于其利用大量在线的客户端设备资源而优化文件传输的能力,所以会导致网络资源的极大消耗。在无法管理控制的条件下,而严重影响正常的学校网络的运作。
3应用效果分析
这次应用主要围绕QoS服务质量及流量控制设备。通过测试和实验,验证其对上述多种应用的发现、识别及管理等功能并验证其实际性能。在管理策略设定前后,通过观察会话数的变化、相关应用流量的变化、日志流量记录对网络的应用了解的变化等,来决策此类设备在校园网带宽流量管理的必要性和意义。
此次应用,我们将QoS服务质量及流量控制设备放在网络的学生区总出口和核心设备之间的位置,设备之间全部采用光纤连接,这样QoS服务质量及流量控制设备就可以监控到网络中的流量,以便更好地进行管理。
基本的配置完成和线路接好后,就要对网络上的流量进行监测以及对应用进行归类。最初一两天主要监测该校园网中有什么样的应用流量并根据应用的类型进行策略上的划分。在对该校园网的应用流量进行两天的数据收集之后,根据实际情况对应用进行策略上的控制,例如对P2P应用协议的限制等。策略配置好之后按照预先设定好的策略检查机制观察,检验策略是否可以达到人为预期的效果。
对于各种网络应用流量能够准确的按协议进行分类和人性化图形显示,对每种协议的流量作实时的统计,利于管理员有针对性的对各种网络流量进行控制,在该校园网的网络流量中通过分析BT和PPLIVE这两种流量在高峰时的总量达到总流量的85%左右,是需要控制的对象。因此针对BT和PPLIVE的应用采取了限制,从而有效降低了BT和PPLIVE的网络应用流量,同时放大了HTTP、FTP的访问流量,满足了教学办公的要求,保障了正常的业务流量。
对于BT和PPLIVE这两种协议可以单独对其进行设定的QoS控制。同时也可以对整个P2P协议给予300M的方式来控制。也可以基于这两种协议单独控制。晚上7点至11点的高峰期,观察限制后的P2P流量始终保持稳定的300M运行,目的达到。
对于该校园网中的每个网段的IP统计,监控到每个IP的源和目的会话数,有部分IP的会话数非常大,在700至1400之间,可以断定这部分IP正处于使用P2P应用或者中病毒的状态中,所以将其会话数限制到200至400之间后,非常明显整个网络的性能得到了明显改善,网络流量也随之降了下来。
关键词:局域网 流量 控制 管理
中图分类号:TP393 文献标识码:A 文章编号:1007-9416(2012)05-0246-01
当前,网络宽带不断升级,可是网络速度却常常不尽人意,给很多商家、企业带来了极大的困扰。网速不能满足工作的需要,就需要对宽带进行升级,也就意味着需要投入更多的资金,可成效并不显著,网速仍然在变缓。造成这种情况的原因是多样的,其中最重要的一点就是桌面宽带永远高于出口带宽。另外,随着网络时代的到来,人们对网络的依赖程度不断提高。近几年,P2P等下载软件和网络电视走入了人们的生活,使得本来就捉襟见肘的网络带宽上加霜。想要营造一个良好的网络环境,将P2P、网络视频等软件进行有效控制是关键。[1]
1、局域网网络流量监控方法
网络流量监控的主要目的是对网络进行管理,其过程一般是:一、实时、不间断地采集网络数据。二、统计、分析所得数据。三、确认网络的主要性能指标。四、对网络进行分析管理。网络流量监控的方法主要有两种,一种是使用网络监控设备,另一种是使用网络流量监控软件。当前的局域网网络设备对于P2P这种模式没有很好的管理效果,导致P2P软件大行其道,占用了极多的带宽资源。当前,以下几种网络流量最为常见:
(1)P2P流量:P2P文件共享在网络带宽消耗方面是大户,夜间,有95%的网络带宽被P2P占用。
(2)FTP流量:FTP这项服务的应用比较早,且重要程度只比HTTP和SMTP稍低。P2P的出现,FTP的重要性再次降低,但其重要性仍然不可忽视。
(3)SMTP流量:电子邮件是企业之间交流的重要手段,是网络应用中不可或缺的一部分。据不完全统计,竟然有75%以上的用户将收发邮件作为上网的主要目的。再加上发送电子邮件是不另外收费的,所以被部分人当成广告工具,互联网中垃圾邮件的泛滥之势愈演愈烈。[2]
(4)HTTP流量:互联网上应用最广泛的协议当属HTTP协议。再加上视频共享网站的兴起,HTTP占用的网络流量已经超过了P2P。
将以上这些流量种类分析清楚之后,我们就可以针对其特点,对症下药,以收获事半功倍的效果。
2、局域网流量控制与管理策略
在输出端口处建立一个队列,是流量控制过程中常用的做法。通过控制路由,也就是控制IP地址的方式,来达到控制的目的。
2.1 通过路由控制流量
流量控制是相当部分路由器具有的常规功能。TP-Link TL-R410、TL-R460等型号路由器最近也新增了“流量控制”功能,对局域网内的电脑进行带宽资源分配,对P2P下载进行管控,防止部分用户的过度占用,为大多数用户提供一个良好的上网环境。
2.2 禁止P2P下载
P2P下载是占用带宽流量的主要原因,禁止方法主要是:使用注册表禁止P2P下载软件。编辑一个名字为KillP2P.reg的注册表文件,内容如下:
WindowsRegistryEditorVersion5.00
[HKEY_CURRENT_USER\Software\M icrosoft\Windows\CurrentVersion\Policies\Explorer]"DisallowRun"=dword:00000001[HKEY_CURRENT_U SER\Software\Microsoft\Windows\CurrentVersion\Policies\ Explorer\DisallowRun]
"1"="BT.exe"
"2"="Thunder.exe"
"3"="bitcomet.exe"
"4"="………."
"5"="………."
如对某种P2P进行限制,将P2P下载软件的可执行文件填写到1、2后面,再将KillP2P.reg文件导入注册表后,重启机器,受KillP2P.reg限制的P2P软件就无法正常运行了。
2.3 进行时间段管理
目前,部分路由器具有一定的时间限制的功能。所谓的时间限制就是对相关参数、功能进行监测,进而采取时间调度进程的方式,达到开与关的目的。
2.4 限定局域网主机速度
对局域网主机的上传速度和下载速度进行限制,允许P2P下载,但对速度有所限制,限制的最低标准就是不影响他人对带宽的正常使用。
3、局域网流量异常发现与处理
网络监控软件的合理运用可以很容易地找出局域网中流量不正常的电脑,是局域网畅通运转、安全运转、高效运转的有效保障。异常流量造成的结果,轻微时会降低局域网运行速度,严重时,可能会使局域网瘫痪。所以有必要找出流量异常的主机。
3.1 找出流量过大的电脑
当发现流量异常时,首先需要做的就是找出流量异常的主机。网络监控软件可以帮助我们做到这一点。网络监控软件使用起来比较简单,在局域网中任何一台主机上安装都可以实现对整个局域网的监控。监控的内容有流量记录、网页记录、QQ聊天记录等,根据记录确定占用较多网络带宽的某个或者某几个电脑,从而达到找出“元凶”的目的。
3.2 对异常主机发出警告
利用网络监控软件,可以很容易地找出流量异常的主机,下一步就是对该主机的使用者发出警告。这种警告不是现场的面对面警告,而是通告监控软件发出警告消息即可。为了方便警告消息的有效传达,应将对方电脑的信使服务功能开启。如果警告没有效果,那么就要采取进一步的措施,比如“禁止上网”,将其网络断开。
就目前情况而言,网络监控软件为网络管理提供了极大的帮助,是企业局域网管理的重要手段。[3]
4、结语
流量监控软件是监控网络流量最简单、最有效的手段。企业的网络管理者,可以通过它将网络资源的占用情况透明化,并有针对性的进行管理。同时,企业的管理层还应该建立一套切合实际的上网制度,只有内外结合才能从根本上解决局域网流量控制与管理的问题。
参考文献
[1]李晟,甘勇.网络流量测量与分析研究现状及发展趋势[J].郑州轻工业学院学报(自然科学版),2005年02期.
关键词:网络服务器;流量分析;即时通信
中图分类号:TP393文献标识码:A文章编号:1009-3044(2010)19-5241-02
The Real-Time Communication Traffic Analysis
YIN Qing
(Beijing Jiaotong University, Beijing 101111, China)
Abstract:This article analyzes the current status of the network server traffic analysis. It discusses the significance of monitoring and analysis on the server traffic and summarizes main content. Then, the article analyzes the mathematical characteristics of real-time communication services based on the agreement of Net flow v9、IPFIX and PSAM.
Key words: Network Server; Server Traffic Analysis; real-time communication
今天的数据网络给我们的生活、工作和人与人之间的沟通带来了极大的方便,网络业务日趋丰富,网络流量高速增长。同时,网络运营商之间的竞争也逐渐激烈,以高投资为特征,追求简单规模扩张的粗放型竞争模式已经不适应当前的形势。挖掘现有网络资源潜力,控制网络互联成本,提供有吸引力的增值业务,提高网络运维水平成为在激烈竞争中的制胜策而要实现这些,都离不开可靠、有效的网络流量监控的有力支撑。
1 网络业务服务器流量分析
设备一般位于局域网或者城域网与外部IP网络相联的网关上。将局域网或者城域网用户访问外部IP网络的服务器定义为网外服务器,这些服务器上承载的业务为网外业务。
由于网内用户每天访问的服务器是随机的,每天网络流量监测系统截获的网外服务器数量必定也是不确定的。一天内服务器承载的总流量也是不确定的。但是一周内某些服务器出现的频率却存在着稳定性,根据一周内服务器出现的频率分组,分别研究所分的服务器组网络流量特征。
一天内不同服务器承载的流量占当天总流量的百分比是不同的,本文忽略了承载流量较小的服务器,仅选取一天内承载总流量90%以上的服务器,并按照上述方法选取一周内(7天)的服务器集合作为分析对象。而总流量又分为了上行数据和下行数据,即网内用户请求网外服务器时发出的流量和网内用户接收网外服务器响应请求的流量。因此可以分别针对上行流量和下行流量得到一周内服务器集合作为分析对象。对于特定业务的上下行数据也可以得到服务器集合作为分析对象。
2 chat业务服务器流量分析
Chat业务表示各种即时通信业务的总和,即时通信(Instant Messaging,IM)作为通过Internet即时和他人联系的一种方式,其互动性非常强,而且价格便宜,对于大多数人`来说,通过即时通信进行沟通比电话来得实惠,因而即时通信受到网民的普遍喜欢,即时通信既然广受公众和企业的喜欢,社会对IM的接收与企业对IM的需求正处于一个激增的趋势,随着它的进一步被应用,即时通信必然能够形成一个很大的市场。对即时通信业务的研究也就具有了其商业价值。
在一天中网内用户访问网外承载chat业务的服务器数量有限,所以直接取这些服务器作为统计数据。
2.1 服务器频率分析
作为一周内的统计数据,服务器出现的最大频率为7次即每天中均存在网内用户对这些服务器的访问,最小为1次即一周内仅在一天内存在网内用户的访问。
表1中:一周内承载chat业务的服务器共计29台,在一周内服务器仅出现1次的服务器共15台,占总服务器数的50%,出现7次的(即每天均出现的服务器)共3台,占总服务器数的13.3%。由此可见承载chat业务的服务器在一周内仅有一天收到网内用户访问的服务器占据了总的访问服务器数量的一半。这些服务器,并不是网内用户主要访问的服务器。
将一周内服务器按照出现频率进行分组,统计各个服务器组承载的总流量。各服务器组承载的流量占一周内总流量的百分比如表2所示。
在表2中,表明一周内每天都出现的服务器承载的上行流量占总上行chat业务流量的28.5%,承载的下行流量占总下行流量的65.2%,而这些服务器台数只占总服务器台数的13.3%。出现1次的服务器承载的上行总流量占总上行chat业务流量的5.04%,承载的下行流量占总下行流量的13.35%,而这些服务器台数却占总服务器台数的50.0%。
图1中列出了承载chat业务的服务器上下行数据间的关系,其中按照业务上行流量的大小排序。有上图可见220.181.12.101 与220.181.15.128这两台服务器承载的上下行流量差异很大。
将上行业务服务器承载的流量按照100kbit划分区间,其中横坐标表示各个区间代表的流量。纵坐标表示在此区间内存在服务器的台数。
2.2 服务器流量概率分布
2.2.1 上行流量概率分布分析
将上行chat业务按照流量排列后其柱状图如图2所示,其中纵坐标表示该服务器一周内承载的总流量。
服务器上行业务流量的p-p概率分布图如图2所示。
图中的样本点基本与满足weibull概率分布的直线逼近。可以近似认为满足weibull概率分布。
2.2.2 下行流量概率分布分析
服务器上行业务流量的p-p概率分布图如图3所示。
图中的样本点基本与满足lognormall概率分布的直线逼近。可以近似认为满足lognormal概率分布。
3 结束语
总的来说,在网络设备上配置网络流量监控系统,对网络流量进行分析和监控,好处还是显而易见的。特别是对于网络流量负荷比较大的网络。可以有效的节省网络带宽和处理资源。也可以作为计费或者流量控制或者网络规划的参考。
参考文献:
[1] 谢希仁.计算机网络[M].大连:大连理工大学出版社,1996,2(2):170-174.
[2] 谭思亮.监听与隐藏-网络侦听揭秘与数据保护技术[M].北京:人民邮电出版社,2002,25(4).117-121.
【关键词】安全管理;教育城域网;上网行为管理
教育城域网是通过宽带骨干网连接教育局内部网和校园网的传输网络,它以网络技术为依托,以各种信息设施为支持,以教育软件和资源为基础,以实现现代化教育和管理为目的,为区域教育提供全方位信息化应用服务。教育城域网在运行管理中,普遍存在网络管理质量、方法和技术不够完善的情况,使教育城域网的安全管理现状不容乐观。本文以教育城域网为分析对象,对其中的安全管理问题进行初步探讨,以寻求经济、有效的安全管理方法和建议。
教育城域网是各中小学校及教育机构服务的教育专用网络。我区共接入网络节点190个,网点遍布全境,网内计算机数逾万台。网内业务有:网络教学、网络备课、学校管理、基础教育资源库、远程教育、教育管理等。
我们希望以业务分析为切入点,合理分解各项安全管理责任;但又能有机地组合成一体化的管理架构。
1.区教育城域网的网络结构与组织架构
1.1 评估业务流量,选择接入模式
因为教育的特殊性,学校数量与规模呈金字塔和倒金字塔型结构。幼儿园学校数最多,但校内终端数量少,网络流量小;往上,小学数量多,校内终端数量较少,网络流量也较小;直至高中,学校数少,但校内终端数量多,网络流量大。如:部分学校教师计算机数即逾300多套,学生机房7个,其它专用计算机30多套;而小如村级幼儿园,仅2套左右计算机;所以,在网络接入时,由校内终端数来测算流量,选择不同网速的接入模式。
根据接入终端数量与网络流量的大致测算,分为百兆光纤接入模式与ADSL接入专网模式,其中:光纤接入网络节点82个,ADSL接入网络节点108个。按当时的网络业务,给每台计算机估算流量为512K,以平均75%的同时上网台数测算,确定接入模式(如表1所示)。
因为使用了ADSL接入专网,使教育城域网服务网点的半径得以较大扩展。
1.2 合理分隔网络,落实管理责任
姜堰教育城域网在初期规划时,曾在建设三级交换网络与VLAN分隔的交换网络、路由分隔的互联网络等方案上做过选择,如何能较好地落实管理责任也是考虑的重点。因网点分布较散,而维护实力较弱,三级交换网络方案因多个学校在一个广播域内,增加了安全隐患,在第一时间被否决。考虑到VLAN的终端管理数量及其网络安全方面的原因,最终我们选择了路由分隔的互联网络方案,如图1所示。
使用路由来分隔主干网与各终端另一方面也是基于对网络安全的考虑,教育城域网内存在着大量非信任网络与不安全网络,通过路由可以较好地分隔网络。并且路由可阻隔一些基于二层协议的用户攻击行为和广播风暴、ARP欺骗等,减少非法流量对主干网的骚扰,对部分网络蠕虫的传染也可以起到一定的阻隔作用,在发生网络攻击时,也便于对结点的分离。但其的缺点也是明显的,降低了交换速度并容易形成流量瓶颈,限制了某些网络应用的使用。但根据普教网络的应用来看,这样的缺点并不足以严重。
在设备维护人员的安排上,根据与电信局达成的协议,其中光纤接入的网络节点由市教育信息中心与各接入单位负责保障,ADSL网络节点的维护由电信安装维护组负责保障。在光纤接入的网络节点管理上,由市教育信息中心负责主干网的保障,由各接入单位负责其局域网内的网络安全。
这样,较好地解决了设备保障方面的问题。最终落实了各单位管理责任,分解了管理任务。为实现安全管理打好基础。
2.教育城域网面临的安全问题与应对策略
2.1 主要的安全风险
因服务器群与普通网络终端承担的功能有较大的差异,服务器的安全风险远高于普通的网络终端。所以,服务器群的安全防护也应高于对网络终端的防护。下面对存在的安全现状进行简单分析。
2.1.1 网络安全现状分析
教育城域网中的计算机系统管理比较复杂,要求所有的终端系统实施统一的安全策略是非常困难的,即使有计算机出现了安全问题,要追踪查找用户也比较困难。同时,网络环境较为宽松,为适应各种应用,教育城域网主干网是充分开放的。在教育城域网内面临的主要威胁包括:计算机病毒、电子邮件病毒、蠕虫病毒、特洛伊木马、入侵攻击等等。除此之外,对网内发起的不良信息的控制也是比较重要的内容。
同时,网络资源的不良使用也很严重,往往一些非主要业务(如:迅雷、BT等)占据大量带宽,造成网络的涌堵。
2.1.2 服务器安全现状分析
服务器为网络内各终端提供着各类网络应用,如:WEB、FTP、MAIL、VOD、BT等等各类应用,都需要与服务器沟通。所以,服务器也成为网络环境中,最容易引起攻击的目标。服务器的安全也直接影响着提供服务的质量。
服务器的安全除了物理安全外,还存在着其它的安全威胁,如:机密数据的泄露、数据丢失和数据损坏、数据修改、拒绝服务、软件错误等。
我们一般使用硬件防火墙来阻挡拒绝服务,用冗余磁盘阵列(RAID)和备份措施来解决数据丢失和数据损坏,而用数据加密来防止机密数据的泄露,用充分的测试来发现软件错误等。
当然网络上面最多的安全问题是数据修改,如:SQL注入、后门入侵等。这问题需要结合多种手段综合处理,如:合理分配权限、使用防篡改程序等。
2.2 应对策略
2.2.1 网络安全的应对策略
2.2.1.1 异常流量监测
网络中的安全攻击、蠕虫病毒以及垃圾流量等都会导致网络流量的异常。所以,做好网络的流量监测是做好安全管理的一个手段,通过对异常流量的监测与发现,能够把网络中的不稳定因素给及时发现,并加以处理。
因我区教育城域网采用的是路由分隔的互联网络,我们在核心交换机处,能获得各网络节点的即时流量。同时,网络节点的数量较少,监控的范围也能得到适当控制。当然,也可以配置交换机的SNMP,然后用prtg之类的软件监控端口,以观察各网络节点的流量。如果出现类似蠕虫病毒大规模暴发等现象时,流量必然会出现异常,通过监测就能较早发现问题的来源,及时介入。
2.2.1.2 上网行为管理
因教育城域网上面有着不同的业务平台,在主干网络上无法进行过多的限制。如何规范上网行为,以保证正常业务的开展,但又能避免网络资源的滥用,以及防范其它风险。我们考虑在各中小学网络节点出口处以及各ADSL接入后,布置上网行为管理类设备(如图2所示),对各段网络(即对校内网络的管理)分别进行管理。
上网行为管理是指帮助互联网用户控制和管理对互联网的使用,包括对网页访问过滤、网络应用控制、宽带流量管理、信息收发审计、用户行为分析。使用上网行为控制设备后,可有效防止:a.防止无关网络行为影响工作效率;b.防止带宽资源滥用;c.记录上网轨迹满足法规要求;d.管控外发信息,降低泄密风险;e.防止病毒木马等网络风险;
在使用上网行为管理设备的学校内,要求:a.根据时段限制一些网络应用的使用,不能在上班时间内进行网络游戏、炒股、网络聊天等行为的发生,即对相关应用进行了封堵,上网行为管理设备可通过检测网络数据包中的特征码来对常用的软件和应用进行封堵。b.对各接入计算机进行流量分配,限制如P2P之类的应用大量挤占带宽的情况。c.在全面管控用户网络行为的同时,要求详细记录用户的网络行为,如:访问的网址、的信息、收发的邮件和QQ的聊天内容等,并把它保存于日志服务器内,以备事后的安全审计。d.使用了上网行为管理设备后,也减少了网络病毒与木马的感染。
2.2.1.3 安全审计
教育城域网络在保证充分开放的基础上,又要建立责任追查机制,所以,我们加入了安全审计方面的内容。为上网行为管理设备增加日志服务器,用来保存一段时间内的上网行为数据。以防在出现安全问题后,能通过审计的方式来还原问题的发生,以追查相关的责任人。
2.2.2 服务器安全
2.2.2.1 “最少权限原则”
最少权限原则可以用来提高计算机系统的安全性。它是一个基本的、但又是非常重要的而且容易为我们忽略的原则。该原则包含如下内容:
一个用户(或者一个进程)应该拥有能够执行分配给他的任务的最低级别的权限。
遵循该原则,我们在服务器群端接入网络防火墙,以控制网络对服务器的访问。对提供网络应用的服务器仅开放了有网络应用的端口,在防火墙端进行了访问控制列表(ACL)设置。在服务器的设置中,根据应用合理开设用户与设定权限,尽可能的提供最小化权限,以尽可能减少黑客入侵的渠道。
2.2.2.2 容灾与备份技术
容灾备份技术是在引起系统非正常停机的事件后,保证生产系统的数据尽量少丢失的情况下,保持生存系统的业务不间断地运行的手段。对于数据丢失和数据损坏,只有一种真正的保护措施:备份。
我们针对服务器一般进行本地容灾,双机热备技术能较好地解决单机故障引发的网络服务中断问题。同时,为保障数据的安全,对数据应该进行热备与冷备相结合的方法,对重要数据定时定期进行网络备份。
2.2.2.3 网络防火墙与入侵检测技术
硬件防火墙与入侵检测技术是保障系统安全的重要手段,硬件防火墙除了可以通过访问控制列表(ACL)限制网络访问,还可以对高层协议的攻击特征进行识别以抵抗如:DOS等的能力。入侵检测(IDS)则可以在各服务器端布署监测点,以从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。入侵检测是防火墙的合理补充。
安全管理是一个永恒的话题,网络危害和安全防护总是在不断地发展。我们在依赖人员职责落实的同时,也更应依赖于管理制度及各类技术手段,以建立完整的安全管理体系,还网络以平静安宁。
参考文献
[1]苏秀强,梁启荣.中学校园网建设和应用初探[J].
[2]张玉良.多媒体技术应用[M].合肥:安徽大学出版社,2004(7).
关键词:流量控制;选型
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2013)16-3713-02
当网络终端用户越来越多、需求越来越大的时候,网络就会越来越“卡”。然而盲目的增加带宽,往往不能解决问题。其根本原因不在于道路“窄”,而在于“乱”。流量控制设备能够精确锁定网络应用,为其划分行走规则,上万个用户都各行其道,不再相互抢占资源,解决网络拥塞,降低扩容成本。同时,能够使网络拥有智能化业务感知能力,可帮助运营商实现多种的增值服务,如接入检测、应用分流,还支持运营商与高校网络的搭桥互联,实现双网互通等等。帮助运营商拓展市场,增强服务能力,进而增加收入。
对于现代企事业、高校企业来说,网络在公司的作用是至关重要的,因此选择合适的网络流量控制设备就成为了一个大难题了,通过选购网络流量控制设备过程中的实际经验,来给更多的高校、企业提供一些参考案例。
1 背景
三峡电力职业学院、中国能建职工培训中心搭建了用户接入量规模达5000多户的网络。然而,两条千兆和两条百兆接入,仍然不能满足用户群体的需要。每天客服中心都接到不同的投诉,大多数投诉主要集中在反应上网速度慢的问题。在暂时不能进行扩容的情况下,如何解决好这个问题,为此头痛不已。
理论上来说,5000户平时的并发量应该不至于引起网络的崩溃,因为一般上网的用户浏览网页、进行游戏,不会使用太多的带宽资源。根据设计单位的用户和带宽比建议,是完全足够使用的。然而大家对一些终端用户使用P2P下载、尤其是pps等视频软件泛滥使用导致网络速度过慢一直深信不疑。因此经过大家讨论和领导的许可,网络中心打算找几家相关的设备厂商来测试一下,一方面是找出导致网络堵塞的元凶,另一方面也是希望能找到一个合适的产品,让终端用户的网络体验更加舒服。
2 国内外厂家分析
专业的流控设备国内的厂商有国外的也有国内的,国外主要有ALLOT、Sandvine,思科的SCE、PACKETEER等品牌。这些设备性能不错、运行稳定。但是价格很高、国内协议识别率较低、用户界面不太友好,功能偏少,有种水土不服的感觉。cisco、Sandvine、H3C的流控产品通用性不强,安装调试过于繁琐、价格很高、协议识别有点提高。国内品牌现在也不少了,锐捷的ACE、网络掌门、Panabit、城市热点、青莲、北邮宽广、信风、华为、金御、西默、纽盾、华夏创新等都是国内品牌。迈科、Acenet(冰峰网路)是国外品牌旗号的国内产品。迈科曾经是以色列的L7的,采用的L7的技术。
2.1国内厂家分析
目前解决流量拥堵的手段基本是靠流量控制设备来进行带宽资源的管控和调节,这种厂家国内非常多,通过推荐联系了几家国内设备来测试。测试要求中对于设备的稳定性需要特别重视,要求CPU、内存占用率不能太高。这主要是考虑系统负荷超载的情况,如果CPU、内存占用率居高不下,对于串行设备来说,长时间运行下来可能会发生故障,引起网络中断,造成通信事故。然而在测试设备中。一些设备虽然勉强顶住5Gbps全流量的压力,但是查看CPU占用率居然高达90%;有些设备一上线就崩溃了,连一条千兆链路的压力都没有顶住。
2.2 国外厂家分析
国外厂家的品牌设备,虽然在设备性能参数中不及国内设备性能参数。但是,使用起来发现国外设备性能稳定性大大超过国内设备,或许国内外厂家对性能参数理解不一样。可是外国品牌设备不仅价格高,而且对常用的迅雷、QQ等“中国特色”的协议都不能支持的很好,特征库的更新速度也不够及时,再加上全英文的界面不大适合国人的操作习惯。
3 测试过程
通过一段时间的测试,对国内外设备的测试。最后还是选中了国内的设备,符合国内网络环境特征的发展。流量控制设备在所有链路接近满负载的同时,其设备的CPU占用率低于50%。接着又开启所有相关功能,启动复杂的控制策略。其设备的CPU占用率在80%左右波动,但是网络运行基本正常。又测试了设备的BYBASS功能,当断电、硬件故障、系统死机等,系统自动切换到Lan Bypass状态,保持网络连通。通过设备的测试过程,可以通过以下几个方面对流量控制设备的选购进行综合考虑:
3.1 产品性能
单台设备要求对高端规格大包吞吐量不小于4Gbps,未来可以平滑过渡到8Gbps;64字节小包吞吐量不得低于1.8Gbps;支持连接数不小于300万,可平滑过渡到500万;在全线速转发处理时延小于50微秒的性能要求。能够在遇到突发流量,特别是遇到病毒攻击等情况,不容易造成设备死机。
在网络都是满负荷运行情况下,所谓的“千兆线速”,极限一般是单向980Mbps――即双向约2Gbps。有很多厂商都在这个地方故意模糊自己的指标,单口最多只能处理650Mbps,他们就做成三进三出,然后说自己能达到4Gbps的处理能力。可是这样的性能指标,只要一条链路的流量打满,他们设备基本就崩溃了。所以千万要注意单链路的处理能力,如果他们有4个口,那总吞吐量是4Gbps才对,如果是6个口,总吞吐量一定要是6Gbps,否则就会在网络满负荷时出问题。
3.2 各种网络协议的精确识别
目前网络技术发展迅速,各种网络应用层出不穷,协议识别率不得低于95%。针对这种情况,网络流量控制设备除了能够精确识别目前网络中主流的网络协议外,还能够尽可能多对一些小应用的协议进行识别,能够区分迅雷、网际快车等下载工具的HTTP下载和IE浏览器下载,对加密类应用(如加密BT、加密迅雷、Skype、edonkey等)进行识别。同时具有快速更新协议库的功能,每种新协议的出现,网络流量控制设备厂家能及时跟踪并有针对性的更新协议库,方便客户更好的对本地流控系统进行策略的修改。对加密协议的识别,其他厂家主要是基于端口,识别率很低,Panabit对加密协议识别是国内做的最好的,检验协议识别是否准确,测试时可以做阻断策略,察看是否阻断成功和是否影响其它应用。
3.3 流量控制
对网络流量控制自如,并且在图表上反映出来,这是很考验设备的功能和性能的真实水平的。利用分时自动控制,要求设置22:35、22:40、22:43时,将P2P下载的400Mbps流量分别改为500Mbps、600Mbps、700Mbps。结果从测试情况来看,流量成一个阶梯形上升,系统响应速度非常的快。如果能做到这一点,就说明设备在流量的控制方面有一个非常高的精度,在流控功能和性能上有一个很好的表现。支持策略嵌套,即在同一条管理策略里,既可以针对特定对象(IP或应用)进行总的数据通道控制,也可以单IP限速,同时可并列匹配“DSCP标记”、“对端抑制”等参数,实现策略的高度灵活性和简洁性。
3.4 监控统计、日志流量等相关参数显示
这一点比较容易评价的,看看设备的图表就可以知道了。图标需要提供整个系统、各链路的流量和连接数统计图表;最近10分钟流量、累计流量、并发连接数统计等等图表。监控统计出来的相关数据和图形,通过科学的依据、结合用户特点,制定符合用户习惯的管控方案。对各类情况做出正确的处理。在监控统计功能中,可以发现网络中的主要应用并不仅仅是P2P下载,还有很大一部分是P2P的在线视频流量。所以针对P2P的在线视频流量做出必要的管控。能够通过SYSLOG格式向第三方设备输出URL访问、DNS查询事件等日志,方便审计网络中各类不健康的网络行为。
3.5 特征库升级等售后服务
通常情况下,只有设备遇到问题时,才想到售后。但是高额的维修费用,让人望而祛步。在采购初期,售后服务和系统升级等服务很容易被忽视。随着网络的发展,各种流量的特征具有形式样式多样化、变化速度快等特征,所以流量控制设备特征库的升级就至关重要。
4 结论
通过本次测试,流量控制设备在功能上都大同小异,但是表现方法各有不同。现在这方面的技术术语也比较混乱,所以要采购这类设备的时候千万注意别被忽悠了。不少厂家有一些其他的功能,一般都不是很核心的,功能越多价格也越高。所以要通过测试,根据自己的实际需求进行选型。
参考文献:
[1] 常莉.浅析校园网络流量的监控策略[J].信息与电脑:理论版,2010,2010-2:45-48.