时间:2023-05-29 17:49:38
开篇:写作不仅是一种记录,更是一种创造,它让我们能够捕捉那些稍纵即逝的灵感,将它们永久地定格在纸上。下面是小编精心整理的12篇存储设备,希望这些内容能成为您创作过程中的良师益友,陪伴您不断探索和进步。
关键词:MEMS;OS管理;调度算法
一 引言
MEMS(Micro ElectromechanicalSystem,微机电系统)存储器是一种新型存储器件,具有高密度、低功耗、非易失、多探针并行访问等特点,相对于传统磁盘具有明显优势。可以填补RAM和磁盘之间的性能差距,可在计算机系统中承担多种角色,为新型高性能海量存储系统结构研究带来新思路和新方法。
二 MEMS存储设备的请求调度算法
(一)磁盘的请求调度算法
第一种是最简单的、性能最差的先来先服务(FCFS):第二种算法是循环查找(CLOOKLBN)。这种算法是按照LBN升序的方式进行服务,也就是说当所有请求的LBN都落后于当前请求的LBN话,就从涉及到最小LBN的请求开始服务:第三种是最短寻址时间优先(sSTF—BN),主要思想是选择具有最小寻址延迟的请求,但是在实际应用中却很少使用。因为很少有主机操作系统具有用计算实际寻址距离或者预测寻址时问的信息,考虑到磁盘LBN到物理位置的映射的关系,大部分的SSTF算法使用的是最近访问的LBN和目标LBN之间的距离作为访问时间的近似,这种简化对磁盘是有效的:第四种是最短定位时间优先算法(SPTF),选择具有最小定位延迟的请求,对磁盘来说,SPTF算法与其它算法显著的不同在于它需要考虑寻道时间和旋转延迟。
将四种调度算法应用到Atalalok上,统计随机负载在不同的请求到达频率下Atlas l0k的响应时间。FCFS的性能是四种调度算法中性能最差的,同时,FCFS的性能随着负载请求的增加性能最快达到饱和。SSTFes LBN的性能比CLOOK LBN要好,SPTF的性能最好,而且SPTF性能达到饱和的速度最慢。
前三种调度算法((FCFS CLOOK LBN和SSTFes LBN)可以利用主机的软件系统简单有效的实现。考虑到磁盘LBN到物理位置的映射关系,实现这三种调度算法不需要详细的设备信息,只需要根据请求的LBN号来选择要服务的请求。SPTF算法通常是在磁盘驱动器的固件中实现,SPTF算法需要磁盘状态的准确信息、LBN到物理位置的映射信息、寻址时间和旋转延迟的准确预测信息等。
(二)MEMS存储设各请求调度算法
为了方便的将MEMS存储设备应用到计算机系统中,MEMS存储设备利用与磁盘相同的接口。为了证明现有的磁盘请求调度算法同样适用于MEMS存储设备,将上节中四种磁盘的请求调度算法应用到MEMS存储设备上。多数的请求调度算法,如SSTF LBN和CLOOKLBN,只需要知道LBN的信息,将LBN之间的距离作为定位时间的估计。SPTF算法涉及到寻址时间和旋转延迟。而MEMS存储设备只存在x轴和Y轴方向的寻址,没有旋转延迟。与磁盘相同的是,寻址时间是一维的,接近一个线性的LBN空间。与磁盘不同的是,MEMS存储设备在两个方向的寻址是并行完成的,选择较大的作为实际的寻址时间。由于x轴方向存在稳定时间,x轴方向的寻址时间总是比Y轴大。如果Y轴的寻址时间比较大,SPTF的性能仅比SSTF略有优势。利用Disksim。将磁盘的调度算法应用到MEMS存储设备上,统计不同的请求到达频率的随机负载下的平均响应时间。
四种调度算法在MEMS存储设备上具有和磁盘类似的性能:FCFS性能最差,SPTF性能最好。但是,FCFS和基于LBN的算法之问的差距比磁盘小。因为在MEMS存储设备寻址时间在整个服务时间中占很大比例。CLOOK LBN和SSTF LBN性能差距要比磁盘小。
三 数据布局策略
(一)小粒度非顺序访问
MEMS存储设备数据访问具有与磁盘类似的特性,短距离寻址比长距离寻址要快。与磁盘不同的是,由于弹簧的回复力的存在,使得不同位置上触动器作用力的影响不同。弹簧作用力对每个tip的访问区域不同位置的影响。弹簧的作用力随着sled位移的增加而增大,对于短距离来说定位时间反而较长。因此,在考虑查找小粒度、常用的数据项的时候,除了考虑寻址距离,还要考虑sled距中心位置的距离。
(二)大粒度顺序访问
MEMS存储设备和磁盘的流传输速率相似:Atals 10K的流传输速率是17,3-25,2MB/s,MEMS存储设备的流传输速率为75,9MB/s。MEMS存储设备的定位时间比磁盘低一个数量级,对MEMS存储设备来说,定位时间对于大批量数据传输影响很小。例如:一个256KB的读请求在X轴不同位置上的服务时间,在1250个柱面的不同请求之间的服务时间仅差10%。同时减少了大粒度、顺序传送的数据对局部性的需求。但是,对磁盘来说,寻址距离是影响寻址时间的重要因素。同样,对一个256KB大小的请求,长距离寻址时间可以使整个服务时间增加1倍。
(三)双向数据布局
为充分利用MEMS存储设备的访问特性,引入了一种双向布局策略。小数据存放在最中间的小区域中,大的、顺序的流数据存放在外围的小区域中。这种策略可以采用5X5的网格方式实现。
在假设各个请求内部不存在相关性的前提下,比较双向布局、“organ pipe”布局和一种优化的磁盘布局的性能。在“organpipe”布局策略中,最经常访问的文件存放在磁盘最中间的磁道上,使用频率稍差的文件存放在中间磁道的两侧,最不经常使用的文件存放在靠近最内部和最外部磁道上。这种布局策略对磁盘是优化的,缺点是需要根据文件的使用频率定期的移动文件,还需要维护文件的一些状态来记录文件的使用频率。
四 MEMS存储设备故障管理
(一)内部故障
磁盘常见的故障有两种:可恢复故障和不可恢复故障。MEMS存储设备也会出现类似的故障。但是,MEMS存储设备可以采用多个探针来弥补组件故障,包括可能会导致设备不可用的故障。
关键词:主机防信息泄漏;移动存储设备;信息过滤
中图分类号:TP311 文献标识码:A文章编号:1009-3044(2010)04-0850-03
Filter the Sensitive Information to Prevent the Information Flowing into the Mobile Storage Device
MA Yun
(School of Information Science and Engineering, Lanzhou University, Lanzhou 730000, China)
Abstract: Following the rapid development of information construction, the resource of military information becomes the core element. The mobile storage devices such as the USB device and mobile disk are used to exchange information more and more usually because of their convenience. Those devices become one of the major ways of host information leakage. This paper researches that: basing on the AC automatic machine, presents an algorithm with multiple keywords and multiple encoding to filter the sensitive information transmission from host to the mobile storage device and prevent host sensitive information flowing into the mobile storage device.
Key words: host information leakage prevention; mobile storage device; data filtering
由于计算机的普及应用,特别是移动存储设备的即插即用性和便携性,大量信息通过移动存储设备进行传输和交换,方便了信息共享,同时也带来了安全隐患。如果信息中包含大量的内容,一旦泄漏到外界,将造成无法挽回的损失。
如何对移动存储设备进行安全管理,防止主机机密和敏感信息通过移动存储设备泄漏,已成为目前所关注的重点。本文通过对主机敏感信息过滤技术进行研究,设计敏感信息过滤算法,并通过实验验证算法的效率和有效性,进而实现对通过移动存储设备传输的信息进行过滤,从而达到防止主机敏感信息通过移动存储设备泄漏出去的目的。
1 信息过滤技术简介
信息过滤是指从大量的数据信息中过滤满足用户特定需求信息的过程,这与信息检索(Information Retrieval, IR)的工作方式极为相似,都是从用户的目标出发,就用户的特定信息需求进行搜索,不同的是信息检索是在相对静态的结构化数据库中对用户短期的特定信息需求进行的获得式搜索,而信息过滤是在海量的动态的非结构化或半结构化数据中对用户长期的特定信息需求进行的过滤式搜索,即信息检索有相对固定的信息库和千变万化的检索需求,而信息过滤则有着相对固定的用户需求和动态变化的信息流。在用户需求的表示和目标上,信息检索是依据检索词的组配来选择相关条目,而信息过滤则是依据用户兴趣模型来过滤相关的信息 [1]。
2 敏感信息过滤流程
在信息系统中,处理的数据可以是有结构的,也可以是无结构的;可以是数据库中的具体数字,也可以是文件系统中的文档;可以是文本,也可以是多媒体。本文中的基于内容的敏感信息过滤算法是指运用基于AC自动机的多关键词多编码匹配算法对移动存储设备拷贝的主机信息内容进行敏感信息过滤,防止主机敏感信息传输至移动存储设备。其方法是:设定一定数量的关键词,在移动存储设备预拷贝的主机信息中进行多关键词匹配,根据匹配算法对移动存储设备拷贝的主机信息进行过滤。如果匹配成功,则阻止移动存储设备拷贝信息,反之移动存储设备则正常拷贝信息。
基于Win32的应用程序是消息驱动的,应用程序所采取的任何动作都依赖于它所获得的消息类型及其内容;Win32系统提供了一种机制即钩子(hook),通过它应用程序可以监视系统中的消息传递并能够在它们到达目标窗口之前对其进行处理。
敏感信息过滤利用钩子机制对写入移动存储设备的信息流进行检索,通过基于内容的模式匹配算法对可能写入移动存储设备的主机敏感信息进行过滤,防止主机敏感信息通过移动存储设备泄漏。
本文选用标准Windows钩子方式,即用钩子函数把监视代码嵌入到系统与目标应用程序之间,其流程如图1所示。
1)创建并加载钩子函数。创建一个DLL文件,该DLL中包含用于信息传输过滤控制的钩子函数。将该钩子函数加载到Explorer进程空间中,监视所有从系统消息队列发往Explorer的消息。如果拦截到向移动存储设备写入文件的消息,则启动信息过滤过程。
2)对磁盘写缓冲中的数据流进行过滤。信息过滤过程使用AC自动机匹配算法对磁盘写缓冲中即将写入移动存储设备的数据流进行敏感信息检索。该匹配算法将在下文详细介绍。
3)对移动存储设备信息传输进行控制。如果在数据流中检索到敏感信息,则清空磁盘写缓冲,并通过警告对话框向用户提示数据中含有敏感信息,不能拷贝。否则继续数据传输过程。
3 基于AC自动机的多关键词多编码匹配算法
目前存在多种编码方式,如ASCII、Unicode、等等,将不同语种的字符空间映射为编码后的字节进行存储。而主机信息是按比特方式传输至移动存储设备,所以对传输信息的内容进行敏感信息过滤可以采用比特流过滤的方式,这就需要对各关键词的不同编码方式进行匹配。本文通过构建多关键词多编码二叉树(Multiple Keywords and Encoding Model Tree, M2KE-Tree)的方式完成基于AC自动机的多关键词多编码的匹配算法。
在单模式匹配算法中,典型的有KMP算法[2]和BM算法[3]、蛮力算法(Brute-Force)[4]等。在多模式匹配算法中,Aho-Corasick自动机匹配算法是最著名的算法之一。本文将Aho-Corasick(AC)自动机匹配算法应用于移动存储设备防信息泄漏的信息过滤中,以提高多关键词敏感信息的检测效率,同时本文利用二叉树对AC自动机进行描述。
AC自动机的匹配算法基于一种模式树[5]。一个模式集的模式树指的是具备如下性质的一棵树T:
1)T的每一条边上都用一个字符作为标签;
2)与同一节点相连的边的标签均不同;
3)对于模式集P,每一个模式p∈P都存在一个节点m,使得L(m)表示从根节点m所经过的所有边上的标签的拼凑;
4)每一个叶子节点m'都存在一个模式p∈P使得L(m')=p。
3.1 单编码二叉树
设某关键词A的B编码为1011,将它的编码以二叉树来表示,将这个二叉树称为A的B编码二叉树,其构建过程如2所示。
1)首先建立一个空节点,作为树的根节点,将第一个比特作为该节点的子节点添加到树中,设定根节点到该节点的边的数值为这个比特的值,比特值为0的节点作为父节点的左孩子,比特值为1的节点为父节点的右孩子,如图2a所示。
2)按照1)中的方式将第二个比特添加为上个比特对应的子节点,由于第二个比特值为0,因此作为第一个比特所对应节点的左孩子,如图2b所示。
3)将第三个比特添加为第二个比特对应的子节点,由于第三个比特值为1,因此作为第二个比特所对应节点的右孩子,如图2c所示。
4)将第四个比特添加为第三个比特对应的子节点,由于第四个比特值为1,因此作为第三个比特所对应节点的右孩子,最后一个节点标识为树的终结点,如图2d所示。
3.2 多编码二叉树的合成
可以根据某个关键词的多种常用编码分别构建出对应的单编码二叉树,然后将这些单编码二叉树使用“影像合成”的方法合成为该关键词的多编码二叉树;使用同样的方法将多关键词所对应的多编码二叉树合成为一棵多关键词多编码二叉树,作为匹配算法的模式树。
下面以一个实例来描述该过程,取“信息”“保密”两个词作为关键词,分别针对常用的Unicode、UTF8进行树的构建,为了便于描述,用上述编码的最后四比特来演示多关键词多编码树的构建过程,“信息”进行Unicode编码的最后四位是“0000”,进行UTF8编码的最后四位是“1111”,“保密”进行Unicode编码的最后四位是“1011”,进行UTF8编码的最后四位是“0110”。如图3所示,图中a、b表示关键词“信息”的Unicode、UTF8编码所构建的单编码二叉树;图中c、d表示关键词“保密”的Unicode、UTF8编码所构建的单编码二叉树。
将图3的a、b按照“影像合成”的方法叠加合成为关键词“信息”的Unicode、UTF8编码所对应的多编码二叉树;将图3的c、d按照“影像合成”的方法叠加合成为关键词“保密”的Unicode、UTF8编码所对应的多编码二叉树;将关键词“信息”的多编码二叉树和关键词“保密”的多编码二叉树采用“影像合成”的方法非合成为这两个关键词的多关键词多编码二叉树(M2KE-Tree),如图4所示。该树将作为对关键词“信息”、“保密”进行基于比特流的匹配算法的模式树。
3.3 AC自动机匹配算法
该算法的基本思想:在预处理阶段,把M2KE-Tree的各个节点作为状态,根节点作为初始状态,叶子节点作为终态,增加两个功能函数DD转向函数g和实效函数f作为转移函数DD将M2KE-Tree扩展成一个树型有限自动机。
由M2KE-Tree扩展所得的AC自动机M是一个六元组:
M=(Q,∑,g,f,q0,F)
1)Q是有穷状态集(M2KE-Tree上的节点);
2)∑是有穷的输入符号集{0,1};
3)g是转移函数,该函数定义如下:
g(s,a):从当前状态s开始,沿着边上标签为a的路径所到达的状态。如果(u,v)边上的标签为a,那么g(u,a)=v;
4)f(不匹配时自动机的状态转移)也是转移函数,该函数定义如下:
f(s):当w是L(s)最长真后缀并且w是某个模式的前缀,那么f(s)就是以w为标签的节点;
5)q0∈Q,是初始状态(根节点,标识符为0);
6)F?哿Q,是终结状态集(以模式为标签的节点集)
这样,在比特流检索模式的过程就转换成在M2KE-Tree中的查找过程,在检索一个比特流T时,从M2KE-Tree的根节点开始,沿着以T中每个比特为标签的路径向下查找:
1)若自动机能够抵达终态v,则说明T中存在模式L(v);
2)否则说明T中不存在模式。
以图4为基础,构造出来的自动机如图5所示,其中虚线为f函数,实线为g函数,细圈为自动机各个状态,粗圈为终态,双圈为初始态。
整个AC自动机匹配算法的输出是一个布尔值,如果输出为TRUE,说明比特流中存在与模式相匹配的串,该比特流中可能包含敏感信息,应拒绝写入移动存储设备;如果输出为FALSE,则说明比特流中不存在与模式相匹配的串,该比特流中不包含敏感信息,写入移动存储设备。
AC自动机匹配算法利用有穷自动机将二进制运算转换成自动机的状态转移。当一个长度为n bit的数据T进行扫描,由于对于T中的每个比特,每次仅使用g函数和f函数中的一个,因此在模式匹配阶段时间复杂度为O(n×k),其中k为整个M2KE-Tree建立的AC自动机个数。
3.4 算法实验
本文对KMP算法、BM算法、蛮力算法、以及AC自动机算法在同等条件下分别进行单模式和多模式的测试。考虑到磁盘传输速度不是匀速等原因,不考虑算法的运行时间,只考虑比特流中符号的比较次数。
实验1进行单模式测试,使用大小为512bit随机产生的二进制比特流,对单模式字符串“1101”进行匹配,结果如表1所示。
实验2进行多模式测试,使用大小为10192bit随机产生的二进制比特流,对多模式字符串“1101,1011,0011,0100”进行匹配,结果如表2所示。
由实验结果可以看出,虽然AC自动机匹配算法在单模式匹配情况下,匹配速度没有BM算法快。但是,在多模式匹配中每一个比特平均比较次数明显比其它三个算法小,而且模式越多,这个优点越明显。在敏感信息过滤中,往往需要进行多模式匹配,因此,基于AC自动机匹配算法的敏感信息过滤具有较高的实用价值。
4 结束语
本文对基于内容的敏感信息过滤算法进行设计,重点对匹配算法进行了深入分析,在此基础上提出了基于AC自动机的多关键词多编码匹配算法,并对算法进行了实验。基于AC自动机的多关键词多编码匹配算法具有小巧、速度快等优点,实现了主机敏感信息过滤,有效防止主机敏感信息的泄漏。
参考文献:
[1] 符敏慧.基于文本的信息过滤模型[J].图书馆理论与实践,2006(2):43-45.
[2] 闵联营,赵婷婷.BM算法的研究与改进[J].武汉理工大学学报:交通科学与工程版,2006,30(3):528-530.
[3] Boyer R S,Moore J S.A Fast String Searching Alogrithm[J].Communications of the ACM,1997,20(10):762-772.
对于硬盘而言,在持续高速数据存储中,关键是它的持续数据传输速率(sustained transfer rate)能否满足要求。目前,15000r/min的小型计算机系统接口SCSI(Small Computer System Interface)硬盘,总线数据传输速率为80~320MB/s,持续数据传输速率大于40MB/s。而PC机普遍配置的IDE硬盘,虽然它的总线数据传输速率可以达到33~100MB/s,但持续数据传输速率只有15MB/s左右,性能低于SCSI硬盘。
本文设计了一种专用高速硬盘存储设备,它脱离微机平台实时将高速数据送入SCSI硬盘,持续存储速率可达35MB/s(使用Seagate公司生产的ST336752LW型硬盘)。
1 SCSI总线及硬盘
SCSI是美国ANSI9.2委员会定义的计算机和外设之间的接口标准,最初是以磁盘存储设备为主,但由于它的灵活性、设备独立等特点,使之不仅在磁带设备、打印设备、光盘驱动设备等外设中得到普遍应用,也在许多I/O设备和计算机网络、计算机工业控制等领域不断发展。随着外设速率的不断提高,SCSI的性能几乎每5年提高一倍,目前Ultra320 SCSI总线数据传输速率可达320MB/s。
SCSI是设备无关的输入输出总线,可以挂接多达8个以上的设备。对于SCSI总线上的设备,如果是任务的触发者,则称为启动设备;如果是任务的执行者,则称为目标设备。通常启动设备先选择一个目标设备,继而由目标设备决定继续控制总线或释放总线,直到完成任务。本文的专用高速硬盘存储设备采用单启动、单目标结构。
SCSI硬盘在标识硬盘扇区时使用了线性的概念,即硬盘只有顺序的第1扇区、第2扇区…第n扇区,不像IDE硬盘的“柱面/磁头/扇区”三维格式。这种线性编排方式访问延时最小,可加快硬盘存取速率,尤其在持续大容量数据存储时,所显现的优势较明显。目前,操作系统内部也使用线性编号的扇区,其目的是加快介质存取速度,加大介质访问容量。
综上所述,该专用高速硬盘存储设备使用SCSI总线不仅数据传输速率高,而且在需要时可以增加设备中的硬盘数量来扩展存储空量,甚至可以把硬盘替换为其它SCSI存储设备。
2 系统结构设计
为了实现SCSI协议和硬盘存储,一般需要有微处理器、DMA控制器、SCSI协议控制器、数据缓存器等硬件支持和相应的软件控制模块。
·微处理器用来控制设备中各部件的工作,实现设备本身的特定功能。该专用高速硬盘存储设备实现数据的持续高速存储,要求处理数据的速度高。通常这些需要传输和处理大量数据的设备均选用数字信号处理器DSP作为微处理器。同时,SCSI协议中许多复杂的控制功能也需要这个微处理器来实现。
·传送大量数据大多会采用直接存储器访问DMA(Direct Memory Access)方式,因此需要独立的DMA控制器或选用内置DMA控制器的微处理器。出于简化电路和提高速率的考虑,该设备采用复杂可编程逻辑器件CPLD构造了一个独立的DMA控制器。
·要实现SCSI协议需要有SCSI协议控制器。DSP中通常不会集成SCSI协议控制器,因此一般情况下,需要选择通用的SCSI协议控制器,辅助DSP实现SCSI协议和通信。
·在设备的输入接口部分,需要有数据缓存单元。普通的存储器在写入的同时不能读取;采用双口随机存储器RAM虽然可以解决并发访问的问题,但它必需的双边地址译码又是不可忽视的问题。对于单纯的数据存储设备,不需要对数据做压缩、信号分析等预处理工作,缓存单元在结构上相当于先进先出(First In First Out,FIFO)队列,先到的数据先被存储。所以采用专用FIFO芯片,可以去掉复杂的缓存器译码电路,大大简化系统设计。而且,采用专用FIFO芯片,整个设备从外部数据接口看来,就是一个写不满的FIFO,也大大简化了对设备数据接口的操作。
专用高速硬盘存储设备的框图如图1所示。图1中各方框表示一个基本模块,括号中文字表示具体实现的器件,虚线左侧部分不属于设备模块。
该高速硬盘存储设备设计中向处理器选用了TI公司生产的TMS320F206,SCSI协议控制器选用了Qlogic公司生产的FAS368M,DMA控制器和其它外围逻辑转换电路选用了ALTERA公司生产的CPLD器件EPM7064。
TMS320C206是TI公司生产的CPLD器件EPM7064。
TMS320C206是TI公司生产的TMS320系列单片数字信号处理器中的一种低价格、高性能的定点DSP芯片。该芯片功耗低,处理能力强,指令周期最短为25ns,运算能力达40MIPS,片内具有32KB的闪烁存储器和4.5KB的RAM,是最早使用闪烁存储器的DSP芯片之一。由于闪烁存储器具有比ROM灵活、比RAM便宜的特点,因此使用TMS320F206不仅降低了成本、减小了体积,同时系统升级也比较方便。
FAS368M是与SCSI-3标准完全兼容的SCSI协议控制器,它支持启动设备与目标设备两种模式,同步数据传输速率为40MB/s。另外,FAS368M支持最大50 MB/s的快速DMA数据传。由于采用分离的微处理器总线和DMA总线结构,因此能以较高速率产生响应而不会造成瓶颈效应。
3 硬件电路及功能描述
TMS320F206、FAS368M、EMP7064和IDT7208之间的具体连接线路如图2所示。
3.1 FAS368M的信号及内部寄存器说明
图2中FAS368M的主要信号和控制逻辑如下:
·ACK、ATM、BSY、CD、IO、MSG、REQ、RST、SD0~15、SDP0~1、SEL及其差分信号,都是FAS368M与SCSI总线的接口信号。
·CS信号是读写FAS368M内部寄存器片选信号。
·RD、WR是FAS368M内部寄存器的读写信号。
·FAS368M的TNI端对应TMS320F206的外部中断INT1,当其有效时,表明有错误产生(如校验出错)、一个事件需要服务(如FAS368M作为目标设备被选中)或已结束某服务(如DMA结束)。
·DREQ,FAS368M使DREQ有效向DMA控制器(EPM7064)发出DMA传输请求。
·DACK,EPM7064对FAS368M DMA请求信号DREQ的响应。
·DBWR,DMA数据写信号。当DREQ和DACK信号均有效时,EPM7064控制该信号和缓存器IDT7208的RD信号,实现数据从IDT7208向FAS368M的同步快速传输。
FAS368M在TMS320F206的控制下实现所有的SCSI物理协议,包括仲裁、选择、消息、命令、数据、状态等各阶段规定的信号电平转化等。在设备中TMS320F206对FAS368M的控制是通过对其寄存器的读写来实现的。
·指令寄存器(Command Register),TMS320F206通过向指令寄存器写入相应指令,实现诸如FAS368M的初始化与复位、SCSI总线分配与复位、SCSI总线各阶段的迁移等所有针对FAS358M和SCSI总线的控制。
·FIFO寄存器(FIFO Register)是一个16字的FIFO寄存器,硬盘和FAS368M之间的数据都要通过FIFO寄存器。它有两方面的用途:当FAS368M通过SCSI总线向硬盘传送数据和命令时,可以先把要传送的数据和命令放在FIFO寄存器,等SCSI总线空闲,并获得总线控制权以后再开始传送;另一方面,由SCSI总线传送到FAS368M的数据,也可因为TMS320F206或DMA控制器忙而停止,数据先送到FIFO寄存器空出SCSI总线,等TMS320F206或DMA控制器空闲再从FIFO寄存器读取数据。
·传输计数寄存器(Transfer Count Register)是一个减计数器,它通常用来保存一次DMA命令所要传输数据的字节数。
·中断寄存器(Interrupt Register),FAS368M所有的信息都以中断的方式通知TMS320F206。TMS320F206通过读取中断寄存器和其他状态寄存储器判断FAS368产生中断的原因,决定下一步操作,从而实现FAS368M对TMS320F206的通信。
3.2 EPM7064内部逻辑和作用
设备中的DMA控制器由CPLD器件EPM7064实现,这主要有下面几方面的考虑:
(1)设备接口缓存器采用专用FIFO芯片IDT7208,它的数据总线可以和FAS368M的DMA数据总线直接连接,不需要复杂的缓存器地址译码电路。因此,DMA控制器不需要数据与地址总线,硬件连线可以大大减少。而配合FAS368M DMA数据传输的时序,DMA控制器只需在DMA传输请求信号DREQ有效且IDT7208空信号EF无效时,使DMA传输响应信号DACK有效,随后在时钟信号CLK驱动下连续产生同步的IDT7208读信号RD和DMA写信号DBWR,实现从IDT7208到FAS368M的DMA传输;反之,则使DMA传输响应信号DACK无效,随后停止产生IDT7208读信号RD和DMA写信号DBWR,中断从IDT7208到FAS368M的DMA传输。这些时序逻辑完全可以用一片小的CPLD器件实现,因此选用EPM7064设计了该DMA控制器。
(2)FAS368M支持高达50MB/s的快速DMA传输。一般的专用DMA控制器芯片难以胜任,而且专用DMA控制器与FAS368M的连接需要一定的逻辑转换电路,外围硬件连线也较多。同时,它还必须在TMS320F206的控制下与FAS368M一起协调工作才能实现DMA传输,又增加了软件的复杂程度。
中图分类号:TP393.08 文献标识码:A文章编号:1007-9416(2012)04-0000-00
可以说从计算机诞生的那天起,人们就没有放弃过对其硬件存储设备的研究,如今一个钮扣大小的硬件存储设备的容量大得惊人,这在以前是无法想象的,因为以前只能提供很少存储空间的硬件存储设备的体积却大得可以。
1、计算机硬件存储设备及其分类
1.1 计算机硬件存储设备
计算机硬件存储设备是指用于计算机储存信息的设备,通常是将信息数字化后再以利用电、磁或光学等方式将数据进行存储的实体电子设备。存储设备就像是计算机的“仓库”,负担着数据的存储、调出与存入。
1.2计算机硬件存储设备有哪些
计算机硬件存储设备包括硬盘、移动硬盘、内存、光驱、移动光驱、光盘、U盘、记忆棒、记忆卡等。其中硬盘、内存、光驱是最为常用的硬件存储设备,一台电脑里可不能没有它们。硬盘是其内部有若干张硬质磁盘而得名;移动硬盘是将硬盘做成能随时拆除并携带的大容量便携式硬件存储设备,它也被叫作便携式硬盘;内存因其直接参与CPU内部数据的交换而得名;光驱是用来读取光盘上面的数据而得名;移动光驱与移动硬盘类似,可以随时携带,便于读取光盘;光盘因其表面涂有若干层能起到保存数据的光感介质而得名;U盘也因U与“优”谐音而被称作优盘;记忆棒、记忆卡在一些专门的电子设备如手机、相机当中可以见到它们的身影,相当于手机或是相机的“仓库”。
1.3计算机硬件存储设备的分类
按存在形式分为可移动式存储设备与不可移动式存储设备。可移动式存储设备有光驱、移动光驱、光盘、U盘、记忆棒、记忆卡、移动硬盘等;不可移动的存储设备有硬盘、内存等。
按与CPU交换数据的形式分为外部存储设备与内部存储设备。外部存储设备有硬盘、光盘、光驱、移动光驱、U盘、记忆棒、记忆卡;内部存储设备有内存等。
2、以硬盘为代表的计算机硬件存储设备的发展状况
世界上第一块硬盘是1956年在IBM诞生的,当时只有5MB容量的硬盘却需要用小车推行;1973年,IBM又推出了首次采用“温彻斯特”架构,容量达640MB的硬盘,“温彻斯特”架构也一直延用至今;1991年,IBM磁阻磁头(MR)硬盘出现,同时硬盘的存储容量进入GB时代;1993年,IBM推出巨磁阻磁头(GMR)技术,硬盘的存储密又上了一个台阶。此后随着新技术的不断问世,硬盘的单碟容量不断攀升,现在1TB、2TB的硬盘已经不足为奇了,之所有有这样大的突破,全赖当今的硬盘普遍采用了一种名叫“垂直记录”的技术,从而使得硬盘的单碟存储密度得到质的飞跃,这还不算完,前不久硬盘厂商希捷还推出了比“垂直记录”技术更为提高单碟存储密度的新技术“热辅助磁技术”,从而使得硬盘容量向60TB迈进成为了可能。硬盘的容量不断提升着,现在还出现了固态硬盘和混合硬盘,甚至还出现了无线硬盘。未来硬盘将朝着轻、薄、容量大,存储速度快,易操控、安全性与可靠性更高的方向不断迈进。
3、网络存储及其发展分析
网络存储指存储设备通过标准的网络拓扑结构(如以太网)连接到一群计算机上。网络存储分为:附属于网络的存储即存储系统不再通过I/O总线附属于某个特写的服务器或客户机,而是直接通过网络接口与网络直接相连,由用户通过网络访问;存储局域网即利用Fiber Channel等存储协议连接起来的可以在存储资源和服务器之间建立直接的数据连接的高速计算机网络。光纤将多个存储设备和服务器连在一起,形成一个存储局域网,其中存储设备共同构成一个存储池,都能方便地添加到网络中去,具有较好的扩展性。网络存储的主要技术是Jini,它是一种新的网络体系结构,实现了网络设备的自发组网,即网络中的“即插即用”功能。网络存储中的附属于网络的存储又分为依赖于服务器和独立于服务器两种。存储局域网是目前最发展潜力的存储技术方案,未来其发展趋势将是开放、智能、集成。而附属于网络的存储则是目前增长最快的网络存储技术。未来它将与存储局域网在应用层面实现完美融合,这两个网络存储技术是当今数据备份的主流技术。
4、结语
硬件存储设备还在不断向前发展,它将是多元化的,且多种存储设备并存。网络存储是部件级的存储方法,专注于迅速帮助解决增加存储容量。网络存储通过通过光纤通道连接到一群计算机上,它主要应用于存储量大的工作环境。网络存储还专注于存储容量大的工作环境,它便于集成,能发问数据的可用性及网络性能,还可以减轻存储管理的负担。
参考文献
[1]包容玉.计算机存储设备发展史[M].信息技术出版社,2010.11.
[2]郭宇轩.网络存储的产生及发展[J].硬件学习网,2011.07.
5月28日,Dell公司宣布推出全新低价位网络存储系统Dell/EMC AX100,以轻松易用的设计和合理的价格提供了其首款针对小型企业和工作组的SAN 解决方案。
作为Dell、EMC联盟的结晶,2U的Dell/EMC AX100 阵列显著降低了部署网络存储设备的成本和复杂性,可以安装于直接附加(预置SAN)配置之中,最低配置价格约5万元人民币;或用于一整套可升级的SAN配置之中,最低配置价格为8.5万元人民币。两种配置均提供企业级的系统快照、存储容量配置和阵列管理等特性。该存储解决方案支持多达12 块SATA 设备,起始容量为480GB,最高可扩展至3TB。此外,该解决方案还提供用于管理系统部署、自动配置故障转移和数据备份的软件。双控制器和镜像缓存等冗余特性确保了重要数据的高可用性。同时,客户还能够选择最适合自身业务需求的支持服务。
戴尔(中国)有限公司, 戴尔(中国)有限公司, .cn
-王炳晨
-王炳晨
随时随地安全接入Check Point Connectra
5月20日,Check Point公司宣布推出 Check Point Connectra。这是一款具备整合服务器及端点安全保护的SSL VPN远程访问功能的硬件安全产品。通过集成Web Intelligence技术,它可以监视Web通信中潜在的恶意可执行代码,捕捉缓冲区溢出攻击及其他恶意代码,还可实现快速数据流监测,吞吐量高达1Gbps以上;通过SSL Network Extender 技术,提供非Web方式的网络级访问;独特的ZoneLab技术可防止用户身份、密码及数据被窃取,限制访问用户权限。不仅如此,Connectra 还提供了一键式远程SSL 访问,并把SSL 从服务器移至网关,大大提高安全性能。据介绍,Connectra 可与Check Point 的IPSec VPN混合使用,以满足用户各方面数据安全传输的需要。由此可见,Connectra 不仅提供安全连接能力,还在此基础之上提供全面的端点与Web 保护。
Check Point公司,.cn
-李玮
全新品牌 全力时尚SOTEC 新品亮相
5 月18 日,日本SOTEC 株式会社与中国电子器件工业总公司在北京钓鱼台国宾馆举行题为“优雅之樱 时尚燃情”的新品会,SOTEC的4款笔记本电脑新品及多款台式电脑首次亮相。这是自2004年1月9日,双方成立北京创新中电科技有限公司以来联手推出的首批产品。
4 款笔记本电脑的型号分别为AP、AQ、WA、AL。AP面向专业人士,是一款兼顾商务和家庭的高端产品,配备了IntelPentium-M 处理器、256MB 内存和60GB硬盘;AQ 强调多媒体性能,配置了DVD刻录机、电视卡和15.4 英寸屏幕;WA是针对商务用户的主流需求设计的高性价比笔记本电脑,采用Intel Celeron 处理器和30GB 硬盘;AL 屏幕为12.1 英寸,机身小巧时尚,性价比和便携性较高,采用AMDAthlon XP-M 处理器和20GB 硬盘。
北京创新中电科技有限公司
-季冰
“奥运品质”五环相扣联想产品新标准
5 月24 日,联想召开了以“品质源于实力”为主题的笔记本电脑新品会,推出A500、S620、E600A、S180M等4 款新品,并展示了其笔记本电脑对不同压力、温度等环境条件的适应能力,提出联想笔记本电脑的“奥运品质”。
S620 是目前市场上第一款屏幕可旋转的迅驰笔记本电脑,在12英寸液晶显示屏上采用了坚固的金属转轴设计。S620机身最薄处仅17.8mm,重1.6kg。该产品配置Intel Pentium-M 1.5GHz处理器、Intel 855GME 主芯片组和集成显卡。
A500 的机身表面采用了纳米喷漆技术,在防紫外线、抵御恶劣天气、耐腐蚀性、耐冲击性等方面都表现出色。该机配置Intel Pentium-M 1.5GHz处理器、Intel 855GME 主芯片组、NVIDIA GeForce FX Go 5600 显示芯片。
联想集团有限公司,
-季冰
典雅品位 主流性价HP 自由人B2000
HP 公司近日推出一款时尚商务笔记本电脑自由人B2000,其独特的时尚外观,商务主流的性能配置,对于讲求品位与个性的白领人士颇有诱惑力。
B2000 的机身外观设计独具匠心,在机身轮廓设计有45°斜角,配上富于动感变化的立体线条,整个外观简约而流畅。 B2000 还选择了富有质感的“流沙银”与 “星夜黑”作为机身与键盘的颜色搭配,在满足商务人士对于稳重外观需求的同时,也令产品充满了极强的时尚品位。
B2000 采用了Intel Pentium-M 处理器,最高配置的主频可达1.7GHz,高达 60GB的硬盘、64MB内存、24×的Combo 光驱和3 个USB 2.0 的接口,可以胜任绝大部分商务应用的需求,2个SO-DIMM插槽,还可将内存轻松扩展至1GB。
参考价格:¥10399~13299(根据配置不同)
惠普(中国)有限公司, .cn
-李林芯
POS 平台也开放NCR RealPOS 30 终端
为满足国内的中小零售企业的需要,NCR公司推出一款易于安装的销售点终端(POS)解决方案,包括新的NCR RealPOS 30终端和NCRNeighborhoodPOS 应用软件2.0 版本。
高性价比的NCR RealPOS 30 具有高端POS 终端的可靠性和安全性,结构紧凑,提供USB接口,支持Windows和Linux的POS应用。它按照符合业界标准的嵌入式组件制造,使用寿命更长。零售商不仅可以选择触摸屏、多种键盘和显示器,还可以连接打印机和条码扫描仪等。NCR NeighborhoodPOS 基于Windows 系统,支持触摸屏、传统键盘和显示器,为零售商提供一个开放的零售POS 系统,适用于各类零售商店自助结账、条码扫描以及餐饮服务的收银系统。
NCR 公司,
-杜飞龙
再接再厉爱国者8 × DUAL 刻录机
华旗资讯近期推出了一款兼容DVDRW 和DVD+RW两种格式的爱国者8×刻龙 DVD DUAL刻录机,使用户可以根据实际使用情况选择刻录模式,而不必再为选购适合刻录机的特定盘片而烦恼。爱国者8×刻龙 DVD DUAL 刻录机支持40 × CD、12 × DVD 读取和40 × CD-R、24 × CD-RW、 4 × DVD-R、2 × DVD-RW、8 × DVD+R 及4 × DVD+RW 写入,DVD 刻录速率最高可达10MB/s,充分满足用户对大容量数据快速存储的需求,快速稳定的读取性能加之高速的CD/DVD 数据刻录为现代数据存储与影音娱乐带来了新的应用空间。
另外,华旗资讯还在近期推出了一款爱国者月光宝盒FM调频发射器,它能够通过随身设备如MP3、CD等,在任何带有FM 接收功能的播放器中播放指定歌曲。
参考价格:8×刻龙DVD DUAL刻录机:¥999;
月光宝盒FM 调频发射器:¥399
关键词:移动存储设备;文件过滤驱动;读写控制
中图分类号:TP333 文献标识码:A 文章编号:1009-3044(2016)29-0044-03
随着USB(universal Serial Bus)技术的发展,计算机的移动存储介质普遍采用U盘或移动硬盘。Uu盘、移动硬盘因其体积小、容量大、不易损坏、携带方便等诸多优点而备受青睐。但在这类移动存储设备的即插即用和便携的优点背后也给信息的保密安全问题带来了巨大的压力。
调查显示:在各种安全漏洞造成的损失中,30%-40%是由电子文件的泄露造成的。因此,如何对移动存储设备进行安全管理,防止信息的泄露已经成为有关部门关注的重点。针对这一情况,我们通过对U盘的存储机制、U盘读写控制等技术的研究,利用文件过滤驱动技术实现对U盘的授权,开发了U盘存储鉴权认证系统,进一步提升了信息的安全性。
1系统设计方案
研究开发U盘存储鉴权认证系统的目的是防止外部移动存储设备未经许可就随意在主机上进行读写。通过了解Win-dows家族操作系统的总体结构、Windows重要的内核组件,主要对文件系统相关的内核组件和与文件过滤驱动技术相关的内核组件进行研究,拟采用基于文件过滤驱动的移动存储访问控制方法,该方法通过识别出移动存储设备,对其读写权限进行禁止、浏览、只读、可写的控制。
考虑到接入主机的USB设备可能还包含有鼠标、键盘等,它们大多也是基于USB接口,所以系统首先要对接入主机的USB设备进行识别,以确定是否为移动存ι璞福辉谌范接入主机的是移动存储设备后再对其进行读写权限和使用操作权限的细粒度的控制,即通过文件过滤驱动程序对接入的移动存储设备进行读写控制。总体方案如图1所示。
由此可见,该系统通过对USB存储设备的识别定位、移动存储设备权限识别和控制、存储设备读写控制等几个环节对主机信息进行防护。
2文件过滤驱动技术简介
2.1基本原理
过滤驱动属于内核模式驱动,其依靠挂载在其他驱动上,对某设备发往存在的内核模式驱动的请求进行拦截过滤,可以对设备进行功能扩展或是数据加密等,从而提供附加值。发往目标驱动的I/O(输入/输出)操作请求被过滤驱动拦截过滤(过滤指监控、修改功能驱动的数据流或指令),过滤驱动通过使用目标驱动提供的服务或者使用用户模式、内核模式软件提供的服务进行功能扩展。开发文件系统过滤驱动是为了提供操作系统不能提供的附加功能,例如操作系统一般对于移动存储设备来者不拒,用户可以对移动存储设备上的文件进行任意读写,这在信息安全管理上就是一个漏洞,本文即通过开发文件系统过滤驱动技术,在不改变底层设备驱动情况下,提供新的功能,实现对移动存储设备的鉴权与管理。
过滤驱动工作原理如图2所示:
当用户发出对文件进行读写的操作请求,该请求首先被传给I/O管理器,其先解析文件路径,找到符合该功能的文件系统驱动程序后进行发送。I/O管理器会在内部的注册表中遍历每个文件系统驱动,因此只有通过I/O管理注册的文件系统驱动才能拥有操作文件的权利。文件系统要和I/O管理器以及其他重要的内核组件进行交互。通过设计和实现文件过滤驱动,将其附加到文件系统驱动之上,就可以在I/O管理器发送IRP(I/O Request Package)给文件系统驱动程序之前截获该IRP,并根据需要进行定制。文件系统驱动程序只有一个控制设备对象CDO,主要用于接收请求控制文件系统的命令,例如查询一个卷是否挂载,该访问请求首先传递给I/O管理器,由I/O管理器检查其是否已挂载,若尚未挂载,则生成挂载IRP,传递给文件系统驱动程序的CDO,请求挂载,这时所设计开发的文件过滤驱动程序将拦截并处理该挂载操作。需要说明的是要实现这一目的,文件过滤驱动必须将自己的CDO附加到文件系统驱动的CDO之上,这样I/O管理器在给文件系统驱动程序的CDO发送IRP之前,将检查是否有过滤驱动的CDO存在,若有多层过滤驱动,则I/O管理器依据从上向下的顺序依次传递IRP请求,从而确保每个过滤驱动都有机会处理该请求。
2.2设计实现
通过上述分析可知,要达到对移动存储设备进行鉴权认证的目的,设计和实现文件过滤驱动是关键。而文件过滤驱动的设计实现的一般步骤如下:
1)过滤驱动创建设备对象后附加到目标设备对象,以拦截所有发往该目标设备对象的请求;
2)加载过滤驱动,对截获的IRP进行处理;
3)建立完成例程,供被附加的设备对象完成IRP时调用;
4)建立删除例程,在适当的时候从被附加的目标设备对象解除附加。
要实现对USB存储设备的读写功能进行控制,需要创建能对相关的IRP进行拦截、监视、修改的过滤驱动程序,通过比较论证,采用下层过滤驱动模型就能够实现对USB存储设备的安全控制。控制流程如图3所示。
首先创建过滤驱动程序,把想要实现的对IRP操作的函数加入,接着加载过滤驱动程序,过滤驱动安装到系统里面后,通过对IRP包的拦截过滤,从而实现对USB存储设备的读写操作进行控制。
3系统主要功能模块
根据设计目的,系统主要包括两个功能模块:移动存储设备识别模块,移动存储设备访问控制模块。
3.1移动存储设备识别模块
可以连接计算机的USB设备包括U盘、USB鼠标、移动硬盘、USB键盘等等,从信息安全角度考虑,我们只关心具有文件存取功能的移动存储设备(主要指U盘、移动硬盘),所以首先要识别插入计算机的USB设备是否移动存储设备。主要有两种识别方法,一种是在挂载卷时进行识别,即在USB设备插入后,文件过滤驱动程序要拦截由系统发起的挂载操作,然后通过读取设备对象的属性来判断是否移动存储设备。另一种方法是在文件读写过程中进行识别,即通过对IRP堆栈结构中包含的相关的文件对象中所管理的物理卷设备的属性的判断来进行识别
设计实现时,我们采用第一种挂载时识别的方法来判断是否移动存储设备。
3.2移动存储设备访问控制模块
访问控制模块的控制方法包含两大类:禁止访问模式与控制读写模式。其中控制读写模式又可细分为浏览、只读、可写三种访问方式。禁止访问模式即表示用户无权对移动存储设备进行任何操作,从而保护计算机上信息的安全。浏览权限下,用户只能浏览移动存储设备上的文件目录,但无权读取移动存储中的内容。在只读权限下,用户只能读取移动存储设备中的内容,不能进行拷贝或建立新文档等写操作。只有在可写权限下,用户才能对移动存储设备进行正常的读写操作。以上各种访问权限均有相应的应用背景需求。
4系统功能测试
系统功能测试包括过滤驱动程序设备句柄能否准确获得,动程序是否正确安装、挂载,功能模块的功能实现等。其中对移动存储设备访问控制功能的实现是系统设计的目标,也是测试重点。测试用到的第三方测试工具包括GenInf、Device-Tree、WinObj等。
4.1禁止模式功能测试
首先通过模式设置界面对计算机进行U盘控制模式设置,如图4所示:
禁止模式设置成功后插入U盘进行测试。结果如图5所
在禁止模式下,U盘插入计算机后,系统提示无法访问U盘。在安装了保密系统的计算机上插入U盘,系统提示“无法访问未注册盘”。
4.2浏览模式功能测试
浏览模式设置成功后插入U盘进行测试,测试结果如图6所示:
在浏览模式下,U盘插入计算机后,可浏览U盘中的目录结构,但拒绝对文件的访问。
4.3只读模式功能测试
只读模式设置成功后插入U盘进行测试,结果如图7所示:在只读模式下,U盘插入计算机后,可以只读方式查看U盘中文件,对U盘不能进行“写”操作。
4.4可写模式功能测试
可写模式设置成功后插入U盘进行写的测试,测试结果如图8所示:
在可写模式下,U盘插入计算机后,可以对U盘进行正常的读写操作。
通过功能测试可知,该“U盘存储鉴权认证系统”使主机能够灵活地对外部移动存储设备的使用进行控制,在一定程度上加强了主机的信息防护,进一步地防范失泄密事件的发生。
云存储时代来临
过去十几年间,中国的经济、科技实力进步明显,众多科技热词都随着这股“洪流”奔涌出来,云存储就是其中之一。
对于非行业人士,听闻大数据、云存储这类字眼,便不由地打个“寒颤”,顿感虚无,但其实不然,云存储作为新时代的科技产品代表,具有相当强的实用价值。它集成各种存储设备至一个平台,为人们服务。
值得一提的是,它提供的还是多样化且定制化的服务,因此,客户选择它也不仅仅是存储需求的服务,更多的是其中以客户为中心的随时可变的多样化的数据服务。
云存储的发展轨迹
据百度介绍,云存储是在云计算概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。
简单来说,云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方,透过任何可连网的装置连接到云上方便地存取数据。
总的来说,云存储是一种服务,是一种以计算机科学为载体的新兴服务,它可以是一个设备、一个工具、一个网络接口等等,它的每个部分都可利用存储作为平台来进行其他的数据访问;另外,云存储还可看做是服务器与存储设备的叠加,云技术可以大大减少服务器数量、大幅度减少数据传输环节、降低系统建设成本,提高工作效率,保证系统的稳定运行。
云存储的结构模型
云存储的整体架构也与普通设备大不相同,其不仅仅是单个的硬件组成,而是存在多个系统分布。
存储层
这是在云存储系统中最基础的部分,包含很多存储设备,利用互联网技术将这些不同的存储设备连接起来,构建成存储设备的管理系统;存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。
另外,该系统还可利用系统中的模块对设备进行监控和管理。
基础管理层
基础管理层是云存储最核心的部分,它在存储层之上,也是最复杂的部分,这个管理层利用集群分布的文件系统,实现存储设备之间的多重工作,使得存储设备可以提供新的服务,提高数据访问的可能性,保证数据的安全性;同时,通过各种技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。
应用接口层
应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,为用户提供不同的服务。
访问层
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。
云存储的优劣所在
云存储是一种功能强大、灵活多变的网络系统,首先其支持多种设备同时为一个客户服务,任何被授权的用户都可利用一个简单的网址登录其指定的系统,尽享云服务;其次云存储的容量不再受到单一限制而是根据客户的需求扩大其容量,在后台进行设备维修和升级时也不会影响到客户的存储内容;再者,使用云存储还可提高资源利用率,将数据集中起来,用户可以在任何地点,依靠单机或是移动设备随时访问数据,实现网内资源共享和协同工作,减少了传统的资源交换,提高资源的利用率;另外大大降低、有效减少移动存储设备的使用,降低了企业成本,最后也是最重要的一点是数据不会丢失。
但需要注意的是,云存储的顺利推行目前也存在着很多问题和挑战,安全问题是目前最大的一个困扰,因为其接口的公用化导致授权用户都可以对其数据访问,这是其便利的一个因素但同时是其最致命的地方。
如果是数据在传输的过程中被拦截的话,就会造成数据泄露。虽然目前很多云存储都采用了加密的手段,但因为增加了访问的关卡,无疑又造成了访问的繁琐性。访问的速度也是目前云服务无法突破的一个瓶颈,另外,数据的所有权也是云存储的一大问题。
用哲学的观点来看这个问题,问题和矛盾是永远存在的,技术的探索与使用虽然可能会发生各种各样的故障,但没有哪一项技术可以做到完美无瑕,我们必须接受这个事实,最好找出问题解决它。
云存储的交互应用
与存储联系最紧密的莫过于数据,我们无时无刻不在产生数据,而且这个量是非常巨大的。但我们鲜有人了解它,甚至知道它,这些数据产生出来需要我们去存储起来以便后期的挖掘与分析,而这,正好是这两者的交集所在。
有资料指出,现在创建的数字化信息量超过可用存储空间的35%,而且这一数字还在逐年上升,那么,今后该用什么“容器”去承载这些大的可怕的数据量呢?云存储将成主流。
每个技术的兴起总是由一个巨无霸企业牵头,而且,这在众多科技热词身上都得以体现。当然,云存储也不例外,之前,两家IT巨头戴尔和惠普竞购3PAR直截了当告诉人们,云存储是未来的发展趋势并将成为主流存储模型。
相关行业人士表示,与传统解决方案相比,云存储的成本和复杂性都降低了,并且能够更好保护数据,即使办公室着火,异地备份的数据也会安然无忧。因此,这些优势让云存储很快就会受到众多企业的青睐,道理很简单,花了最少的钱得到最优的数据保障。
今后,云存储将会走向一个更加成熟的阶段,它所给予的服务将会更加全面和完善。除了数据圈,在每个领域都会有广泛的应用,虽然现在还面临很多问题,但在不久后,这块将是很多行业不可或缺的重要内容。
相关链接
云存储的未来发展
存储行业中我们近年来听到最多的声音就是云。那么云存储会否成为我们今后的方向,或者未来内部部署存储会对云存储构成威胁吗?Storage Made Easy的CEO Jim Liddle认为公有云将继续前行,内部部署存储市场则会逐渐萎缩但不是消失。不过他觉得迁移什么数据到公有云取决于数据的敏感性。就公有云的安全层面考虑,敏感度越低的数据会优先进行迁移,然后随着企业对公有云信心的增长迁移更多敏感数据。云都是相同的,公有云也一样。每一个云都有它自身的成本结构,附加费用,优缺点以及对形形数据存储的适用性。
关键词:数字图书馆;图书馆系统;IP网络;存储技术
Abstract: In an increasingly complex network environment of today, the digital library in the adoption of new technologies and efficient use of large-scale storage of information has provided a model. Digital Library has a number of resources, network access, distributed management of the three basic elements. Digital storage infrastructure is an important part of the library, and storage technologies and storage infrastructure, storage structures are an important part. Digital Library storage system is characterized by: with a variety of networks and communications systems linking perfect, with data storage security, in response to the speed and scalability, and to meet the data needs of accessibility.
Key words: digital library; library system; IP networks; storage technology
高校数字图书馆系统中的存储技术
根据其出现时间的先后,大致可将数据存储技术的发展分为4个阶段:直接附属存储(DAS),网络附属存储(NAS),存储区域网(SAN),IP存储(IPS)。
1.DAS
20世纪90年代以前,存储产品大多作为服务器的附属设备通过电缆直接连接到各种服务器,这种形式即是DAS。DAS完全以服务器为中心,不带有任何存储操作系统。DAS方式是长期以来大多数服务器采取的方式。主机通过专用接口与存储设备相连接,透过RAID技术将这些单个硬盘,按RAID LEVEL组合成更大的硬盘。当主机需要访问存储设备时,主机发出指令给存储设备,存储设备根据指令进行相应操作,将数据返回给主机,或者将主机传输过来的数据写入到磁盘。DAS中存储设备可以是磁盘驱动器,也可以是RAID子系统,或是其他存储设备。
DAS技术的数据安全性差,难以备份/恢复;性能一般,可扩充性差,容量有限;数据被存放在多台不同的服务器上,难于访问,不支持不同操作系统访问。DAS技术成本低廉,易于安装,但需停止用户现有系统,且难以维护,存储利用率低。
2.NAS
20世纪90年代出现了NAS技术。NAS包括存储部件和集成在一起的简易服务器管理软件。NAS是一种将分布、独立的数据整合为大型、集中化管理的数据中心。NAS通常在一个LAN上占有自己的节点。在这种配置中,一台NAS服务器处理网络上的所有数据,将负载从应用或企业服务器上卸载下来。集成在NAS设备中的定制服务器系统可以将有关存储的功能与应用服务器执行的其他功能分隔开。NAS设备的物理位置灵活,通过物理链路与网络连接。NAS无需应用服务器的干预,允许用户在网络上存取数据。
其特点是,易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同的存储器上,易于访问,支持不同操作系统访问。NAS技术成本低廉,易于安装和维护,存储利用率较高。
3.SAN
SAN是允许在存储设备和处理器(服务器)之间建立直接的高速网络连接,通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总路线概念的一个扩展,它使用局域网和广域网中类似的单元,实现存储设备和服务器之间的互联。SAN具有高传输速度、远传输距离和支持数量众多的设备等优点。采用了专用的拓朴结构,不能直接使用通用的IP网络连接各个SAN存储网络。目前,多数供应商的SAN解决方案大多采用光纤通道技术,即FC—SAN。
SAN技术的特点是,易于备份/恢复;性能极高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,但不支持不同操作系统访问。SAN技术成本昂贵,需要长时间的设计和安装,且难以维护,存储利用率很高。
转贴于 4.IP存储
IP存储技术就是以高速以太网连接为基础,通过IP协议进行数据交换的存储技术,它将SCSI协议映射到TCP/IP协议上,使得SCSI的命令、数据和状态可以在传统的IP网上传输,其支持数据块形式的I/O访问和共享存储。它采用iFCP和iSCSI协议,由于光纤通道已经包含了SCSI协议,这种方法无需重大技术改造,就能满足SCSI协议的要求。
IP技术的特点是,易于备份/恢复;性能高,可扩充性强,即插即用,容量无极限;数据被整合并存放在相同或不同的存储器上,提供统一的用户访问视图,易于访问,支持不同操作系统访问。IP技术成本低廉,易于安装和维护,存储利用率最高。 基于IP的高校数字图书馆网络存储建设
在网络存储中,FC—SAN在某些方面具有无可比拟的优势,如性能极高,可扩充性强等,使其能够满足数字图书馆大规模数据存储的需要,但光纤通道存在着成本昂贵和互操作性问题,这是一般高校图书馆所不能承受的。而NAS技术虽然成本低廉,但却受到带宽消耗的限制,无法完成大容量存储的应用,而且系统难以满足开放性的要求。针对以上技术的缺陷和不足,根据国际上基于IP的存储设备已逐步上市和日渐成熟的情况,提出了一种既有ANS和SAN技术的优点,又能克服两者缺点的存储网方案,即基于IP的SAN。它由两部分构成,第一部分是利用IP互连设备构成存储区域网SAN,第二部分是通过SAN中的交换机多路接入LAN回路,形成一种广义的附网存储NAS,存储设备都是商用的NAS设备以及iSCSI设备,或通过转换桥将SCSI和FC设备转换为IP接口,接入基于IP协议SAN中。它采用最广泛的TCP/IP作为网络协议,既具有NAS易于访问的特点,又有专用的存储网络架构。因此,基于IP的存储网络可以利用以太网技术和设备来构建专用的存储网络,由于使用了以太网设备,其成本大大低于使用光纤交换机的SAN网络,而且保持了SAN的传输速率高且稳定的优点。用户在这一技术中,面对的是非常熟悉的技术内容,即IP协议和以太网,而且各种IP通用设备保证了用户可以具有非常广泛的选择空间。事实上,由于IP存储技术的设计目标,就是充分利用现有设备,使传统的SCSI存储设备和光纤存储设备都可以在IP—SAN中利用起来。随着带有IP标准接口的存储设备的出现,我们可以单纯使用本地IP存储技术,来扩展已有的存储网络,或构建新的存储网络。以千兆甚至万兆以太网为骨干的网络连接,保证了本地IP存储网络。由于采用的是IP协议,与LAN和Intemet的连接是无缝的,远程备份十分方便,效率工作很高。基于IP的SAN在性能及功能上都具有突出的优势,是目前高校数字图书馆建设中存储区域方案设计的首选方案。
参考文献
1 郭建峰.数字图书馆信息存储系统架构的探析.现代情报,2005(6)
2 李培.数字图书馆馆原理与应用.北京:高教出版社2004
3 李村合.谈网络环境下的信息存储技术.情报学报,2002(1)
2 张伟.网络存储技术的发展现状与应用.福建电脑, 2003(1)
栏目主持人:郭涛提供新闻线索可致电010-88559756
或发邮件至
■ 武家麟
其实,虚拟化技术一直都在我们身边,无论是操作系统、应用、主机,还是网络和存储都有虚拟化技术的影子。
操作系统层面的卷管理器,实际上是基于主机的一种虚拟化功能。在存储控制器层面实现的RAID保护也是虚拟化技术的一种。即使是在一个物理磁盘内部,将C/H/S地址转化成LBA地址也用到了虚拟化技术。
存储虚拟化技术简化了主机对存储的识别过程,使得存储对前端的访问是透明的。在存储虚拟化技术的基础上,卷管理器可以对存储区域网络(SAN)中的数据进行统一管理、保护和利用。虚拟化技术的应用不仅使得IT系统的管理更加简便,使用更加高效,而且数据也更加安全。
企业用户在进行IT基础设施规划时,应该考虑使用存储虚拟化技术。灵活运用存储虚拟化技术,可以为企业数据中心构建一个灵活、高效、安全的基础架构,在此基础上,还可以实现多重的数据保护。
存储虚拟化技术可以在SAN网络层中实现,而且不会占用主机、存储和应用资源,同时还可以实现系统的线性扩充,达到PB级的存储规模,满足数据中心长远发展的需求。在SAN网络层实施存储虚拟化,可以让用户轻而易举地实现对异构存储环境的管理,EMC、IBM、HDS、惠普等不同品牌的存储设备可以被统一管理,从而实现灵活的资源调度和动态划分。卷精简分配技术可以将存储设备的平均利用率从20%提高到70%甚至更高,避免存储空间的浪费,并且可以预分配应用系统的虚拟存储空间,以满足未来容量增长的需求,物理磁盘空间也可根据数据量的增长实现动态增长。
在虚拟化平台上提供的瞬间快照保护和恢复功能,结合快照和备份软件,可以实现在线数据的备份,同时可以自由调用最新数据给测试主机,以满足测试、开发的需要。虚拟化技术还可以支持任意存储设备之间磁盘-磁盘的拷贝和备份,能够瞬间提供一份与生产系统隔离的卷副本用于备份,从而减轻生产系统的压力,提高备份效率。在与生产系统完全隔离的情况下,利用虚拟化技术还可以提供数据的测试副本,在保障数据安全的前提下,加快测试与开发的速度。
在虚拟化平台中,用户可以实现跨任意存储平台的在线数据迁移,并在保证业务连续性的前提下,实现新旧存储设备的在线更换、数据迁移和对数据进行分级存储。虚拟化平台能够支持超低带宽的远距离灾备系统,还能够支持多站点间任意存储设备互为灾备,并且不占用任何主机CPU资源和存储资源。
利用虚拟化技术,用户可以在SAN网络层保证任意存储设备之间的同步镜像,确保零数据丢失,还可以在存储设备出现故障时实现故障设备的自动切换,保证业务连续性,避免数据中心出现单点故障。
一个存储虚拟化项目的实施可以从很小的规模开始,逐步扩大,其建设成本随着数据中心规模的扩大而增加。从数据中心总体拥有成本的角度考虑,存储虚拟化技术的应用削减了企业用于不同存储平台和主机平台的数据保护软件成本,同时使得数据中心得到了多重数据保护,提高了安全性。
数据中心虚拟化就是打破原始物理结构之间的隔断,将物理资源转变为逻辑上可直接调控管理的资源。在完成虚拟化建设后,预计可将各种硬件资源透明地运行在各种物理平台上,资源的管理都将按照逻辑方式进行,实现资源的自动化分配。依据虚拟化的理论指导,高校数据中心虚拟化分为:服务器虚拟化、网络虚拟化和存储虚拟化三个环节。服务器虚拟化的核心思想,就是一种能够通过区分资源的优先次序,并随时随地能将服务器资源分配给最需要它们的工作负载以简化管理和提高效率,继而减少为单个工作负载峰值而储备的资源的方法[2"]。通过虚拟化技术将物理硬件和操作系统分离,使得多个具有不同操作系统的虚拟服务器可以独立运行在同一台物理服务器上,最大化的利用硬件资源。首先对服务器虚拟化的各项技术进行分析,再根据高校数据中心的实际情况给出服务器虚拟化的规划和方案,接着来完成服务器虚拟化的部署,并利用VMware Center Client来监控和管理各个虚拟机的运行情况。
服务器虚拟化的核心思想,就是一种能够通过区分资源的优先次序,并随时随地能将服务器资源分配给最需要它们的工作负载以简化管理和提高效率,继而减少为单个工作负载峰值而储备的资源的方法。通过虚拟化技术将物理硬件和操作系统分离,使得多个具有不同操作系统的虚拟服务器可以独立运行在同一台物理服务器上,最大化的利用硬件资源。
首先需要对即将布设虚拟化的服务器硬件资源进行统计,数据中心现有各类服务器若干台,运行着校内各种应用和业务系统。利用VMware vSphere对服务器进行整合,最大限度的利用现有的服务器资源,对其进行了各项评估,包括CPU、内存和磁盘容量等,结果表明现有的各个服务器资源利用率很低,造成大量资源被浪费。而现有的部分老旧服务器并不适合构建VMware虚拟化平台,但是可以用作数据存储。
VMware vSphere本身即包含有一组虚拟网络元素(vNetwork),该组元素可以让处于数据中心的各个虚拟机能够像在物理环境中一样进行网络互联。在这其中就包含有虚拟网络接口卡(vNIC)、虚拟标准交换机(vSwitch)、虚拟分布式交换机(vDS)和端口组(Port Group)。
根据高校数据中心的的实际情况来完成网络虚拟化的部署,通过两台vSwitch将虚拟机接入到虚拟网络以实现各虚拟机之间的网络通信和物理机之间的交互功能。
数据中心存储系统虚拟化就是让前端主机脱离对后端存储设备的依赖,通过中间的虚拟层作为存储服务的基础,从而带来更高的资源利用率、无缝数据迁移等效益。利用VMware vSphere技术可从根本上更好地管理虚拟存储架构,提高存储资源利用率和灵活性,减少管理开销和延长应用程序正常运行时间。
VMware vSphere存储架构由各种抽象层组成,这些抽象层隐藏并管理物理存储子系统之间的复杂性和差异。在VMware vSphere中,ESX/ESXi存储器指的是多种物理存储系统(本地或联网)上的存储空间,主机使用该存储器存储虚拟机磁盘,分为本地存储器和联网存储器。其中,联网存储器由ESX主机用于远程存储虚拟机文件的外部存储系统组成。通常主机通过高速存储器网络访问这些系统。网络存储设备将被共享。网络存储设备上的数据存储可同时由多个主机来访问。
数据中心存储系统虚拟化就是让前端主机脱离对后端存储设备的依赖,通过中间的虚拟层作为存储服务的基础,从而带来更高的资源利用率、无缝数据迁移等效益。利用VMware vSphere技术可从根本上更好地管理虚拟存储架构,提高存储资源利用率和灵活性,减少管理开销和延长应用程序正常运行时间。
存储的虚拟化,就是在抽象化底层的存储设备后,继而进行统一调控和管理,屏蔽存储设备的硬件信息,而只保留其统一的逻辑特性,从而实现了存储系统集中统一的管理。通过应用存储虚拟化,可以有效解决高校数据中心存储空间利用率过低的问题,在部署存储虚拟化之后,可以方便的弹性扩容,大幅提升硬件使用率,其实现技术主要基于主机的虚拟化存储、基于存储设备的虚拟化和基于存储网络的存储虚拟化三种,接下来就此三个技术方法分别作进一步讨论。
方法一:基于主机的虚拟化存储
基于主机的虚拟化存储技术的实现主要依赖于主机操作系统下逻辑卷的管理软件或在服务器上完成的,经过虚拟化的存储空间可以跨越多个异构的磁盘阵列,通过将多个逻辑卷进行统一管理调配,屏蔽上层应用对物理磁盘的管理。
由于无需另外添置硬件设备,基于主机的虚拟化存储成本较低,能够提升主机的处理器资源利用率,但灵活性较差。因此对于信息系统规模较大,使用的主机类型和应用程序种类较多,且对系统性能和稳定性要求较高的高校来说,并不适合此技术。
方法二:基于存储设备的虚拟化
基于存储设备的虚拟化技术依赖于提供相关功能的存储控制器,对所管理的存储提供虚拟化。通过?用基于存储设备的虚拟化技术,可以使多个主机服务器访问同一个磁盘阵列。
基于存储设备的虚拟化技术较易实现,易管理,适用于数据量较小,存储设备单一环境,而对于数据量大,存储设备种类多,并要求能进行跨设备、跨地域的数据整合和共享的高校数据中心来说,并不适合此技术。
来自IDC的统计数据显示,2020年,我们身边能联网的终端设备将达到260亿台,届时数据量将达到44 万亿GB,这个天文数字的背后意味着我们将有更多的数据用于保存、拷贝与分享。事实上,在我们使用平板电脑、智能手机时,10个人中有9个便拥有方便的数据访问与共享需求,特别跨设备使用时,无缝、易用等需求成为了首要需求。
正是移动终端的普及,使得无线存储设备得以被重视,以往作为有线的补充手段,随着Wi-Fi、蓝牙等近场通信手段得以普及。以切身的例子来说,尽管如今的智能手机、平板电脑在存储容量上大大增长,超过百GB容量的手机比比皆是。但使用中我们依然发觉,无论多大容量,总会被App、视频、照片,以及各种七七八八的文件塞满。尽管当下云存储已经非常普遍,但从使用习惯上看,人们更信赖于本地存储;在各种接入方式中,人们也更愿意选择无线存储设备。
需求催生革新,以苹果iPhone为例,想为手机增加更多的存储容量,用户需要付出的代价是不菲的;想为自己iPhone扩容的用户都会面对同样的问题―支持苹果接口的存储设备并不多,所以无线存储设备成为了首选。事实上,无线存储早在数年前便有成熟产品推出,比如东芝的FlashAir WiFi SDHC存储卡、闪迪欢欣畅享无线媒体存储器等成熟的解决方案,而2015年,众多存储厂商无线存储产品线进一步得到丰富,比如东芝的Transfer Jet传输宝SD卡、闪迪的欢欣畅享无线闪存盘都在下半年的季陆续面市,意为抢夺年底圣诞节的黄金季市场。以往年的经验来看,在这个季度推出的新品均为各大厂商最为重视的产品线,无线存储产品在厂商心目中的地位由此可见一斑。
除了市场本身拥有强大的需求潜力外,我们也看到本季推出的无线存储设备在技术上也有足以自傲的地方。比如东芝研发的TransferJet技术,1秒钟就能实现两个设备间的文件传输,比NFC还要快1000倍以上;而闪迪的全新无线闪存盘,也拥有支持三台设备同时观看高清视频的带宽,不仅如此,新设备的功耗也大为降低,几乎不会影响到主设备的续航能力。
正是技术的成熟与移动互联网的推动作用,带领无线存储产品在2015年迅速增长,其速度是任何预测家未曾预料到的。从而带来的生活方式转变,也是我们始料不及的。比如无线闪存盘带来的随时随地分享功能,让我们能够在长假旅行中,通过无线硬盘同时观看电影、欣赏美图,或聆听音乐;如果在途中拍下的美好图片,也能通过无线存储卡与智能手机相连,随时分享到微信、微博之上,让分享变得更方便快捷,更符合我们现在的生活习惯。而且通过App,无线存储产品能够实现更为人性化的操控与更为强大的扩展功能,沟通PC、Pad与手机等各种设备。
值得一提的是,各个厂商的无线存储设备遍及闪存卡、闪存盘、移动硬盘等产品线,完全能够满足当前市场上所有的细分需求。使用一家厂商的产品,安装其App便能实现玩胜有线连接的共享功能。但在这个生态链上,依旧确失了重要的一环――与有线接口一样,无线存储产品的App承担着操控人机界面、功能扩展等重要功能,但无线存储的发展历程远不及有线,故在无线标准之下,各家根据自身功能的App却成为了无线共享功能的短板。如果朋友使用的是另一品牌的无线存储产品,那么则需安装其App,但是为了实现广泛共享,在一款手机上安装多款App显然是不符合使用习惯的,无线存储产品的App客户端同样需要标准来统一。
无论如何,当前的无线存储产品已经日益成熟,并且拿下了市场重要的话语权。特别是闪迪等厂商推出的一站式无线解决方案,可兼容不同操作系统、各种尺寸屏幕的设备。随着用户通过各种手持设备使用越来越多的数字内容,2015年中大放异彩的无线存储设备必将成为存储市场的全新增长点,在未来数年中拥有不可估量的活力。
【关键词】信息资源;存储技术;固态盘;云存储
Abstract:Due to expanding the application field of information storage,the network information resources increase rapidly,through the network transmission of information continues to work storage technology is becoming more and more important,it has become the key of the enterprise information construction,This article mainly analyzes the three kinds of network storage technology,namely SAN boot startup technology、storage virtualization technology、application performance extension technology,solid-state disk technology and cloud storage technology are discussed emphatically.it has high reference value to the choice of network storage technology in the enterprise information construction.
Keywords:Information resources;Storage technology;Solid-state disk;Cloud storage
1.引言
进入二十一世纪后计算机和互联网技术迅速发展,政府、企业和个人均可建立和访问海量信息。数据是信息的载体,高频率的网络数据访问、视频会议、多媒体邮件、视频点播以及数字电视等网络的应用,迫切需要大容量、高性能的存储设备。数据存储网络化是存储技术发展的必然趋势。
2.SAN引导启动技术
SAN(Storage Area Network―存储区域网络)BOOT引导启动技术是指将服务器的操作系统及应用软件部署在高性能、高可靠的外置存储系统中,服务器可以方便的从SAN环境启动,而不必受限于内置磁盘容量、性能、可靠性和扩展性等的限制。相对而言,传统的服务器内置磁盘启动有不少的局限性,不便于系统迁移和数据集中管理。采用服务器,可以有效的解决上述问题,并为新一代数据中心[1]。
2.1 SAN技术在架构和管理方面的优势
(1)服务器系统整合:在采用刀片式架构的服务器系统中,服务器本身不用配置本地硬盘,这样可以在有限的空间中集成大量服务器,达到节省空间和节能的目的;
(2)系统盘集中管理和集中的数据保护通过SAN BOOT技术可以将多台服务器的系统盘集中到存储设备上进行统一管理,可以充分利用存储设备的各种先进的管理功能,如:对于同型号的服务器,可以通过卷复制进行服务器的快速部署,还可以通过存储设备的远程镜像功能进行系统容灾;
(3)服务器系统故障的快速恢复,一旦SAN BOOT的服务器出现故障,可以很快将其系统卷映射给其它服务器,从而实现快速故障恢复。当然,SAN BOOT也有其局限性:一是需要稳定可靠的存储系统,而且要求存储系统和服务器能够兼容;二是所有服务器从存储设备上启动,这对存储设备的性能要求较高。
2.2 存储设备高可用性解决方案
(1)存储阵列设备选用经过主机厂商测试认证过的产品,以确保其兼容性。同时,在存储阵列设备中采用高可靠的全冗余配置,并在主机与存储阵列间通过冗余的光纤交换机实现高可靠的交叉冗余连接,以保证SAN BOOT整体的稳定性。
(2)SAN BOOT存储通常采用高性能的光纤存储阵列,其前端具有足够的光纤通道接口和大量的高速缓存来提供高性能。对于虚拟内存等更高性能的服务器本地存储要求,可通过在存储阵列或服务器中使用固态盘来满足。
(3)在保证存储设备自身硬件可靠性和存储网络连接全冗余的同时,通过在SAN BOOT磁盘组中采用高可靠级别的RAID技术、不同存储设备中的启动盘映像副本选择启动、磁盘阵列镜像等技术,可切实保证SAN BOOT的可用性,在邮政金融系统逻辑集中项目中,核心业务的存储系统采用的均是最高端的存储设备,其自身具备很高的稳定性、可靠性[2]。SAN存储系统结构如图1所示:
图1 SAN存储系统结构
3.存储虚拟化技术
存储虚拟化是针对存储硬件资源的虚拟化方法的集合,它涵盖了存储虚拟池化、逻辑分区、自动分级存储、自动精简配置、集群网络存储等一系列存储技术。在邮政金融系统逻辑集中项目中,就运用了存储虚拟化技术来保障不同应用的存储需求和服务级别,实现存储资源利用的最大优化。基于网络的存储虚拟化有对称化和非对称化两种方式[3],如图2、3所示:
图2 存储虚拟化对称结构
图3 存储虚拟化非对称结构
(1)在对现有存储设备进行利旧时,应该考虑采用存储虚拟池化技术将整个存储网络中分散、独立的存储资源虚拟整合为一个或多个存储池,可以有效地屏蔽现有存储环境的复杂性和异构差异,并实现存储系统的集中管控和数据的统一管理。
(2)对于核心业务应用系统,其存储需求的特点是高性能、高安全。因此,可通过存储逻辑分区技术让多个关键应用安全地分享存储资源,在实现统一管理的同时,可保证各应用所需的服务级别和服务质量。
(3)对于非关键业务应用系统,其存储需求的特点是高性价比且易于管理和扩展。因此,在对现有存储设备利旧并使用存储虚拟池化、自动分级存储技术的同时,可考虑采用存储自动精简配置技术来进一步提高存储资源的利用率。
3.1 存储虚拟池化技术
存储虚拟池化技术可将整个存储网络中的不同存储子系统整合成一个或多个可以集中管理的虚拟存储池,即存储池可跨多个存储子系统,并在存储池中按需建立一个或多个不同的虚拟卷,通过将这些虚拟卷按一定的读写授权分配给存储网络中的各应用服务器,达到充分利用存储容量、集中管理存储和降低存储成本的目的。
3.2 存储逻辑分区技术
存储逻辑分区技术可将单个存储系统中的资源分隔成多个独立可配置、可管理的存储分区,同时每个存储分区可根据其上应用系统的要求分别设置其所拥有的资源,从而实现多个应用安全地分享存储资源,并有效保障各应用所需的服务级别和服务质量。在邮政金融信息系统逻辑集中项目中,采用了高性能的存储系统,并通过逻辑分区技术让多个关键应用分享存储资源,从而提高了存储资源的利用率。
3.3 自动分级存储技术
自动分级存储技术是根据数据的重要性、访问频率、保留时间、容量、存取性能等指标,将数据通过不同的存储方式(在线、近线和离线)分别存储在不同性能的存储设备上,通过分级存储管理实现数据客体在存储设备之间的自动迁移。自动分级存储的工作原理是基于数据访问的局部性。同时,自动分级存储技术通过减少非重要性数据在高层次存储中所占用的空间,还可有效提高整个系统的存储性能[4]。
在数据分级存储架构中,分级存储设备是根据具体应用可以变化的,存储层级的划分是相对的,且可分为多种级别。例如:可以在单一存储设备中采用“固态盘―光纤通道/SAS磁盘―SATA磁盘”这种三级存储结构,也可以在一个虚拟化存储环境中采用“高速存储阵列―低速存储阵列―虚拟磁带库―传统磁带库”这种四级存储结构,具体采用哪些存储级别需要根据具体应用需求而定。在邮政金融信息系统逻辑集中项目中,从以下两方面应用了自动分级存储技术:
(1)在单一存储设备中,可将访问最频繁、性能要求最高的重要数据放在固态盘组上,将访问较频繁的数据放在光纤通道/SAS磁盘组上,并将不经常访问的数据放在SATA磁盘组上。依据分级策略,自动分级存储技术可在数据的生命周期内对数据进行适时地降级迁移,通过将活跃度或重要性降低的数据自动迁移到性能、成本相对较低的磁盘上。
(2)结合存储虚拟池化技术,将分布在不同存储设备上的“存储池”层级化。在按服务级别分别提供给不同应用使用的同时,通过自动分级存储技术来将数据甚至是整个虚拟卷在不同层级的存储资源间进行在线的自动升级或降级迁移。
3.4 存储自动精简配置技术
自动精简配置是一项针对存储资源进行自动分配和利用,避免存储空间被无限制索取、浪费的技术。通常,一组主机或者应用对存储容量的需求是随时间而发生改变的,因而为其全额分配的容量在初始阶段不能得到充分的利用。精简配置技术通过存储虚拟池化技术,可以为不同应用提供一个公用的单一预留容量池。同时,通过创建比物理容量大的逻辑卷,能够让管理员给应用或主机配置超出实际物理容量的存储容量。这样就大大提高了存储利用率,有效降低了存储容量的一次性采购成本,并达到了节约空间和节能减排的目的。
在大幅提高存储利用率的同时,通过自动扩展已经分配的存储卷,自动精简配置技术可显著提升存储系统的可扩展性。在邮政金融系统逻辑集中项目中,采用了自动精简配置技术为非关键应用系统动态、按需地分配存储容量,以优化存储系统的资源利用率。
4.应用性能扩展技术
应用性能扩展技术可根据应用和时间为存储资源划分优先级,并使高优先级主机在数据存取带宽和读写延迟方面获得最佳性能。应用性能扩展技术提供了端到端的应用系统服务质量控制,通过设置应用所需要的最小平均带宽或者最大平均响应时间指标,可确保多个应用共享存储资源时的服务质量要求。利用应用性能扩展技术,可以解决的主要问题:(1)为应用提供端到端的服务水平管理;当多个应用共享存储系统时,通过设置服务级别来保证关键应用系统的性能;(2)动态的监控应用系统的实时性能,查看与服务级别对比的性能历史数据;(3)调整存储资源来满足关键应用系统的性能要求。
5.固态盘(SSD)技术
固态盘(Solid State Disk,SSD)是采用固态电子存储芯片阵列制成的存储介质,由控制单元和存储单元(DRAM或FLASH芯片)两部分组成。固态硬盘的接口规范、定义、功能和使用方法与普通硬盘相同,在产品外形和尺寸上也与普通硬盘一致。相比于普通硬盘,固态盘具有速度快、功耗低、无噪音、抗震动、重量轻等优势。
5.1 SSD的特点
(1)读写速度快:采用闪存作为存储介质,读取速度相对机械硬盘更快。固态硬盘不用磁头,寻道时间几乎为0。固态硬盘持续读写速度超过了500MB/s,固态硬盘的快不仅体现在持续读写上,随机读写速度快才是固态硬盘的明显优势;
(2)防震抗摔性:传统硬盘都是磁碟型的,数据储存在磁碟扇区里。而固态硬盘是使用闪存颗粒制作而成,所以SSD固态硬盘内部不存在任何机械部件,这样即使在高速移动甚至伴随翻转倾斜的情况下也不会影响到正常使用,而且在发生碰撞和震荡时能够将数据丢失的可能性降到最小;
(3)低功耗:固态硬盘的功耗上要低于传统硬盘;
(4)无噪音:固态硬盘没有机械马达和风扇,工作时噪音值为0分贝。基于闪存的固态硬盘在工作状态下能耗和发热量较低。内部不存在任何机械活动部件,不会发生机械故障。由于固态硬盘采用无机械部件的闪存芯片,所以具有了发热量小、散热快等特点;
(5)工作温度范围大:一般的硬盘只能工作在5--55摄氏度范围内,而大多数固态硬盘可在-10--70摄氏度范围内工作。固态硬盘比同容量机械硬盘体积小、重量轻;
(6)轻便:固态硬盘在重量方面更轻,与常规1.8英寸硬盘相比,重量轻20-30克。由于固态盘没有磁头,也不存在机械硬盘的寻道问题,因而启动和数据随机读取的速度非常快,其I/O响应时延也远低于普通硬盘(1ms以内)。机械硬盘内部结构如图4所示。
图4 机械硬盘内部结构
5.2 SSD的基本结构
基于闪存的固态硬盘是固态硬盘的主要类别,其内部构造比较简单,固态硬盘内主体是一块PCB板,而这块PCB板上最基本的配件就是控制芯片、缓存芯片和存储数据的闪存芯片,固态硬盘内部结构如图5所示。
图5 固态硬盘内部结构
(1)主控芯片:主控芯片是固态硬盘的大脑,其作用一是合理调配数据在各个闪存芯片上的负荷,二则是承担整个数据中转,连接闪存芯片和外部SATA接口。
(2)缓存芯片:主控芯片旁边是缓存芯片,固态硬盘和传统硬盘一样需要高速的缓存芯片辅助主控芯片进行数据处理。
(3)闪存芯片:除了主控芯片和缓存芯片以外,PCB板上其余的大部分位置都是NAND Flash闪存芯片了。NAND Flash闪存芯片又分为SLC(单层单元)、MLC(多层单元)以及TLC(三层单元)NAND闪存。
企业级固态盘在设计中采用了断电保护技术和冗余技术,并支持10万次的持续擦写(采用SLC存储单元)能力,可以为使用固态盘的存储设备提供有效的高可靠性。在邮政金融信息系统逻辑集中项目中,使用了固态盘作为数据库重做日志存储载体,显著提升了重做日志的效率,使得数据库重做日志没有成为系统的性能瓶颈。
6.云存储技术
根据云平台部署方式的不同,“云”可以分为四种类型:公有云、社区云、混合云和私有云;同时,云服务将主要通过三种交付形态提供:软件作为服务(SaaS)、平台作为服务(PaaS)和基础架构作为服务(IaaS)。云存储就是将储存资源放到云上供用户存取的一种新兴方案[5]。
6.1 基本概念
云存储是在云计算(cloud computing)概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息。云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,保证数据的安全性,并节约存储空间,如图6所示。
6.2 云存储的特点
就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由大量存储设备和服务器所构成的集合体。用户使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以云存储不是存储,而是一种服务。
图6 云存储客户服务结构
6.3 云存储的分类
云存储可分为三类:公共云存储、内部云存储、混合云存储。其中公共云存储可以划出一部分用作私有云存储,私有云存储可以部署在企业数据中心或相同地点的设施上。私有云可以由企业的IT部门管理,也可以由服务供应商管理。
(1)公共云存储:像亚马逊公司的Simple Storage Service(S3)和Nutanix公司提供的存储服务一样,它们可以低成本提供大量的文件存储。供应商可以保持每个客户的存储、应用都是独立的、私有的。国内主要有百度云盘、华为网盘、360云盘等;
(2)内部云存储:这种云存储和私有云存储比较类似,唯一的不同点是它仍然位于企业防火墙内部。可以提供私有云的平台有:Eucalyptus、3A Cloud、联想网盘等;
(3)混合云存储:这种云存储把公共云和私有云/内部云结合在一起。特别是需要临时配置容量的时候,主要用于按客户要求的访问。
6.4 云存储的结构
云存储系统的结构模型由4层组成:存储层、基础管理层、应用接口层、访问层。云存储是SAN引导启动技术、存储虚拟化、存储逻辑分区、自动分级存储、应用性能扩展、自动精简配置等技术的综合应用。
(1)存储层:存储层是云存储的基础部分。存储设备可以是FC光纤通道存储设备、NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备;
图7 云存储总体架构
(2)基础管理层:基础管理是云存储的核心部分,也是云存储中最难实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个存储设备可以对外提供同一种服务,并提供更强大的数据访问性能;
(3)应用接口层:应用接口是云存储最灵活的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控、IPTV和视频点播、远程数据备份等应用平台;
(4)访问层:任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。云存储总体架构如图7所示。
7.结束语
本文研究了三类计算机网络系统的数据存储技术,并重点探讨了目前主流的SSD和云存储等数据存储新技术,以期解决计算机网络系统数据存储容量和传输速率等问题。在邮政金融信息系统逻辑集中项目中,通过与存储智能性能监控技术相结合,应用性能扩展技术可以动态地按需调整各关键应用的服务级别和存储资源,使存储系统能够及时地适应具有不同服务级别且动态变化的多个应用的存储性能需求,从而给各应用提供最佳的性能保证,并提高了存储系统的利用率。
参考文献
[1]鲁士文.存储网络技术及应用[M].清华大学出版社,2010:20-39.
[2]张冬.网络存储系统原理精解与最佳实践[M].清华大学出版社,2008:52-63.
[3]邓劲生.广域网络存储虚拟化技术研究[D].国防科学技术大学,2005:2-13.
[4]任玉玲,唐靖.虚拟存储技术研究[J].商丘职业技术学院学报,2009,8(5):39-41.