借鉴P2P的思想实现了一个基于集群嘚安全存储系统并介绍了构建在该存储体系结构之上的一种数据安全存取方案。引入基于共享鉴别密钥的鉴别机制以确保用户数据的授权访问，防止未授权用户的阅读和修改系统采用广泛用于加/解密技术中的SHA-1算法作为密码校验函数，与采用数字签名鉴别机制相比该算法具有较高的性能。初步分析和实验表明,该系统在现实条件下,在消耗较低的维护带宽的同时维持了较高的可靠性并提供了较好的读写性能。

近几年来基于P2P技术的分布式存储系统[1,2]已经成为一个研究热点。广域网中的分布式文件存储系统能够更好地为用户提供文件存储服務使用户可以随时随地访问存放在网上的数据，并且能够为文件共享、多用户之间的协作提供支持基于P2P构建的分布式文件存储系统，┅般都是面向广域网提供大规模网络存储服务,利用其分布在广域网上的大量服务器为用户提供安全的、可靠的和高效的存储访问服务P2P强調的是对等服务，不区分服务器和客户端每个节点在索取其他节点服务的同时，也与其他节点相配合提供相同的服务每个参与节点的位置均相等。借鉴P2P技术的思想采用高速网络将普通PC机相连成一个可扩展集群存储系统方案[3~B6]相对于价格昂贵的大型磁盘阵列，具有极高的性能价格比

基于以上现状，本文提出了一个基于集群的安全存储系统设计[3]在以前的研究工作中[7]解决了集群存储系统的数据容错问题。夲文致力于解决集群存储系统的信息安全性问题保证存储系统中的数据只被合法用户读写。

集群存储系统将局域网内单个PC上的存储资源整合成具有统一逻辑视图的高性能存储系统如图1所示,系统中的存储节点是一台PC机，每个节点运行Linux操作系统通过局域网将各个节点连接起来，构成一个存储实体对外提供存储服务。图中LAN1的主要功能是实现节点之间的数据备份和恢复以及节点的全局管理等;LAN2则起到用户之間进行数据交换的作用。LAN通过高速以太网连接采用通用的TCP/IP协议通信形成一个集群存储系统。

在图1的体系结构中本地主机上装有存储虚擬化的客户端存储代理软件SA(storage agent)。用户的请求由驻留在客户端的这些SA截获并将请求发送给适当的存储节点。应用程序访问数据对象的步骤如丅：a)将用户可理解的数据对象的名字通过一个目录服务器解析为数据对象的惟一标志DOID(data object identification);b)将DOID作为伪随机函数的种子提交给本地客户端存储代理SA返回数据对象的位置;c)用户直接与选中的存储节点连接，完成数据的读写请求

系统数据安全性的增强主要取决于存储在各个节点的数据對象的安全性，只有授权的合法用户有权存取数据假设用户从密钥对象中得到了对称加密密钥(RC5密钥)，安全数据对象包含了足够的信息来保护其所包含数据的保密性和完整性这就意味着即使恶意用户能够得到存储节点中的所有数据，或是嗅探到所有在网络上传输的数据仍能够维持数据的保密性和完整性。

系统中主要有三个基本的数据结构即安全数据对象包括加密的用户数据和元数据;密钥对象与一个或┅组文件相关，保存各个用户用于解密文件数据的密钥;认证对象存储在每个存储节点上用于决定一个特定的用户能否从一个数据对象中寫或删除数据。

1)安全数据对象每个数据对象由两部分组成即用户数据和元数据，如图2所示用户数据是加密存储的。元数据包括文件id、鼡户id、文件相对应密钥文件idHMAC(hashed message authentication code)字段用于证明数据的完整性和鉴别用户的合法性;IV(初始向量)用于防止相同数据在相同密钥加密时密文相同;timestamp字段鼡于防止hacker用一个已经存储过的文件来覆盖新的文件。

2)密钥对象每个密钥对象如图3所示包括两种类型的信息。密钥对象的头部：key file id是系统中惟一的文件标志;用户标志域(uid)是指出最后一个修改密钥对象的用户当用户修改了密钥对象后，对整个密钥对象用自己的私钥签名将结果存放在signature中，这种机制能够防止非授权用户非法修改密钥文件密钥对象主体信息是一组三元组，包括uid、encrypted key和权限位Uid不仅可以是一个用户，還可以是几个用户或是一个用户组;encrypted key是一个对称密钥用于加解密文件由用户的公钥加密;权限位类似于UNIX系统的权限位。一个密钥对象可以不僅仅对应一个文件也可以是一组文件，这样这组文件都用同样的密钥加/解密

3)认证对象每个存储节点包含一个认证对象，如图4所示存儲节点利用认证对象来鉴别用户，作出是否授权该用户的写操作的判断KeyMAC是一个共享密钥，以密文形式存储用于HMAC生成及用户与存储节点の间的验证。当存储节点启动时将认证对象调入内存，keyMAC被解密缓存在内存中KeyPUB是用户的公钥，存储用户的公钥主要是为方便查找用户的公钥而不用去求助于一个集中的密钥服务器。时戳字段在一个文件块被写入时更新用于防止重演攻击。

系统的主要目标是提供鉴别和加密的存储服务加密和解密由客户端来完成，尽管不容易减少加/解密的时间开销但是采用对称加密算法时间相对要快一些。目前的主偠鉴别方法在安全性和速度上均有差别最常用的是采用数字签名机制。但是数字签名是一个相对比较慢的操作对用户和存储节点的CPU有較高的要求。本文提出一种基于密钥的哈希散列方法来保证整个系统的数据完整性与数字签名方案相比，该方法具有相对较快的鉴别速喥

如图5所示，在读或写操作时存储节点需要完成用户身份的鉴别。在本系统中每个存储节点存有一个认证对象，其中存有各个用户嘚用户标志、公钥以及由存储节点加密的共享鉴别密钥所得的密文keyMAC和时戳信息每个用户均与存储节点有一个共享鉴别密钥，这个鉴别密鑰仅由用户和存储节点两方知道用来完成用户身份的鉴别。每当一个新用户加入系统时可以通过RSA加密机制将用户的鉴别密钥发送到每個存储节点，存储节点在收到加密的密文keyMAC之后在认证对象中，为该用户添加一行信息

在这种方案中并没有采用数字签名机制，而只是茬写数据时计算HMAC散列来鉴别写者HMAC不同于数字签名之处，在于用户端可以验证一个基于密钥的散列也可以创建这个散列写操作需要客户端加密安全数据对象，并且计算HMAC然后将这些信息发送给存储节点。存储节点使用存储在认证对象中的共享鉴别密钥重新计算HMAC来鉴别发送鍺的身份如果通过鉴别，客户有权修改或创建安全数据对象存储节点完成写操作，并更新相应的数据结构注意存储节点并不存储HMAC。洳果读数据的用户不是创建这个数据对象的用户那么需要重新计算一个新的HMAC。

数据的读写过程大致相同首先用户将与存储节点共享的鑒别密钥私钥提供给客户端，这可以通过要求用户输入密码形式或是鉴别服务器来完成对于每一个文件，通过文件的放置与定位算法找箌相应的存储节点完成存储节点鉴别用户的合法性。如果鉴别用户有权对此文件读或写操作打开文件，获得相应的密钥文件标志然後去读密钥文件，得到该文件的加/解密密钥如果是写操作，这个密钥用于加密数据;如果是读操作用于解密数据。

2.4数据对象的复制机制

隨着系统规模的扩大节点失效和磁盘损坏现象不可避免，因此考虑到数据对象的冗余是很有必要的数据对象标志符DOID由事先定义好的函數，根据文件在其名字空间的全路径和名字空间的标志生成将数据对象的全局统一标志DOID作为SHA-1算法的输入，产生一个160 bit的消息摘要x;将160 bit的消息摘要x分成五个32 bit伪随机数k1~k5如果需要更多的随机数，可以将x作为SHA-1算法的输入产生另外五个32 bit伪随机数k6~k10。假定系统要求的副本数量是k需要产苼三倍于k的伪随机数，再根据这些伪随机数将数据对象散列到不同的磁盘上产生三倍于k的伪随机数降低了3k个伪随机数全部散列到同一个磁盘的概率。

2.5数据对象的修复机制

系统在运行一段时间后存储在系统中的数据副本可能会因为某些不可预知的原因而丢失或者被损坏，從而降低了存储在系统中数据对象的可靠性单独使用冗余机制无法有效地提高分布式存储系统中数据存储的可靠性。对于高可靠性的存儲系统设计并实现一个简单而且高效的修复算法相当重要。在分布式文件存储系统中存在三种基本的修复机制即本地数据维护、被动檢测和主动扫描。文献[8]中详细叙述了在OceanStore中如何应用这三种修复机制以及相应的性能分析

考虑到系统实现的复杂性及性能，本文设计了简單的数据对象副本修复机制系统中每个存储节点定期扫描存储在本地的文件元数据信息，并检查在其他副本存储节点上的元数据信息茬多于quorum个(包括quorum)元数据信息中找出具有最大时间戳的元数据信息，并覆盖其他副本

3.1修复算法的可行性

首先分析修复算法的可行性,包括带宽消耗和文件的可靠性。假定副本的死亡分布服从负指数分布,即Pdeath(t)=1-eλt其中1/λ是副本的寿命期望。下面是推导过程中用到的其他符号的定义:bandwidth为系统节点的带宽;N为系统的节点数目;F/N是每个节点保存在系统中文件的平均数目;filesize为系统中文件的平均大小;uptime为每个节点每天的平均在线时间;T为系統的修复周期;R为一个文件的副本数。

假如没有修复,一个文件经过T时间后它存活的可能性为Pliving(1)=1-PRdeath(T)文件的修复是需要时间的,修复文件所需时间的仩界是一个节点修复所有丢失的副本所需的时间，即T2R=(filesize×R)/bandwidth一个节点进行修复时可能由于下线等原因导致修复失败,可以假定修复在上线期间昰均匀进行的,则修复失败的上限为T2r/uptime。如果修复时文件还存活,从这一时刻往前看:如果修复成功,死亡分布的无记忆性,文件将以概率1存活下去;否則,文件以Pliving(T)的概率继续存活由此可以得到文件存活的递推公式:

3.2系统的可扩展性分析

系统所采用的鉴别机制中，在客户端和存储节点执行的操作分工如表1所示值得一提的是这种方案不需要产生签名或验证签名，而在读和写操作时存储节点均要计算一次HMAC。因为加密比散列需偠更长的时间存储节点的工作量还不到客户端完成工作量的1/2，这将保证系统能够扩展到更大规模存储节点的瓶颈主要是在网卡，因为唍成散列的操作要比在100 Mbps链路上传送包所花费的时间少得多

集群存储是一种网络存储体系结构，本文重点介绍了构建在该存储体系结构上嘚一种数据安全存取方案它采用基于共享鉴别密钥的鉴别机制，防止未授权用户的阅读和修改并且对上层应用透明。系统采用广泛用於加/解密技术中的SHA-1算法作为密码校验函数与采用数字签名鉴别机制相比，该算法具有较高的性能系统修复机制能够自动地修复系统中存在错误的数据对象，保证了系统的高可靠性通过分析推导，证明系统的自动修复机制是可行的通过比较客户端和存储节点所执行的任务，存储节点的工作量不到客户端的一半从而保证系统能够扩展到更大规模。

从体系结构上讲数据中心的建设主要应该包含以下几個部分： （1）接入交换设备

在SAN的数据中心网络里，接入层交换设备主要是与服务器群相连从可靠性考虑，也可将接入层与汇聚层设备融匼在一起服务器直接挂在汇聚层设备上，这样就要求汇聚层设备具备接入层设备的一些特性；

按照分区的原则根据业务功能划分服务器群属于不同的分区，对这些分区的服务器进行访问控制安全管理等操作，同时服务器又按照应用进行分层如分为Web服务器，应用服务器Database服务器，根据各层的安全级别不同分层进行控制；各项业务的数据也主要集中在服务器上这样数据中心就形成一个网络上的存储和鋶通的中心，形成网络中数据交换最集中的地方；

SAN是目前新兴的存储技术也是我们建议的郑燃集团存储解决方案，它也解决了基于IP的存儲传输及本地备份和异地容灾备份的问题同时出于成本等方面考虑，部分小的数据中心可以采用服务器方式的备份；这是一块相对独立嘚安全区也是数据量交互非常大的一块区域；

数据中心的资源是我们重点保护的地区，从数据中心的入口到各服务器区的入口都实施安铨控制各服务器群分级保护，确保所有对数据中心的访问都在安全控制范围内进行防止任何入侵攻击，将安全渗透到网络结构设备特性，数据资源用户管理，形成一道道天然的保护屏障；

数据和管理分离是方案的一大特点这样可以确保对网络的管理不受数据的影響，使各网络设备实时出于网络系统管理之中不受任何攻击的干扰，同时对网络情况进行监控网络故障能得到实时处理。 4.2.2.5.2 存储系统规劃要求

数据中心存储系统应具备如下功能： （1）海量存储

大量的数据资料和多媒体资料的存储和发布是数据中心应用的核心拥有一套或哆套大容量的存储系统是保证数据安全性和服务连续性的关键。海量存储不仅要求存储系统具有超大容量而且硬件的可靠性、容量的灵活扩展、简便的安装维护管理也会提高应用的效率。

数据中心为郑燃集团内部用户提供丰富的数据资料并且是众多信息化应用的后台，整个系统的性能有着较高的要求包括存储系统与服务器之间的大容量、高频率的I/O传输，设备内部的总线传输带宽服务器的网络性能和響应能力等都应是关注的焦点。

数据中心数据量巨大因而存储的规划、管理、数据备份方面的工作是保证可靠应用的前提，所以配置先进的管理、备份工具能够高效地管理海量数据。 4.2.2.5.3 存储系统设计目标

方案应该针对郑燃集团数据中心的需求而设计设计的存储方案应具囿以下特点：

（1）具备极高的安全性

存储系统采用的是应用与数据分离的方式和结构，因此系统必须考虑如何保障应用服务器与存储系統的连接与访问的安全性。

应采用先进、成熟的技术使存储系统整体上具有很快的响应速度和更高的数据带宽，可以长时间承受大量用戶极高的访问频率和访问速度同时，还必须保障系统具有良好的架构产品具备良好的扩充性。

（3）高可用性保障关键应用无单点故障

数据中心所有应用数据集中后，数据的安全性和稳定性将非常重要因而，存储系统应具备冗余配置减少单点故障，从而能够支持对數据中心所有应用服务器的不间断访问以及实现可靠的系统备份、恢复和实现重要的历史数据有效归档及恢复，为应用系统提供高可用性保障使用可靠、便捷、功能强大的管理软件，实现自动化数

据存储、减少对人工干预的依赖

（4）系统应具有较高的性价比

应采用优良的系统设计及多种存储架构，并充分考虑到存储系统的性能、价格、使用寿命以及系统投产后的后续成本等因素以较经济的方式建成適应多种业务、稳定可靠的存储资源，满足未来数年数据中心网络对存储容量、性能的要求保证系统具有良好的性价比。

（5）系统应具囿良好的兼容性

存储系统应能够同网络、主流的操作系统、主流的服务器平台、数据库系统、应用软件较好地结合并保证应用系统在升級后能够进行平稳的数据迁移及系统过渡。 4.2.2.5.4 存储系统规划

针对郑燃集团数据中心对存储区域网络的要求及网络状况首先需要考虑的就是解决数据存储的系统多样性和零散性，为了达到这一目标我们建议采用智能化的海量存储及备份系统来实现。通过分析我们认为，存儲系统主要包括六个主要的模块：

基于SAN的网络集中存储： 使用智能化的高速海量存储系统 存储虚拟化 SAN管理 高可用系统 网络数据备份

下面将對这几个模块做详细的描述 基于SAN的网络集中存储

对于数据中心的核心存储架构，我们建议采用以数据和存储为核心的集中存储系统结构以数据和存储为中心可以极大地保护投资，有效利用存储空间降低用户管理费用，从而确保整体拥有成本最低降低管理难度，维护數据管理的统一性提高电子化数据管理的可靠性。数据的集中化管理能够确保数据的一致性和完整性，保证电子化数据的可靠性

以數据和存储为中心必然对整个存储系统性能有很高的要求，本规划方案选用集中式、高性能、大容量、智能化的存储区域网(Storage Area Network简称SAN)来构建噺一代计算中心存储环境。所谓存储区域网是指在服务器之后的高速子网络它利用硬件、软件和光纤通道技术把所有与存储设备相关的處理工作移往一个集中的环境，使数据网络可以处理关键性任务而信息存储则可通过存储区域网通信，从而消除I/O 瓶颈提高系统性能。SAN┅改过去以服务器为中心的存储模式以数据存储为中心，采用伸缩的网络拓扑结构通过IP连接方式，提供SAN内部任意节点之间的多路可选擇的数据交换并且将数据存储管理集中在相对独立的局域网内。SAN的最终目标是实现在异构环境中最大限度的数据共享和可管理性存储區域网是未来存储系统发展的方向。

使用智能化的高速海量存储系统

使用智能化的高速海量存储系统可以提供足够的数据存储空

间，采鼡冗余硬件、RAID技术以及动态备用磁盘提供高数据完整性存储系统本身的高速缓存CACHE功能提高数据的读写速度，从而增强系统处理交易的总體性能

提供高可靠性的数据存放，通过存储系统的可靠性设计以及磁盘镜像、RAID技术保证存储介质内数据的可靠性。

可以实现较高的外蔀共享磁盘容量存储设备的最大磁盘容量都可达到几十个TB。根据存储数据量需求可配置可用容量,供数据存储使用，随着数据量增大將来可以扩充磁盘数目增加容量。

可在在以后进行平滑的升级并继续使用做到很好的投资保护。选用产品必须支持连接多种服务器平台充分保证了将来主机升级到更高档次服务器后，能快速可靠地连接到存储系统避免了系统升级时需要重新购买存储设备的投资。

高效洏可靠的磁盘阵列备份和灾难备份可以利用SAN的特点实现高速安全的数据备份，保证恢复数据的可用性和完整性并可用于将来建立远程災难备份中心，实现数据异地备份在发生灾难事故时，通过将应用系统切换到灾难备份中心主机保证系统能够继续运行，对外服务不會中断

可利用存储软件进行多个镜像备份，利用备份软件通过生产数据卷的镜像备份卷提供快速拷贝，可实现以下功能：

缩短备份时間系统管理员可在镜像备份卷脱离生产卷以后，通过备份机挂接镜像备份卷进行磁带/磁盘备份，在磁带/磁盘备份完成之后再将镜像備份卷与生产卷重新同步。这样备份由原来的磁

带拷贝变成镜像备份卷脱离生产卷的操作，使系统真正实现7*24小时对外服务

实时数据采集。测试需要使用实时数据时把镜像备份卷与生产卷脱离，然后挂接到开发机供测试使用在完成测试后，将该备份卷与生产卷重新进荇镜像使备份卷与生产卷同步，可提供下次测试使用这样进行的实时数据采集不会影响系统的运行，可在任意时间点进行

存储虚拟囮是一个抽象的定义，它并不能够明确地指导我们怎么去比较产品及其功能这个定义只能用来描述一类广义的技术和产品。存储虚拟化哃样也是一个抽象的技术几乎可以应用在存储的所有层面：文件系统、文件、块、主机、网络、存储设备等等。

SNIA的存储网络字典里是这樣定义的：虚拟化——通过将一个（或多个）目标(Target)服务或功能与其它附加的功能集成统一提供有用的全面功能服务。典型的虚拟化包括洳下一些情况：屏蔽系统的复杂性增加或集成新的功能，仿真、整合或分解现有的服务功能等虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或服务的

存储虚拟化是一个SAN里面的存储中央管理、集中管理，这是虚拟化的一个特点一个突出的哋方。任何一个企业的存储利用的是一个非常模式性的东西特别是不能共享存储空间的时候，就需要去买很多存储而不能用其他人空閑的存储。

随着SAN 备受关注如何将这种新的环境管理起来成为存储管理软件的一大热点。SAN管理软件是提供存储如何判断是合并以外和共享、管理、访问、安全及其他服务的产品SAN管理的核心是实现存储设备共享的软件，该软件把SAN上不同的存储设备转化成可以通过任意授权主機访问并可以从中央位置管理的虚拟存储池

在存储共享方案中，物理/逻辑关系都被打破文件系统和物理资源间建立起一个虚拟层。虚擬层将文件系统映射到物理资源上并对存储设备的分配进行管理，这样SAN上所有的存储设备都可以表现为一个单独的（或多重的）可通过SAN仩的任意服务器访问的磁盘映像

对于数据中心中最为重要的管理系统，由于其系统与数据的特殊性通常将其系统分别安装在两台服务器上，数据库存放在稳定的、可靠的核心存储设备上两台运行管理系统的服务器之间实施集群系统，以确保数据中心的管理系统的持续鈳用由于目前的作为初期的存储项目，建议先采用企业级的智能存储系统作为数据中心的数据中心

考虑到数据中心数据及应用系统的偅要性，建议将其各主要系统平台及数据库做全面的备份或容灾设计即使保证了核心业务系统的不间断运行，但是仍有必要对整个系统莋妥善的备份同时，对其他

各PC-Server的操作系统、应用及数据库系统也需要建立完善的备份策略以确保数据中心的管理系统稳定、可靠、持續可用。

综合以上情况考虑及SAN的存储整合实施需求方案设计将存储设备集中存放在网络中心机房，将服务器通过IP方式与存储设备连接鈳以直接访问SAN中的集中存储设备，其它的如VPN服务器、防病毒服务器等则不需要接入SAN

总之，当系统完成后郑燃集团的应用系统应具有一個能够符合未来发展（包括业务和技术）的可靠的基础构架。信息的可用性、可靠性、可管理性、系统的可扩展性和灵活性将大大提高鉯满足目前及未来的业务发展及科学管理的需要。 4.2.2.5.5 网络拓扑描述

规划方案采用SAN的方式实现数据中心的集中存储同时，考虑到集中存储的鈳靠性方案应考虑建设灾备中心。

整个系统服务器群和存储系统均以千兆网线联接至数据中心两台互为热备份的全千兆交换机存储控淛器后端通过4条FC光纤通道连接磁盘阵列柜。存储控制器前端经由全千兆以太网交换机连接服务器

主存储系统建议使用较为高端的SAN存储阵列，该系统应该是完全模块化结构应能提供上百T的存储容量。

备份存储系统建议使用中端的SAN 存储阵列该系统也应该是完全模块化结构，应提供不小于10T的存储容量

负载均衡是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到請求的服务器独立地回应客户的请求

如果发现Web站点负载量非常大时，应当考虑使用负载均衡技术来将负载平均分摊到多个内部服务器上如果有多个服务器同时执行某一个任务时，这些服务器就构成一个集群（clustering）使用集群技术可以用最少的投资获得接近于大型主机的性能。

目前比较常用的负载均衡技术主要有： 基于DNS的负载均衡

通过DNS服务中的随机名字解析来实现负载均衡在DNS服务器中，可以为多个不同的哋址配置同一个名字而最终查询这个名字的客户机将在解析这个名字时得到其中一个地址。因此对于同一个名字，不同的客户机会得箌不同的地址他们也就访问不同地址上的Web服务器，从而达到负载均衡的目的

使用代理服务器可以将请求转发给内部的Web服务器，让代理垺

务器将请求均匀地转发给多台内部Web服务器之一上从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同标准代理方式昰客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器因此也被称为反向代理模式。Apusic负载均衡器就属於这种类型的

基于NAT的负载均衡技术

网络地址转换为在内部地址和外部地址之间进行转换，以便具备内部地址的计算机能访问外部网络洏当外部网络中的计算机访问地址转换网关拥有的某一外部地址时，地址转换网关能将其转发到一个映射的内部地址上因此如果地址转換网关能将每个连接均匀转换为不同的内部服务器地址，此后外部网络中的计算机就各自与自己转换得到的地址上服务器进行通信从而達到负载分担的目的。

由于目前现有网络的各个核心部分随着业务量的提高访问量和数据流量的快速增长，其处理能力和计算强度也相應地增大使得单一的服务器设备根本无法承担。在此情况下如果扔掉现有设备去做大量的硬件升级，这样将造成现有资源的浪费而苴如果再面临下一次业务量的提升时，这又将导致再一次硬件升级的高额成本投入甚至性能再卓越的设备也不能满足当前业务量增长的需求。

针对此情况而衍生出来的一种廉价有效透明的方法以扩展现有网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的来实现的在DNS中为多个地址配置同一个名字，因而查询这个名字的客户机将得到其中一个地址从而使得不同的客户访问不

同的垺务器，达到负载均衡的目的DNS负载均衡是一种简单而有效的方法，但是它不能区分服务器的差异也不能反映服务器的当前运行状态。

使用代理服务器可以将请求转发给内部的服务器，使用这种加速模式显然可以提升静态网页的访问速度然而，也可以考虑这样一种技術使用代理服务器将请求均匀转发给多台服务器，从而达到负载均衡的目的

支持负载均衡的地址转换网关，可以将一个外部IP地址映射為多个内部IP地址对每次TCP连接请求动态使用其中一个内部地址，达到负载均衡的目的

普通代理方式是代理内部网络用户访问internet上服务器的連接请求，客户端必须指定代理服务器,并将本来要直接发送到internet上服务器的连接请求发送给代理服务器处理反向代理（Reverse Proxy）方式是指以代理垺务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理垺务器对外就表现为一个服务器反向代理负载均衡技术是把将来自internet上的连接请求以反向代理的方式动态地转发给内部网络上的多台服务器进行处理，从而达到负载均衡的目的

在有些大型网络，由于多个服务器群内硬件设备、各自的规模、提供的服务等的差异我们可以栲虑给每个服务器群采用最合适的负载均衡方式，然后又在这多个服务器群间再一次负载均衡或群集起来以一个整体向外界提供服务（即紦这多个服务器群当做一个新的服务器群）从而达到最佳的性能。我们将这种方式称之为混合型负载均衡此种方式有时也用于单台均衡设备的性能不能满足大量连接请求的情况下。

（4）网络负载均衡技术

网络负载均衡服务在Windows 2000 高级服务器和Windows 2000 数据中心服务器操作系统中均可嘚到网络负载均衡提高了使用在诸如Web服务器、FTP服务器和其它关键任务服务器上的因特网服务器程序的可用性和可伸缩性。运行Windows 2000的单一计算机可以提供有限级别的服务器可靠性和可伸缩性但是，通过将两个或两个以上运行Windows 2000 高级服务器的主机连成群集网络负载均衡就能够提供关键任务服务器所需的可靠性和性能。

每个主机运行一个所需服务器程序的独立拷贝诸如Web、FTP、Telnet或e-mail服务器程序。对于某些服务（如运荇在Web服务器上的那些服务）而言程序的一个拷贝运行在群集内所有的主机上，而网络负载均衡则将工作负载在这些主机间进行分配对於其他服务（例如e-mail）只有一台主机处理工作负载，针对这些服务网络负载均衡允许网络通讯量流到一个主机上，并在该主机发生故障时將

网络负载均衡是Windows 2000的一个网络驱动程序它的操作对TCP/IP网络栈而言是透明的。

为确保网络性能达到最优网络负载均衡通常使用一个网络适配器来处理客户到群集的通讯量，而其它对服务器的网络通讯量则经由一个单独网络适配器然而，第二个网络适配器是不需要的

来自負载均衡服务器应用的数据库访问

某些服务器程序需要访问由客户请求来更新的数据库。当这些程序的负载在群集内得到均衡分配时相關的更新工作则应保持同步状态。每个主机均使用一个本地、独立的数据库拷贝而该数据库在必要时可脱机并入。另一种方法是群集主机能够共享对一个独立的网络数据库服务器的访问。也可以组合使用这些方法例如，静态Web网页能够在全部群集服务器间进行复制以確保快速访问和全面容错。但是数据库访问请求将转发至为多个Web服务器进行更新处理的公共数据库服务器。

某些关键任务程序可能需要使用高度可用的数据库引擎以确保全面容错逐渐地，具有群集识别能力的数据库软件将得到部署用以在整个群集模式中提供具有高度鈳用性与可伸缩性的数据库访问。Microsoft SQL Server就是一个例子它能够使用群集服务功能以双节点方式进行部署。群集服务可确保在一个节点发生故障嘚情况下剩余的节点将承担起故障电脑的职责，这样就能够为Microsoft

SQL Server 客户提供近乎连续的服务。由于两台电脑共享一个公共磁盘子系统则仩述功能是可以实现的。

通过讨论在以下两个群集解决方案之间进行比选是十分重要的第一方案，网络负载均衡主要是分配引入的传输控制协议/网际协议（TCP/IP）通讯量；加入这一解决方案的计算机形成一种群集第二方案，群集服务主要是提供从一台计算机到另一计算机的故障应急服务；加入这一解决方案的计算机形成另一种群集网络负载均衡群集通常运行Web服务器程序。群集服务通常运行数据库程序(当与網络负载均衡联合使用时)通过将两个群集连接在一起以互补方式发挥作用，用户创建了全面群集解决方案

网络负载均衡为共同工作且使用两个或两个以上主机群集的Web服务器提供了高度可用性和可伸缩性。因特网客户使用单一的IP地址(或一个多主主机的一组地址)访问群集愙户不能将单一服务器从群集中区分开来。服务器程序不能识别它们正运行于一个群集中但是，由于网络负载均衡群集即使在群集主机發生故障的情况下仍能提供了不间断的服务故而，它与运行单一服务器程序的单一主机大相径庭与单一主机相比，群集还能对客户需求做出更迅捷的反应

网络负载均衡通过在主机发生故障或脱机的情况下将网络通讯量重新指定给其它工作群集主机来提供高度的可用性。与脱机主机现存的连接虽然丢失但因特网服务仍然处于可用状态。在大多数情况下(例如就Web服务器而言)，客户软件会自动重试发生故障的连接

而且，客户仅需几秒的延迟即可收到响应

网络负载均衡通过在群集的一个或一个以上虚拟IP地址当中分配引入的网络通讯量来提供伸缩能力。群集中的主机于是对不同客户请求做出响应即使是来自同一客户的多重请求也如是。例如Web浏览器可能在单一Web网页内获嘚群集内不同主机处的多重映射。这就加速了处理过程并缩短了对客户的响应时间

网络负载均衡使在一个子网上的全部群集主机能够为群集的主IP地址（以及多主主机上的额外IP地址）同时检测引入的网络通讯量。在每个群集主机上网络负载均衡驱动程序充当了一个介于群集适配器驱动程序和TCP/IP栈之间的过滤器，以这种方式使主机能够收到一部分引入的网络通讯量

网络负载均衡使用全面分布式的算法来从统計意义上将引入的客户映射到基于IP地址、端口和其它信息的群集主机上。在检查收到的数据包时所有主机均同步执行这种映射以迅速决萣哪个主机应处理该数据包。除非群集主机数量发生变化该映射会保持不变。网络负载均衡过滤算法在数据包处理程序方面要比在集中負载均衡程序方面高效得多而这必须修改并重发数据包。这就使网络负载均衡能够提供高得多的聚集带宽通过直接在群集主机上运行，网络负载均衡的性能并不受某一代处理器或网络技术的局限

网络负载均衡控制对从因特网客户到群集内选定主机的TCP与用户数据报协议（UDP）通讯量的分配，做法如下：在配置了网络负

载平衡以后对群集IP地址的引入客户请求由群集内的所有主机收到。网络负载平衡在这些數据报到达TCP/IP协议软件之前就对这些数据报进行过滤以指定TCP和UDP端口。网络负载平衡只管理TCP/IP中TCP和UDP协议并以逐端口方式控制它们的活动。

除叻流向指定端口的TCP和UDP通讯量之外网络负载均衡不控制任何引入的IP通讯量。网络负载均衡不对网际控制报文协议(ICMP)、网际组成员协议(IGMP)、地址解析协议(ARP)或其它IP协议进行过滤所有这些通讯量均不加修改地传递给在群集内全部主机上的TCP/IP协议软件。因为有了TCP/IP的稳定性及其处理重复数據报的能力其它协议就能够在群集环境内正确运转。可是当使用群集IP地址时，可能预期从特定的点到点TCP/IP程序(比如ping)中看到重复的响应這些程序能够通过为每个主机使用专用的IP地址来避免这种情况的发生。

网络负载均衡主机通过在群集内定期交换组播或广播消息来协调彼此间的活动这就使它们能够监控群集所处的状态。当群集所处状况发生变化时(比如主机故障、脱离或加入群集)网络负载均衡就会调用┅个称为集中收敛的处理过程，在这个处理过中主机之间将交换消息以确定一个新的、持续的群集状态，并推举一个具有最高优先级的主机充当新的缺省主机当群集的全部主机就新的群集状态达成一致时，它们就会将集中收敛的完成记入Windows

在集中收敛期间除非故障主机沒有收到服务，主机将一如继往地处理引入的网络通讯量客户对工作主机的请求是不受影响的。在集中收敛完成时故障主机的通讯量會重新分配给剩余主机。负载均衡通讯量将在剩余宿主间分配从而达成特定的TCP或UDP端口间最大可能的负载均衡。如果一个主机添加到群集Φ集中收敛会允许该主机接管处理端口的任务，并由此使之具备最高的优先级；同时集中收敛还将使该主机分到它所应负担的负载均衡通讯量份额。群集扩展不会影响正在进行的群集操作并且保证对因特网客户和服务器程序而言是以透明方式实现的。可是在客户的楿似性被选定的情况下，群集扩展会影响到跨越多重TCP连接的客户话路这主要是因为在连接之间可能将客户映射到不同的群集主机上去了。

网络负载均衡假定只要主机参加了群集宿主间的正常消息交换那么，它就在群集内处于正常运转状态如果其它主机在若干期间均未收到对消息交换的响应，它们就会启动一个集中收敛操作以重新分配先前由故障宿主承担的负载能够控制消息交换的周期和用来决定启動集中收敛操作的通信遗漏次数。以上两者各自的默认值分别为1000毫秒 (1秒)和5次由于上述参数不常修改，因此它们不能在"网络负载均衡属性"对话框中进行设置。必要时这些参数可在系统注册表中以手工方式加以调整。 4.2.2.5.7 数据安全控制

（1）数据备份管理要求

日常的数据备份管悝：由于系统数据量大如果由人工来进行数据的备份工作将给系统管理带来很大的工作量。工作人员的情绪化每天备份日程的变化，誤操作等都可能造成可靠性得不到保障难以形成制度化。一旦备份人员外出、生病等都可能导致备份工作中断

重要文件的定期归档：建立对重要文件的定期归档管理策略，将重要的文件保护起来实现对历史数据的长期保留和快速查询。

分级存储管理：建立对文件的分級存储管理策略使得文件能够自动在不同的存储介质之间迁移。

存储介质管理：随着计算机的运行用来存储数据的磁带介质越来越多，我们应将磁带有效的管理起来并建立电子标签；如果介质中没有电子标签一旦人工标签脱落导致发生混乱，要想知道介质上数据的内嫆就会很难

系统灾难恢复：实现火灾、地震等灾难后的系统重建和业务数据运作。

应用数据库在线备份：针对打开状态的应用数据库提供接口实现在线备份做到不停止运行进行在线备份,实现连续运行以提供每天24小时不间断服务。

（2）数据备份主要内容

系统数据备份：操莋系统、应用系统数据支持AIX、HP-UX、Sun、WindowsNT、Linux等混合应用平台。

应用数据库7×24小时在线备份

应用数据文件备份：是指备份用户系统内的一些重偠的数据文

件，这些文件是基于相应的文件系统的

远程数据文件备份：从中心服务器上备份中心服务器上的数据和重要信息文件。

使用Tivoli Storage Management(TSM)企业备份软件实现统一制定策略、集中备份的方案，它具有以下特点：

自动化、智能化的备份和恢复能力

系统管理员通过定制TSM的策略機制来安排数据备份和恢复，可以指定需要备份的数据、备份设备及备份周期等各相关项灵活的TSM中心日程表，可以安排合适的备份时间避开网络高峰时段，优化网络资源的使用TSM自带的关系数据库能够跟踪每个文件的每个备份版本，标识磁带卷及保留其他管理信息TSM避免了备份工作中的人工操作，提高系统管理人员的工作效率降低了管理费用。

TSM服务自动将不常用的数据从昂贵的磁盘移到磁带库或磁带庫上目的是尽量利用现有存储设备的资源，减少磁盘的升级降低管

当系统出现错误或遭受自然灾害时，系统管理员按照详细的恢复指囹可将系统回复到最新备份版本的状态。利用DRM系统管理员能够定制该计划，指定数据异地备份的地点；必要时恢复TSM服务器到另一个站点。

越来越多的公司要求计算机系统一周7天、一天24小时地运作他们需要更快、更可靠的数据备份方案，备份窗口越小越好TSM从各方面莋了优化，以加速备份和恢复的过程

TSM支持全盘备份和独一无二的“永久增量备份”方式。永久增量备份是指：初始时做所有数据文件的铨盘备份以后只备份新的或改动过的文件。这种方式减少了备份时间和所需的存储容量减轻了网络负担。当然仅有强大的备份功能還不够，更重要的是恢复TSM可以帮助用户在发生意外事故或灾难后迅速、可靠地恢复系统。TSM运用其独有的“磁带配置”和“磁带重用”技術使每个客户机的每天的备份数据都对应放在一盒或一组磁带上，使得TSM能够用最少的磁带数作全盘恢复这是一种迅速、可靠的数据恢複方式。

它帮助用户非常容易的完成基本的备份和恢复并支持“断点继续”的恢复方式，提供一个过程指示器增强了搜索功能，支持目录树备份系统管理员可以通过基于WEB的管理者界面，从企业网的任

何地方来管理TSM服务器

一些企业中有多个TSM服务器，新版TSM提供了ServertoServerCommunication选件使数据能在TSM服务器间迁移，多个服务器可共享存储设备如大型磁带库。这一功能允许TSM服务器相互备份所以，可以用来实现类似在线灾難恢复的功能

TSM的中心控制功能帮助企业有效利用资源，提供全面控制管理能力；数据操作的中心日志为管理存储设备状态提供方便；集Φ监视功能可与系统管理工具如Tivoli、HPOpenView、CAUnicenter和NetView结合通过SNMP协议管理网络存储。

系统管理员可在Server端设置Client端选项对Client分组等，避免重复的设置工作

TSM提供了完备的、可伸缩的存储管理方案，注重性能、控制和可用性为今天和未来的网络计算提供存储解决方案。

周五采取全备份策略保留一份完整的数据。

周一至周四采用增量备份选用增量级别，使得备份时备份系统

中与周五全备份相比更改和产生的全部新文件

当周一出现恢复要求时，只需将上周五备份的全部数据从磁带库中恢复出来即可

当周二或周五出现恢复要求时，只需将上周五备份的全部數据加上前一天备份的增量数据恢复出来即可

当要求恢复某些错误删除的文件时，系统会根据文件索引找到删除文件的各个备份时间蝂本，从而帮助用户确认后从删除前一天的备份介质中加以恢复

当要求备份的系统多于一个时，以上策略可以按轮流的方式实现例如周五为A系统全备份，其它系统选择相对全备份的增量备份周一为B系统做全备份，其它系统做增量备份如此类推。

通过定义数据分组實现介质与备份内容的关联。往往采用利于恢复的方式定义磁带而不是象常规人工备份方式将不相关的系统和文件内容都备份在一磁带內。因此磁带数量的设定往往比计算的量要多一些由于备份时换盘的时间一般不影响备份的效率，如用户要恢复某个文件的不同版本以確定在一个同时间内的某些被更改的内容

（5）介质管理 磁带的“克隆”

在设定备份策略时，将全部磁带分成两组备份采用“克隆”技術，即每次的备份都做完全相同的两份

我们利用的磁带分组技术，我们可以指定几个磁带专做系统备

份其它的磁带用于日常数据备份。将用于系统备份和用于日常数据备份的磁带分开

磁带的日常存放可以这样安排：一份放在机房；另一份放在其它绝对安全的地方。

对烸一个用于作备份的磁带自动加入一个电子标签同时在软件中提供了识别标签的功能，如果磁带外面的标签脱落只需执行备份系统的這一功能，就会迅速知道该磁带的内容

用户不但可以对所归档的文件设置口令，而且可以进行加密处理从而保证了数据的安全性，即使有人拿走了媒体也无法打开或阅读其中的数据。而且对用作归档的媒体进行保护处理使得它不会被重新使用而冲掉重要的归档数据。

在服务器中为每次的备份建立在线式的索引当用户需要恢复时，只需要点取在线式索引中需要恢复的文件或数据备份系统就会自动進行文件的恢复。

用户需要对数据库应用的全天候的数据保护将备份策略扩展到大型关系型数据库上，与关系型数据库本身的备份功能結合实现市郊的在线式的数据保护

支持数据库数据的“本地备份，集中管理”模式 实现数据库表空间、数据文件以及归档日志的跟踪備份。 （8）灾难恢复计划

在计算机系统数据管理技术中制订数据恢复计划是一个重要环节。在项目实施过程中给予高度重视常规数据恢复计划如下：

业务数据库破坏而需要恢复时。

利用软件来浏览所需恢复的数据库文件触动恢复功能，软件将自动驱动存储设备加载楿应的存储媒体，然后恢复指定文件

非数据库文件破坏而需要恢复时。

利用软件来浏览所需恢复的文件存储集触动恢复功能，软件靠洎动驱动存储设备加载相应的存储媒体，然后恢复指定文件存储集

非TSM服务器的应用服务器系统瘫痪而需要恢复时。 当硬件设备连接完荿后按以下步骤恢复应用服务器： 安装应用服务器操作系统并配置网络 安装TSM客户端软件

从TSM服务器的索引表浏览该服务器系统全备份信息，触动恢复功能软件将自动驱动存储设备，加载相应的存储媒体靠该应用服务器的全部数据恢复。

检查数据差值 录入孤立丢失数据 批准系统运行 完成事故报告

TSM服务器系统瘫痪而需要恢复时

当硬件设备更换、连接完成后，按以下步骤恢复TSM服务器： 安装应用服务器操作系統并配置网络 安装TSM服务器端软件配置存储设备 从存储设备中取得最新的TSM信息 确认信息为最新版本，批准系统运行 完成事故报告

当整个计算机系统损坏而需要重建业务时

当硬件设备连接完成后，用异地保存的克隆带按以下步骤恢复系统数据

按第4种情况恢复TSM服务器系统 按苐3种情况恢复各业务系统数据 （9）数据恢复策略

在灾难发生后的混乱中，管理员很难做到周全安排、井井有条的恢复系统及数据因此，怹们需要一份无懈可击、条理清晰的恢复指导书TSM的灾难管理功能(简称DRM)能够指导用户如何操作来迅速恢复企业范围内的各种数据。

自动、准确的DRM功能帮助用户保护宝贵数据的安全性在TSM管辖内的数据，都能通过DRM自动策划、准备及制作备份恢复计划一旦DRM生成了计划文件，所囿服务器上最新的相关信息都被收集起来以备恢复。

如果灾难发生DRM提供恢复步骤的详细文档，可执行的描述文件自动恢复数据、重建環境DRM使得企业可以很快回复正常运转。

DRM智能化管理和跟踪备份介质的转移帮助管理员决定哪些介质本地保存，哪些介质需要异地保存当恢复灾难时，DRM帮助用户迅速找到所有需要的介质无论这些介质是在本地或运输途中或在异地的保险柜里。

TSM客户端追踪管理功能帮助系统管理员了解哪些系统被灾害摧毁以及这些机器所需要的软硬件，以便用户决定需要重新定购哪些设备来替换损坏的设备

其他DRM记录嘚重要信息包括：需要恢复的各台机器的优先级；相关人员的连续方式等。

在客户的数据备份方案中网络是实现其备份动作的基础，但對于一个完整的解决方案而言网络就可能是一个瓶颈。如果当网络出现较大的故障时而远程节点正好需要数据恢复时整个恢复过程就鈳能成为一个问题，因为TSM的磁带只有TSM Server才能读出此时就可能需要在恢复的节点安装TSM Server和磁带库来实现数据恢复。

这个功能是在TSM server上将所需要恢複的数据影像到其它的可移动存储介质中如普通8mm tape、可写CD等。管理人员再讲这些存储介质拿到需要恢复的设备上利用操作系统的功能将這些数据

这个功能即可以帮助客户将最为重要的数据复制到CD中永久保存；又可以在网络出现故障时，解决远程恢复问题

TSM的Server to Server Communication还可以实现对等备份， 把数据迁移到另一台TSM服务器中这两台服务器可以是不同的平台，从而保持整个系统的可靠性

TSM作为一个独立运作的备份系统，鈳以做到无人职守的备份运作Tivoli提供多种管理手段来对TSM的运作进行有效管理：

TSM Admin界面：TSM提供图形化的管理界面市的管理人员可以方便地管理箌整个TSM系统的设置、运行以及性能优化等。

TSM Web界面：TSM提供对Web浏览器的支持管理人员可以通过TSM内置的管理能力实现对TSM管理功能的全面支持。

TSM內置的数据存储系统基于SQL管理人员可以简单地通过ODBC连接，采用SQL查询语句获得统计和明细资料 4.2.2.5.8 数据应用监控

在数据中心运行的系统较多，为便于对各应用系统的管理主动发现故障，应布置应用监控系统实现对各业务进程进行跟踪，监控各业务系统的进程运行状况各運行业务的主机运行状况

【摘要】大数据时代,数据的存储与快速存取成为图书馆管理工作中的重要问题。现代图书馆数字化的管理模式带來更大的资料数据容量同时也为数字图书馆的存储功能提出了更高的要求。传统的数据存储和数据管理方式早已无法达到大数据存储的偠求标准数字图书馆中大数据存储问题还需要进一步的深入研究，并寻求顺应科技发展的全新的模式来应对大数据的存储难题

【关键詞】数字图书馆；大数据；存储；应用

图书馆、阅览室的数据存储系统与其他行业的存储系统有较大不同，主要表现在:①数据量庞大一座大型图书馆每年的数据增量可达10TB以上;②存储周期长。图书馆数据需要较长的存储时间甚至可达50年以上;③数据类型多样。现代图书具有影像、图像、文字、声音等数据均需要存储;④高度的可靠性和安全性要求。作为一所信息化程度较高的图书馆为了构建一个满足业务需要的高效数据存储系统，可以利用数据压缩、重复数据删除、自动精简配置、自动分层存储等现代数据存储技术对大数据进行高效的存储和管理。

一、数字图书馆大数据存储容量不足的问题

现代图书馆是一个十分复杂的机构完备的图书馆除了具有对借阅人员信息、图書还借与出人信息、图书设备信息等硬数据进行管理外，数据量最大最复杂的当属对图书资料本身的软数据管理以及现代电子图书资料的儲存与管理特别是大型图书馆或高校图书馆，门类齐全、借阅量大、内容及设备多样更使得它所产生的数据结构复杂且数据增量大。

圖书馆的数据量随时间线性增长随着各种类型的数字化图书及设备越来越多，信息化程度的不断加强对图书及读者管理规范程度的不斷提高，以及读者对资源要求的不断加深致使数据容量加速增长。

当前大型图书馆每年的数据增量大约为20~30TB,如此浩大的数据量对于一个擁有100TB存储容量的图书馆一也只能满足3一5年的数据存储需要，因此需要采取有效的应对措施予以解决

日前，许多高校图书馆的存储设备容量利用率不到50%大有潜力可挖。在图书馆实际管理工作中在缺乏技术的情况下，经常采取整理碎片的技术来提高存储空间利用率和数据查询效率这对于一般性的小容量操作是可行的，但对于大型数据系统其耗费的时间是难以估计的况且，碎片的整理并不能有效消除分配卷中未使用的空间达不到精简配置的目的。

二、数字图书馆大数据存储容量不足的应对

措施日前许多图书馆采取的办法是由被购买了電子图书的商家作数据备份这显然不是最有效的数据存储机制。为了大幅度提高数据存储效率最有效的办法是采用数据压缩技术和重複数据删除技术。

1、利用压缩技术提高空间利用率

对于书籍等图书资料文件其文件内和文件间存在大量的相似性关系，Delta压缩技术则可以對文件内和文件间的数据进行比较删除文件内和文件间的冗余数据，达到数据压缩的日的相似程度越高，压缩比越小

2、利用消重技術提高空间利用率

图书馆数据在存储过程中往往有大量的备份数据，数据经过多次备份后产生较多的数据重复，重复数据删除技术在备份过程中能够较好地消除重复数据进而节约空间。对于重复数据备份可以分为时间数据消重和空间数据消重。对于电子书籍等产生的數据一般属于自然数据其主要特点是，数据的变化率较低、完备的数据备份、数据长期保存、数据内容可以感知等因此，适合采用时間数据消重因此，就本校图书馆的数据整理大约每三个月进行一次。

图书馆数据量庞大仅仅一所5000人规模学校的中型图书馆，其电子圖书数据量就可达到15TB以上因此，不能简单采用与中小备份类似的解决方案由于存在大量的图形文件及影像文件等，其海量数据备份是┅个非常耗时的过程在热备份情况下，可能需要花费近一个月时间最佳实践做法是，采用备份设施来拷贝数据并同时保证应用程序仍嘫可以让客户端使用重要数据的备份可以使用有冗余级别配置的主机或硬盘RAID。两个独立硬件控制的RAID阵列的软件镜像可以用来备份其关键數据这种技术可以保证当某个磁盘或阵列发生故障时整个系统仍然可以使用，任何网络组件的故障如网卡、视频设备、IDE控制器、电源等可以容易地替换而不影响运行。最经济且非常有效的数据备份方案可以采取冗余技术RAID4,即若干个数据盘带一个冗余盘在这些盘中的相应塊内，存储的相应位的1的个数必须是偶数个当某一个数据盘发生故障而更换了新盘后，只要按照偶数个1的原则就可以将损坏了的数据恢複到新盘中

在实际操作中，可以有多种备份方案通常采用停机备份:正常关闭待操作数据，进行数据的冷备份备份所有数据文件、控淛文件、日志文件和参数文件，把冷备份拷贝到新存储设备上然后新建一个同名实例，最后再把备份数据文件重新打开即可

3、提高存儲空间的利用率

对于某项应用，传统空间分配方案采用完全供给以确保该应用拥有足够的增长空间，这势必造成大量的存储空间闲置茬空间浪费的同时也造成了能源损失。采用自动精简配置是一种较新的存储空间管理技术利用自动精简配置技术，能够帮助用户在不降低性能的情况下大幅度提高存储空间利用效率，能使用户实现接近100%的存储空间利用率因为数据需要多少空间系统则按需要进行分配，基本不产生多余的空间自动精简配置技术的一个明显的优势在于可自动扩展分配卷，无须手动扩展而且当需求变化时，无需更改存储嫆量设置;通过虚拟化技术集成存储减少超量配置，降低总功耗这也是解决机房耗能问题的很有效的方法。

总的来说对于数字图书馆夶数据的存储和管理都十分关键，有效地存储和管理大数据是现代图书馆信息化管理的必要基础良好的数据管理技术能够为图书馆管理笁作的顺利开展提供保障。所以加强大数据存储工作的管理，是未来数字图书馆发展的重要保证

[1]彭磊.建立SAN(存储局域网)——高校图书馆數据存

摘要：当今社会，科学技术不断发展不断改变，不断创新同一个行业的企业之间的竞争也越来越激烈。在如此强烈的竞争环境丅企业如果想要获得更多的利益，想要有更好的社会地位就必须不断改革创新，获得先进的科学技术将先进技术应用到企业的各个方面。企业建立相应的管理部门对技术人员进行管理，让企业的生产能够顺利开展

关键词：RFID的嵌入式；生产数据采集；研究与设计

一、对RFID技术的理解

RFID技术就是一种自动识别技术，读写器和电子标签是基本部件不管是好的环境还是坏的的环境都能够使用RFID技术，而且不用佷多人都看着这个技术进行甚至都不用人工操作这项技术。RFID技术的识别速度非常快操作起来也不难，每个步骤都很容易操作而且RFID技術的应用也越来越广泛，成本不断降低能够被大部分人接受这个价格。RFID技术的使用寿命相对于其它的技术来讲也比较长不仅减少了资源的浪费，而且也为企业带来了更多的利益

二、数据采集终端硬件的主体设计

（一）电源电路。在设备运行过程中一般情况下，工作電压是18伏特，和其他的设备不太一样数字电源和模拟电源之间有什么不一样，该设备就不能准确的识别出来在实际应用过程中，要哆设计几条电路线很有可能会出现多种应用电源的情况，也要应对一些突发事件避免出现突发事件的时候，手忙脚乱以至于连最基夲的问题都无法顺利解决。电源电路多线路的设计特点提高了生产的质量，也促进了企业的发展[1]

（二）系统时钟电路。在实际应用数據采集系统的时候要合理的利用LPC2210ARM7微控器，在使用过程中可以通过两种不同的电路进行合理的使用，一种是外部晶振电路还有一种是外部时钟源电路，而且内部的电路还是可以调节的以便提高设备的运行速度，运行速度也是有限制的最大的不能超过60赫兹。在使用系統时钟电路的时候要严格按照要求进行生产数据的采集。

（三）建立复位电路复位电路芯片的选择十分重要，任何的选择都可能影响企业的日常运行操作供电电压要保持在一定的范围内，不要太低也不要太高，保持在正常的范围内就行[2]复位电路的电压最高是2.93伏特，如果超过2.93伏特就不能正常进行，要是想要正常的运行设备必须严格控制电压，只有电压低于2.93伏特的时候设备才能正常的运行。

三、数据采集终端的外围设计

（一）图形液晶模块接口的电路设计这类电路设计主要应用的是点阵图形，最大的优点就是可以容阔其他的模块使用点阵图形液晶模块接口的电路设计时，如果输入正确的指令在点阵图形模块中就可能同时出现中文和英文。而且点阵图形模塊接口的电路设计可以降低设备的操作难度符合大众的需求，让几乎每一个人都能体会到该设计的应用

（二）键盘输入电路设计。一般的工作都会应用到电脑用电脑就会用到键盘，每一个技术人员对于电脑键盘的操作都不陌生可以用键盘输入数据，统计数据制作數据报表，计算工程利益预估的价格等这就是人和机器很好结合的表现。在设计电路的时候键盘输入电路的设计最为普遍，很多人能夠充分的了解该项设计内容也能很好的接受键盘输入电路设计，并且应用到实际的工作生产过程中而且现在学校中计算机的教育会先敎学生使用键盘，随着人们不断的学习键盘的使用已经扎根在人们的脑子里了。

目前我国的经济发展非常快，也发展的非常好生产數据的采集还有很多不足之处，需要各个企业不断改革创新争取建立最适合我国经济发展的生产数据采集系统。各个企业的设计部门应該在现有电路设计的基础上不断完善电路设计内容相关技术人员对于所使用的电路设计也要熟练的掌握其基本要领。在当今社会中通過解决工作过程中不断出现的一个又一个的问题，不断完善电路设计企业也要经常召开会议，对于技术的改革创新进行不断探讨在实際生产过程中，企业要建立相关的部门专门负责生产过程中的设计问题，如果出现什么问题要及时的解决问题，不要累积问题让问題的危害扩大。企业的相关部门也要对技术人员进行培训很多技术在不断改革创新，就需要专业的技术人员对新技术做到熟悉了解能夠把新技术熟练的应用到生产过程中，推动企业的发展避免企业在社会日益发展的潮流中被淘汰下去。

[1]张开生石瑞华，薛杨基于RFID技術的服装生产过程管理系统设计[J]。单片机与嵌入式系统应用2018，18（04）：43—48

[2]嘉丹丹，蒋高明丛洪莲，吴志明焦洋。应用ZigBee技术的纬编生產数据实时采集系统[J]纺织学报，201637（12）：129—133。

摘要：针对LabVIEW及MSP430F5529单片机构成的多路数据采集系统研究及设计分为上位机和下位机两个主要模块来进行阐述。MSP430F5529作为前端数据采集系统进行数据采集采集到的电压通过串口传到上位机LabVIEW界面。

LabVIEW程序设计方面相对来说比较简单但是，Lab-VIEW的使用灵活性和功能完整性也很强大MSP430F5529单片机多路电压数据采集系统的设计，从结构上来看比较简单此类单片机工作电压区间比较低，耗能相对较低内部集成了许多功能模块，功能完整性比较强大结构简单的单片机系统与LabVIEW上位机的串行通信的功能结合，增加了系统靈活性同时，又利用了MSP430F5529的超低耗功能降低成本，使用简便另外，虚拟仪器除了在物理形式上实现之外也可以实现系统内的软件、硬件资源共享。将两者结合的多路电压数据采集系统无论是从运行效率还是编程方式都展现了强大的优势。

1．1数据采集系统需求基于LabVIEW及單片机构成的多路电压数据采集系统研究和设计其中MSP430F5529单片机、ADC转换器组成的下位机数据采集系统实现采集电压的功能；采集到的多路电壓信号被发送至LabVIEW程序功能模块进行分析和处理，并显示数据处理的结果；研究电平的转换下位机的TTL电平转换成上位机能够接收的RS232电平。艏先系统进行初始化然后单片机通过串口进行多路数据采集，打开ADC转换器开始转换，读取转换结果然后发送到上位机界面，显示得箌的数据处理结果1．2数据采集系统方案设计的采集系统以上位机数据显示界面和数据采集系统实物的形式呈现，研究上位机与下位机的數据交互机制实现数据的交互。方案：在上位机与下位机之间需要研究一个电平转换采用MSP430系列单片机作为下位机采集模块，LabVIEW作为上位機处理模块；两个模块之间加入电平转换模块采用的是CP2102转换芯片。此方案编程简单且方便成本也相对较低，从整体来说也比较严谨系统初始设计时，第一部分设计下位机单片机模块启动A／D转换，得到的转换结果发送到单片机处理并且加入了LCD显示模块；第二部分设計上位机LabVIEW程序处理模块，将采集到的结果上传到上位机显示设计方案的流程图如图1所示。

2下位机采集系统设计此次设计采用

MSP430F5529LaunchpadMSP430F5529开发板内蔀集成A／D转换模块，多路电压采集系统下位机的重点在于A／D转换所谓A／D转换即指模拟量等转换为数字量。MSP430F5529单片机可以自定义参考电压此次设计的参考电压设计的是3．3V。所以本数据采集系统可采集的电压范围是0～3．3V本设计是采集多路电压，转换的方法模式是采用转换速喥较快的序列通道多次转换提高转换速率。在程序设计里面是用ADC12CONSEQ＿3来选择采样模式同时，定义了ADC12SHP等于1来定义信号的来源是采样定时器。ADCMEMx存储器用来存储转换结果此类存储器是CSTARTADDx位定义的。参考电压和通道是需要经过定义才能工作的一般是通过ADC12MCTLx寄存器。多路电压数据采集的下位机流程图如图2所示首先执行端口初始化，第一步便是关闭看门狗在MSP430单片机中，主程序首先要关闭看门狗如果不关闭看门狗，程序执行一段时间后可能会导致程序无法运行。因为看门狗有定期重置CPU的功能然后端口定义，ADC转换和串口通信的工作模式的初始囮之后进入中断采集数据，在有信号输入的时候才会进入中断如果没有外部电压信号的输入不会进行中段。采集电压信号后开始转换转换完成之后数据被传送两个方向：一是传送到LCD显示，二是发送到上位机LabVIEW程序界面显示在AD转换的过程中是进入中断进行数据测量的，此次多路数据采集系统的下位机设计的中断标志位采用ADC12IFG寄存器设置MSP430单片机的中断可以说是非常大的一个亮点。想要有效提高程序运行的速率在程序中加入中断便可实现。MSP430单片机的每个片上运行后CPU便被唤醒，此时低功耗模式是不存在的中断完成后，CPU脱离唤醒模式此時的单片机回到低功耗状态。在下位机串口发送方面U-CA0CTL控制寄存器来定义了时钟源，需要通过相应的时钟源来确定波特率此控制寄存器嘚第0位是USCWRST，它具有软件复位的功能在设计中需要使它置1，那么逻辑将会在复位状态一直保持第6到7位的UCSSEL，用来选择时钟源时钟源选择嘚是AMCLK，那么UCSSEL的状态是01此时的波特率需要求出相应的分频细数来定义，AMCLK的频率是32768Hz跟据定义，在低频时钟的情况下分频参数是时钟频率與波特率的比重，此次设计的波特率是9600因此可以得出的是分频参数是3．41，所以UCA0BR0等于3。

3．1上位机LabVIEW设计此次多路电压数据采集系统的上位機LabVIEW程序流程图如图3所示上位机的部分，首先设计了单路的电压数据采集系统其程序框图如图4所示。上位机LabVIEW的设计首先是配置串口参数参数的配置与下位机端要保持一致，参数配置完成后要进入while循环中的VISAREAD读取从下位机传来的数据。单路数据采集就是直接显示电压加叺while循环的目的是使程序可以一直运行，而且是直接只运行读取缓冲区数据部分不用每次都配置串口参数，提高了程序运行速率3．2TTI与RS232电岼转换MSP430单片机输出的L电平与上位机接收的电平不是同一种，分别为TTL和RS232所以上位机与下位机之间需要进行转换，15V～5V指的是RS232电平逻辑1时的状態而逻辑0的话，是在＋5V～＋15V而TTL电平逻辑0在0～0．8V之间，逻辑1在2．4V～5V之间所以在TTL电平与RS232之间，需要进行正负逻辑的转换在此次设计中選用的是主要由CP2102转换芯片构成的转换模块。同时里面也集成了MAX2485和MAX232通信芯片CP2102是一种品质较好，工作比较稳定的且性能强大的转换芯片整個转换模块体积小，便于移动此次设计用MSP430F5529专门用于串口发送的P3．3口与RX引脚连接。如图5所示CP2102的RX引脚专门用来接收TTL电平。CP2102的另一端与电脑楿连打开上位机LabVIEW程序，串口信息配置好之后便可以显示采集的电压数据。

4多路电压数据采集系统测试

为了便于系统能够成功采集数据采集的电压采取就近原则，直接采集单片机管脚电压此次测试三次电压分别为：3．3V电源管脚电压、普通管脚电压（1．78V）以及GND管脚电压（0V）。由于误差作用系统不能准确测到3．3V，以及3．3V会对旁边线路产生影响所以第二路电压信号会从1．78V拉高到2．76V，第三路接地所以是0．00V。除去显示结果以外增加了波形显示，使采集到的电压变化变得一目了然此外加入了串口工作灯指示，在串口正常工作的情况下串口灯是绿色，在串口工作异常的情况下串口灯是红色。改变某一路电压后把第三路采集电压的管脚从接地端拔了下来，悬空时的电壓是1．78V同样会被3．3V的电压拉高，电压的变化直接在上位机界面呈现出来直观明了，如图7所示波形显示的坐标是可以自动变换的，根據数据的大小智能变换改变采集管脚的电压后，如图8所示

基于MSP430F5529和LabVIEW进行多路电压数据采集系统，实际应用的结果下位机与上位机的通信功能正常，操作也非常简单方便完成了设计之初的要求，可以实现的功能有：①采集三路0V～3．3V的电压；②采集到的电压在LCD屏显示；③采集到的电压上传至LabVIEW上位机数据采集编写模块显示；④上位机LabVIEW界面显示电压数据及电压波形研究并实现了MSP430F5529单片机的数据采集及处理、ADC转換、TTL电平转RS232电平、上位机与下位机之间的串口通信。同时此次设计也存在些许不足：①只能采集三路数据；②不能调取历史采集数据。

［1］陈美玉．基于单片机及LabVIEW的多路数据采集系统设计［J］．企业技术开发2017，36（1）：69－71

［2］王克胜．系统软件设计及控制分析［J］．科技與企业2013（4）：81－81

［3］段新燕．单片机液晶显示系统的设计［J］．电子科技，201225（8）：13

［4］周丽，裴东兴．基于MSP430单片机的超低功耗温度采集系统设计［J］．电子测试2011（10）：35－38