oniodiga的贴吧
'아빠 어디가' 무인도 축&#x...　Ｉ　ＳhouId,not,Keep,on,Ioving,you. 是什么意思啊，我不会英_百度知道
　Ｉ　ＳhouId,not,Keep,on,Ioving,you. 是什么意思啊，我不会英
是什么意思啊,Keep,not　Ｉ　ＳhouId,Ioving
我不该一直迷恋你我不该爱你这么久我不该为你钟情我不该一直爱慕你我不该如此痴情于你
来自团队：
其他类似问题
为您推荐：
其他6条回答
我不应该继续爱你。
亲，望采纳，谢谢
我不应该继续去爱你
我不会继续爱你。
我不会永远爱你的。
我不应该一直爱著你
我不应该继续爱你
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁文档分类：
在线文档经过高度压缩，下载原文更清晰。
您的浏览器不支持进度条
淘豆网网友近日为您收集整理了关于面向云存储的IO资源效用优化调度算法研究
Research on IO Resource Scheduling Algorithms for Utility Optimization Towards Cloud Storage的文档，希望对您的工作和学习有所帮助。以下是文档介绍：计算机研究与发展 ISSN 1000— 11—1777/TPJournal puter Research and Development 50(8):,2013面向云存储的i/o资源效用优化调度算法研究王健宗1’2’3“谌炎俊1’5 谢长生1’2’31(华中科技大学计算机学院武汉(武汉光电国家实验室武汉(信息存储系统教育部重点实验室(华中科技大学) 武汉(网易公司广州 (佐治亚理工学院佐治亚州亚特兰大30332)(jzwang@smail.hust.)Research on I/O Resource SchCloud Storageuling Algorithms for Utility Optimization TowardsWang Jianzon91'2·3”,Chen Yanjunl”,and Xie Changshen91'2'31(School puter Science and Technology,Huazhong University of Science and Technology,Wuhan (Wuhan National Laboratory for Optoelectronics,Wuhan (Key Laboratory of Data Storage System(Huazhong University of Science and Technology),Ministry of Education,Wuhan 430074)Ease Inc.,Guangzhou (ia Institute of Technology,Atlanta,ia 30332)Abstract Cloud—based services are emerging as an economical and convenient alternative for clientswho don’t want tO acquire,maintain and operate their own IT equipment.Instead,customerspurchase virtual machines(VMs)with certain service level objectives(SLOs)to putationalresources.Existing algorithms for memory and CPU allocation are inadequate for I/O allocation,especially in clustered storage infrastructures where storage is distributed acrossmultiple storagenodes.This paper focuses on:1)dynamic SLO position SO that VMs receive proper I/O servicein each distributed storage node。and 2)efficient and robust local i/o scheduling strategy.To addressthese issues.we present all adaptive I/O resource scheduling algorithm(called PC)for utilityoptimization that at runtime adj usts local SLOs.The local SLOs aregenerated for each VM at eachstorage node based on access patterns.We also adopt dual clocks to allow automatic switchingbetween tWO scheduling strategies.When system capacity is sufficient,we interweave requests in anearliest deadline first(EDF) manner. Otherwise resources are allocated proportionately to theirnormalized revenues.The results of ourexperiments suggest that the algorithm is adaptive to esspatterns without significant manual pre~settings while maximizing profits.KeyI/0serrevenue maximization摘要随着云计算的普及,越来越多的客户选择使用基于云的服务,以避免冗余的设施购买费用和繁杂的系统设计与维护,从而将精力集中在自己的专业领域.通常,云服务的客户从云服务供应商购买虚拟机,并根据双方商定达成的服务水平目标(service level objective,SLO)约束购买到的计算资源.分布收稿日期:;修回日期:基金项目:国家自然科学基金项目();国家“九七三”重点基础研究发展计划基金项目();湖北省武汉市青年科技晨光计划基金项目();国家“八六三”高技术研究发展计划基金项目()通信作者:谢长生(CS—xie@mail.hust.)万方数据计算机研究与发展)式存储中大量的文件分布在不同的存储节点上,现有的CPU、内存以及带宽等资源的分配调度算法并不适用磁盘I/o资源.从云服务提供商的角度来说,高效用的I/O资源调度算法有利于提高其系统的利用率,节约资源开销并增加企业收益率.从云存储提供商为获取高效率高收益率的角度考虑,通过对用户的虚拟机在不同存储节点上的访问特性建模,提出了一个新的自适应分布式I/o资源调度算法,简称为PC算法.PC算法能够:1)根据用户与服务商之间制定的SLO,动态地在各个存储节点中为每个虚拟机制定适当的局部SLO,满足虚拟机对个体节点的访问需求;2)为各虚拟机提供高效健壮的资源分配策略,既能尽可能利用I/O资源,又避免由无序的i/o资源竞争导致的虚拟机I/o资源饥饿。PC算法能够根据不同的I/O资源供应状况在两种调度策略间自动切换,当系统I/O资源充足时,算法采用最早截止时间优先算法(earliest deadline first,EDF)方式提高I/O资源使用率;反之则根据每个f/o请求的预计效益来提高总收益率.实验结果表明,在不采用预先设定虚拟机对各个节点访问量的前提下,PC算法能根据访问模式制定合理的资源分配,提高系统的i/o资源利用率和收益.关键词云存储;I/O资源调度;效用优化;服务水平目标;收益最大化中图法分类号TP302.8在云计算应用中,用户所购买的虚拟机建立在云服务供应商提供的主机上,服务提供商的每一台主机可以运行多个虚拟机供一个或多个用户使用.为了便于数据的管理与交换,这些主机通常共享一个集中化的存储资源池,这为]/o资源调度带来了一些全新的挑战.首先,虽然虚拟化保证了每个虚拟机都假想自身获取独立的专有资源,但实际上每个存储节点的[/o性能是有限的,不同虚拟机间的ItO资源竞争导致每个虚拟机实际I/O性能受限.不同于CPU和内存分配,I/O资源受传统机械硬盘的原理所限,固有处理速度较慢,难以应对负载波动,遇到I/o突发访问时服务质量容易受到影响甚至使服务停滞.i/o工作负载的突发性和不可确定性要求I/O资源调度算法必须满足两个特性,其一是健壮性,即能为共享资源的虚拟机提供完善的隔离措施;其二是高效性,即能有效地利用I/O资源,尽量减少响应时间.用户和服务提供商之间制定服务水平目标(service level objective,SL0)用来衡量服务的目标.根据SLO模型,目前已有的I/o资源调度算法如pClockc 1|,mClock[引,Nested QoS[3|,Avatar[41等可以分为两大类:第1类为时间片轮转调度,其中心思想是使用SLO标明服务的优先级,并将服务时间精确划分,使得每个虚拟机获得的服务量正比于优先级,该类的改进算法如mClock[2|,为每个I/O请求增加了更复杂的标签,能实现带宽保留和带宽限制等更多控制;第2类为延迟控制类,包括pCIock[¨,Nested QoS[30和Avatar[41等.此类算法借鉴了网络流量整流的思想,用令牌桶模型限制I/O请求.每一个SLO用一个令牌桶模型(盯,JD)表示,其中仃代表最大突发负载,p代表平均吞吐率.为了达到控制响应时间的目的,通常在模型中增加第3个参数艿,表示最大响应时间.算法根据响应时间的要求灵活地调度请求。在分布式云存储系统中,除了为每个虚拟机制定一个全局的SLO,还应该考虑虚拟机在各个节点获得的服务.如表1所示,以2个虚拟机访问2个存储节点为例,假设对于虚拟机A和虚拟机B,其前4个请求都在0ms时到达,剩下的4个请求在500ITIS时到达,且要求所有请求的响应时间都不得超过5001TIS,可知每个虚拟机全局的吞吐量均为8 IOPS.虚拟机B交替访问2个节点,在每个节点获得的吞吐量实际均为4 IOPS.而虚拟机A前4个请求访问节点1,后4个请求访问节点2,可知在500ms响应时间限制下,虚拟机A在每个节点的吞吐量均为8IOPS,比虚拟机B对资源的要求更高.Table 1 Various Resource Demands by Different Acce豁Patterus表1不同访问模式导致的资源需求差异VM i/o Request SequencesA 1 1 1 1 2 2 2 2B 1 2 1 2 l 2 1 2总的来说,一个全局SLO是由存储各节点的I/O访问综合而成,难点在于如何将全局的SLO分解为合适的局部SLO,从而在各节点进行高效的调度.现有的分布式i/o调度算法均采用固定的SLO分解方法,在每个节点为各虚拟机设定固定的局部SLO,这种方法虽然可行,但是有如下缺点:1)服务提供商需要分析或者预估该用户的i/o万方数据王健宗等:面向云存储的I/O资源效用优化调度算法研究访问特性;2)资源调度不灵活,当用户在某些时刻集中访问某些节点时不能得到及时的响应;3)不利于实时管理,局部SLO设置需要经常更改.因此需要采用更加灵活的方式分配全局SLO,实现资源的按需分配.另外,如文献[5—6]中所述,现在的云服务中计算资源已经类似于水电等传统资源,其价格受到市场供需影响.从云服务提供商的角度来说,不仅希望虚拟机的价格能随着整个资源池的资源利用率变化而变化,也希望在提供服务的过程中,每一项服务都能带来更高的收益,尤其是在I/0资源紧张的时候.现有的I/0资源调度算法如pClock[1],mClock[2],Nested QoS[3。,AvatarE43等均采用优先级或响应时间的单一调度策略,忽视了供需关系和市场价值因素.本文介绍了一种全新的i/o资源调度算法,其贡献如下:1)该算法能完成实时建模,通过轻量模型动态分析虚拟机的I/0访问特性,并将全局SLO动态分配至各存储节点;2)该算法在轻度负载情况下采用EDF调度,优先调度对响应时间要求更严格的I/O请求,在避免破坏SLO的前提下提高I/0资源利用率;3)在高负载时,该算法能依据虚拟机的SLO估算出在各节点所需要分配的资源量,计算出预计标准化收益,优先调度收益高的I/O请求.1调度目标为了实现有效的隔离措施,时间片轮转调度算法严格按照优先级交错地为各虚拟机服务,在任意时间内,各虚拟机获得的服务与其优先级成正比.这类算法的优点在于绝对的公正性,缺点则为缺乏灵活性.如果推迟那些对响应时间不太敏感的I/0请求而优先完成紧急的请求,云服务提供商可以提高资源利用率,用更少的110处理能力完成更多的服务.然而在系统资源紧张时,这种单纯从响应时间人手的灵活性调度策略可能令某些虚拟机处于“饥饿”状态.从云服务提供商角度来说,其目标是尽量用最少的资源获取最高的收益.Amazon EC2[7]云服务中提供了Spot instance,其价格根据闲置资源的数量而改变;对相同的限制资源,出价高的用户拥有更高的优先级.文献[5—6]研究了Amazon EC2[7]中Spot market的动态资源分配问题,根据市场的历史价格和虚拟机周期等制订合理的虚拟机分配策,使收益最大化.本文希望在调度过程借鉴相关思想,通过衡量I/0请求的预期收益体现出云服务的市场特性.本文提出的算法旨在提高资源效用的同时维持合理的i/o竞争秩序.算法采用改进的令牌桶模型为虚拟机发出的I/O请求整流,每个虚拟机的I/0流由最大突发负载盯、平均吞吐率p和最大响应时间艿控制.当I/O负载较轻时,算法采用EDF策略优先调度实时性要求高的I/O请求.当系统面临高I/0负载时,该算法分析每个请求的预期收益,优先调度高收益请求.另一方面,为了保证每个虚拟机的全局SLO能够完成,各存储节点需要实时设置合适的局部SLO.本文设计了一个动态的自适应SLO分解模型,能实时分析虚拟机的I/O访问特性,将全局SLO分解成局部SLO,根据局部SLO为虚拟机在每个存储节点提供合适的服务.2 SLO实时分解与调度算法设计图1为算法功能模块和工作流结构图:Fig.1 Proposed modules and architecture of PC algorithm.图1 PC算法模块结构图在图1中,每台主机上运行着多台虚拟机,其底层为I/O请求协调器.主机的I/0请求协调器分析虚拟机发出的I/O请求,将I/O请求映射至不同的存储节点.在处理过程中,每个I/0请求后都会附加上一部分信息,存储节点提取这些信息后对虚拟机进行访问特性建模(access pattern modeling,APM),并分配合适的局部SLO(Sub—SLO).访问模式建模万方数据计算机研究与发展)确定以下两点:虚拟机的历史访问特性和近期访问特性.根据这些特性,访问模式模型将全局SLO分解成该节点所需要的局部SLO,然后经过时间戳处理模块为各I/O请求加上时间戳,最后经由调度器调度.2.1 I/O队列特性存储节点为每个虚拟机建立一个请求队列,类似地,每个虚拟机发出的请求可能在多个节点中形成队列.各存储节点调度I/O请求时,总是从当前节点的所有1/o队列中选择某个队列的第1个请求进行调度,否则相应虚拟机的请求顺序会被破坏,不利于主机中的工作负载整合.本文用一个三元组令牌桶(盯,p,艿)来表示SLO,其中盯代表最大突发负载量,.0为平均吞吐量,d为最大响应时间.在任意时间段(T,,T。)内,一个虚拟机最多发出盯+p(T2一T,)个请求.虚拟机初始时有d个令牌,每发出一个请求令牌数量减1;每经过&时间,令牌数量便增加1,令牌数量以盯为上限,以确保虚拟机最大突发负载不会超过盯.若令牌已用光,则将1请求的到达时间向后推迟土的整数倍,使得调整lD后的到达时间仍满足令牌桶的整流限制,避免该虚拟机占用过多资源.经过令牌桶整流后,i/o请求形成队列,等待调度.将I/O请求队列的状态分为空闲、正常和阻塞3种.当队列长度为零时该队列为空闲状态.当队列长度为非零,且队列中的请求尚未超出允许的最大响应时间时队列处于正常状态.当队列中至少有一个请求已经超出允许的最大响应时间时称其为阻塞状态.调度过程中可以通过查看队列的状态推断出I/O资源供应水平,从而采用合适的调度策略.2.2 访问特性建模及SLO实时分解每个虚拟机都有一个全局的SLO,该虚拟机第1次访问某个节点时会将全局SLO配置附加在I/O请求后面.存储节点提取出虚拟机的全局SLO后便需要计算出合适的局部SLO.该局部SLO首先要反映出当前存储节点在这个虚拟机访问的所有节点中所占的比重,其次需要实时更新,适应工作负载的变化性.以虚拟机VM。为例,记(仃:,P,,哉)为VM。的全局SLO,(庆,10|,爱)为VM;在存储节点椎i的局部SLO.首先,虚拟机VM;的最大响应时间不变,所以醴与艿:相等.其次,希望一与d,也相等,这样存储节点能更好应对突发的工作负载.因此我们的主要目标在于将全局平均吞吐量n分配到各个节点.定义如下:蠢=巩; (1)露一犀lfD:; (2)拱=菇; (3)这里砧表示局部SLO 10:在全局SLO Pf中所占的比例.将口;进一步分解为两部分:历史访问比例和近期访问比例.令H;表示历史访问比例,尉表示近期访问比例㈣表示历史访问比例的贡献因子.将肚;表示为H;和R;的线性组合,如式(4):肛{一m·H;+(1一戤)·R{. (4)当我们能精确计算出川和R;时,即满足:yH;一1; (5)』yRi一1. (6)j可以得出:∑p;=∑[di·H{+(1一口,)·Ri 3=i ia,·∑H;+(1一a,)·∑R;一||a:·l+(1一口,)·1—1. (7)也就是说,任意虚拟机VM:在所有存储节点中获得的SLO份额之和为1,即其全局SLO被分解为合适的局部SLO.之所以将口;表示为H;和R;的线性组合是出于以下几点考虑:首先,线性组合具备简单轻量的特性,易于在底层实现,即使在最复杂的情况下,我们也可以根据工作负载的大致工作特点和性质为不同虚拟机设定不同的历史访问比例贡献因子a,;其次,如式(7)所证明的一样,任意虚拟机在所有存储节点中获得的局部SLO之和等于其全局SLO,该模型能灵活地满足虚拟机的全局SLO要求;最后,该模型同时考虑了访问的历史访问特性和近期访问特性,这对预估稍后的访问特性至关重要.为了使各节点能计算出虚拟机在当前节点应该分配到的局部SLO,我们令主机中的I/O请求协调器为虚拟机VMi记录2个数据:C:和D:,其中G表示到时刻t为止虚拟机VMi已完成的iIO请求数;D:表示截止到时刻t虚拟机VM。一共发出的I/O请求数.每当I/O请求协调器分发一个I/O请求,便会将相对应的2个数据添加到该请求的结尾处供存储节点的调度算法分析.在存储节点咒i中,调度器一边维护虚拟机VMi最近i/o访问请求的C:和D;,一边记录本节点为虚拟机聊,完成的请求总数万方数据王健宗等:面向云存储的I/O资源效用优化调度算法研究S;。历史访问比例硪和近期访问比例R;可以根据式(8)(9)得出:aH;=凳; (8)L;1R一雨南. (9)式(8)表明,截至时刻t在虚拟机VM,已经完成的C;个I/O请求中,有S;个是由存储节点n,完成的.式(9)表明,从存储节点n,上一次接收到虚拟机VMi的请求至今,虚拟机VMi向所有的存储节点共发出D:一Df_1个请求,其中只有1个请求到达VMi,在这段时间内存储节点n,所承受的负载量占全部负载的II(D:一D:-1).由式(1)~(9)我们最终推导得到:矗一肛J10i一[ai·H;+(1一a。)·R;]·肛一广≈ 1 1卜‘蠢“卜∞卜南J‰P(10)在实际过程中,由于历史访问比例H;和近期访问比例R;都与小于1的因子相乘,其中任意一个值较小时均可能导致最终分配的d过小,同时也使得虚拟机即使某一段时间内集中访问单一节点也无法获得全局SLO服务量.为了避免这些不合理分配,我们为肛;制订了上、下两个阈值.当犀小于下阈值时,令犀等于下阈值,相当于为虚拟机在任意存储节点制订了最小服务保障.当正大于上阈值时,假定虚拟机在集中访问当前存储节点,因此令口;一1,从而让该虚拟机的请求能在当前节点尽快完成.与此相对应,式(3)中令局部最大突发负载量斟与全局突发负载量耕相等,也可以为模型建立提供更平滑的缓冲机制。另外,随着工作负载的运行,已完成的请求数C:和已发出的请求数D;逐渐增大,其差值可以忽略不计,我们只需记录G,但这种方法我们并不在此多作讨论.2.3 t/o请求的收益为了更好地衡量请求的优先级,我们根据请求所需要的SLO计算请求对资源的消耗量,将其与虚拟机的收费标准即收益相比较,得到每个提供服务的资源的单位收益,以此作为标准化收益.假使全局SLO为(仉,n,&),在请求所要求的完成时间(￡,￡+&)内,记单位时间内虚拟机的最大吞吐量(IOPS)为该虚拟机所需要的全局服务成本(global cost,GC),即GC一生掣一罢+pi.(11)0i Oi不同存储节点共同分担了对虚拟机VMi负载的服务,故虚拟机在存储节点ni所消耗的局部服务成本(10cal cost,LC)相当于:LC一正。GC一犀(蚤+B)· (12)其标准化收益(normal revenue,NR)为(t,t+文)内获得的收益与局部服务成本的比,即NR一学一 p·赞∥{·(仉+p·哉)’—————————————————————————一●(13)其中,P为用户为单位时间服务支付的价格.由式(13)可以看出标准化收益的特点:更宽松的响应时间要求、更低的平均吞吐量需求和更低的突发负载量意味着更低的资源占用和更高的收益率.2.4 PC算法框架和算法设计算法中相关的符号及其含义列举在表2中给出:Table 2 Symbols and Meanings in Algorithms表2算法中符号及其含义STag,FTag,PTag,MinS:Start tag of request rFinish tag of request rPriority tag of request rMinimum starttag of requests in flow Flowl算法l为PC算法的高层描述.各个模块的详细介绍在算法2中给出.算法1.RequestArrival()./*主要4个功能模块:APM();UpdateToken();AajustTags();AssignTags().*/①ifmore than p%clients ② schedule the request with minimum PT③else④ schedule the request with minimumFT⑤let the selected request be request rfromVM⑥ shift all the PTags in Uo queue fo,.VMk,SO that the minimum PTag—⑦end ifAPM():进行访问特性建模,根据式(10),计算出当前应当分配的局部SLO。UpdateToken():利用APM模块中得出的局部吞吐量参数更新当前节点的令牌数.AdjustTags():在这个过程中主要实现2个目标.首先如果有I/0队列的起始时间标签超过了当前时间,说明当前i/o资源供应充足,当前队列已经利用了多余的110资源.为了使该队列接下来能与万方数据计算机研究与发展)其他队列公平竞争flo资源,需要将该队列所有请求的结束标签前移,让队列中第1个请求的结束时间等同于当前时间与最大响应时间之和.其次,当某个虚拟机初始化时,我们将其他所有请求的收益标签全部调整,使每个I/0队列第1个请求的收益标签等于当前时间,这就意味着即使此时系统处于IlO资源紧张的状态,根据标准化收益调度时新虚拟机的一系列请求也不会独占所有服务时间.AssignTags():同Avatar[4|,pClock E川。NestedQDSc引,mClock【23等算法一样,PC算法利用标签表明1/o请求的优先级.每个110请求有3个时间戳:起始标签、结束标签和收益标签,每个时间戳都是越小优先级越高.在i/o请求仍在令牌桶整流限制内(即可用令牌数非负)时,起始标签等同于I/O请求的到达时间;反之起始标签会被赋予一个更大的值,使其表面上符合SL0规定的流量限制.结束标签等于起始标签和最大响应时间之和,代表着该I/0请求允许的响应截止时间。相邻2个收益标签的差值取决于起始时标准化收益的倒数和到达时间差值的最大值.标准化收益越大意味着所占用的资源越少,潜在收益越高.加入到达时间差值的原因是防止突发性访问享有过高优先级.算法2.APM();UpdateToken();AdiustTags();AssignTags().APM():进行访问模式建模,生成本地的SLO参数.UpdateToken():①tokennum+一胁·&/*Atoken为距上次令牌数量更新的时间间隔*/②if tokennum&占。then tokennum=8,;③end ifAdjustTags():①let request be r from VM②for each VM that has pending requests withMinSTag&t③ shift all the STags and FTags for VM kSO that minimum STag=④end for⑤if VM k is idle,then⑥ shift all the PTags for all VMs SO thatthe minimum PT口g—⑦end ifAssignTags():①②tokennum--兰1.PC算法的调度策略取决于I/O资源供应水平.如果超过一定比例的I/o队列处于阻塞状态,那我们推断该节点此时的I/O带宽不足,于是PC算法会优先调度价格标签较小的请求.反之PC算法会采用EDF策略,优先调度具有较小结束标签的请求,因为这些I/O请求更容易超过要求的完成时间,从而提高系统的资源利用率.3实验与分析3.1实验平台我们采用模拟器仿真的形式分析PC算法在分布式存储结构中的性能.我们首先设计了一个仿真器,实现了PC的高层次设计.在I/O访问层面上,我们使用了卡内基梅隆大学开发的著名磁盘I/O仿真软件DiskSim[8]为高层仿真器提供I/o读写的详细信息.我们用DiskSim[8]配置了2个存储节点,分别由10个和4个Seagate Cheetah磁盘构成RAID一0,从而模拟出分布式存储环境.实验所采用的Workload Traces是从UmassTrace RepositoryL90获取的OLTP和WebSearch.2个Trace均为真实云服务中匿名的I/O访问记录.OLTP和WebSearch作为2个虚拟机,分别包含19个和3个并行单元,每个并行单元相当于虚拟机中1个独立进程.实验过程中,我们将每台虚拟机中的进程分为两组,分别映射到2个存储单元中.对于OLTP,进程1被映射到节点1,其余的18个进程被映射到节点2.对于WebSeareh,进程l和进程2被分配到节点1,进程3访问节点2.由于原始的trace文件较大,不利于观察结果,我们截取了大约90 S誉≮差季墨Fig.2 Global arrival rates of both VMs.图2 OLTP和WebSeareh的I/o请求速率万方数据王健宗等:面向云存储的I/o资源效用优化调度算法研究时间段的trace进行实验.图2为两个虚拟机的i/o请求总速率,可以看出各虚拟机的I/O访问波动都很大.我们根据2个虚拟机的实际访问特性为其制定了相应的全局SLO,分别为OLTP(50,150,300)和WebSearch(70,150,1000).0LTP的平均I/O请求大小为6 KB,WebSearch为16 KB.为了便于观察2个虚拟机对不同节点的IlO访问特性,我们绘制出了各节点中不同虚拟机的I/O请求曲线,如图3和图4所示:∞墨\耋罩{罄o1盏享墨Fig.3 Arrival rates in node 1.图3存储节点1的i/o访问曲线Fig.4 Arrival rates in node 2.图4存储节点2的I/O访问曲线从图3和图4可以看出,OLTP对节点1保持着少量的I/O访问,对节点2的访问逐渐增加;WebSearch虽然在各个节点内的I/O请求速率波动都较大,但是整体上是以2:1的比例访问节点1和节点2的.在这种配置情况下,我们希望在节点1模拟I/O资源充足的情况,而让节点2模拟i/o资源较为紧张的情形,从而评估PC算法在不同情形下的调度效果.我们还实现了FCFS和pClock[1](一个高效的EDF调度算法)作为对照.实验中为了简便,我们在PC算法的APM模块为两个虚拟机设定了相同的值.3.2 SLO分解测试我们首先测试APM模块,即访问特性模型的效果.两台虚拟机我们均令口一0.8,下阈值为0.2,上阈值为0.75.虚拟机在各个节点实际获得的局部SLO曲线如图5和图6所示:Fig.5 SLO position for OLTP.图5 OLTP的SLO分解结果—·—--·--一Node 1——_·一Node2¨门~一^=2:=.、17。’’1I门.一——,一一一.—.一.r一~’一O 10 20 30 40 50 60 70 80 90Timelme/sFig.6 SLO position for WebSearch.图6 WebSearch的SLO分解结果如图5和图6所示,在虚拟机刚开始运行的一段时间内,历史访问特性并不完善,因此OLTP和WebSearch刚开始得到的局部SLO都不太准确,然而随着时间的推移局部SLO能迅速反映出虚拟机的访问特性.虽然OLTP刚开始在节点1获得了较高的局部SLO,但是这个局部SLO迅速下降并维持在较低水平,与此同时0LTP在节点l和节点2获得的局部SL0一直能够满足其实际访问速率要求.从62 S起,由于OLTP对节点2的访问比例超过了上阈值,OLTP在节点2获得了全速访问的权利.虽然此时分配给0LTP的局部SLO之和超过了其要求的全局SLO,但是多分配的部分有限并且∞\芎口蔷摹pI【Ih口Q葛uoIl《0000000∞∞∞∞∞加m∞\葛dI奄j虽卜暑蔷QoII《万方数据计算机研究与发展)并未被完全利用(尤其是节点l为OLTP保留的最低I/O带宽).WebSearch的SLO分解一直比较稳定,与其访问比例2:1相符,且只在历史访问信息没有完全建立好的情况下出现了在两节点交叉分配全额SI。O的情形.总体上来讲,APM能根据不同的访问特性迅速制定合适的SLO分配策略.随后调整a和上下阈值,作了多组实验,实验结果表明:1)当口增大时,i/o访问的突发性(由近SS期访问特性体现)会被更小的因子(1-a)稀释,因此分解得到的局部SLO曲线会更加平滑;2)当上阈值增大时SI。O的分配会更加谨慎,出现某个存储节点获得完整的全局SI,O的可能性减小;3)当下阈值减小时各节点为虚拟机提供的保留优先级会降低,保留的带宽永远与下阈值成正比.以a一0.8、上阈值为0.8、下阈值为0.2为例,0皇蚕150葛“100500其SI。O分解结果与图5和图6类似.其差异在于上阈值为0.8时资源分配得更为谨慎,因此原先多余分配的情形基本消失.综合以上结果我们得出APM模块具有快速收敛、准确和高适应性的特点.3.3响应时间优化下面我们将PC算法与FCFS(e firstserve)算法和pClock[1 3算法进行对比.PC算法参数设置与3.2节的实验设置相同,同时假设OLTP和web Search每个单位时间的服务收费分别为4和2.由于pClock[13算法需要为每个虚拟机预先设定固定的局部SLO配置,我们参照实际的I/O访问曲线为pClock[11设定局部SLO,以使其达到最高效率,具体参数如图2、图3所示.图7和图8中的pCloud即PC算法记录了2个存储节点中OLTP和WebSearch观测到的响应时间.-! 冀≯姒扩io~二心.’■-,m-·webSearch with FCFS一:t—WebSearch with口Clock◆WebScarchwith pClolld·一--0LTPwithFCFSI一一一OLTPwithpClock、一一一0LTPwithpCloud-/_、&10 20 30 40 50 60 70 80Timeline/sFig.7 parison in node 1(over provisioned).图7存储节点1(I/O资源充足)中各虚拟机的响应时间对比90Timeline/sFig.8 parison in node 2(thin provisioned).图8存储节点2(I/O资源紧张)中各虚拟机的响应时间对比从图7可以看出,在i/o竞争不激烈的情况下,算法的性能差距几乎完全相同,各个虚拟机都能满足最高响应时问的要求.然而从图8我们发现,PC算法展现出了最好的性能.从10 S开始,系统的I/O竞争非常激烈,虚拟机OLTP和WebSearch迅速进入阻塞状态,响应时间升高.相较于FCFS和pClock‘1|,PC算法能在维持OLTP响应时间几乎不变的前提下,大幅减少WebSearch的响应时间,从而满足WebSearch的SLO要求.而在其余时间,PC算法同pClockⅢ类似,能有效降低WebSearch的响应时间,万方数据王健宗等:面向云存储的I/()资源效川优化调度算法研究证明了PC算法良好的延迟控制效果.3.4收益效果在Ii()资源供应不足的情况下.PC算法的目标在于优先服务价值更高的I/()请求.我们任意选取了几种不同的服务价格对比PC算法和FCFS.pClock 1算法的调度结果.以(1.3)和(4.2)的价格策略为例.结果如图9所示.其中(1.3)表示单位11,t问内对()I,TP和WebSearch的服务收费分别为1和3.价格策略(4.2)同理.可以看出在20~30 sJ){=J_l;j】内,系统I/o资源供应不足,PC算法通过分析为不同虚拟机提供单位服务获得的收益,估算出()I,TP带来的收益更高。因此在此期间OI.TP的请求具有更高的优先级.获得更多的系统资源.响应时问有所降低.同时可以看m.虽然阻塞的时间在全部时间中的比例很小.但是调度差异显著.Timeline/sFig.parison between different pricing strategies图9不同价格策略的凋度结果比较令收益等于服务价格与服务完成比例(在SI。()规定响应时间内完成的i/()请求占所有请求的百分比)的乘积.因为各算法在存储节点l巾的结果几乎一致,我们忽略节点1中的收益.只比较PC算法、FCFS算法和pClock 1:的收益率.义因为FCFS算法和pClock 1。算法的调度策略与服务价格无关.利用3.3节巾的实验结果来计算FCFS和pClock 1的收益率.如表3所示.实验结果说明.即使在如此短的i/()资源紧张时间内.PC算法最高仍然达到了12.7%的收益提升,效果显著.Table parison belweeo Revenues Under VariousPricing Strategies表3不同定价策略下各算法的收益对比4 相关工作目前已有的i/()资源渊度算法集中在以下几个方面:文献[j一6]分析r Anlazon EC2 Spot Markets。的市场特性.分析价格历史记录和不同虚拟机类型的需求曲线,通过解优化问题制定最佳的虚拟机放置策略.最大化收益;Pesto”则从另外一个角度,同时对磁盘i/o特性和T作负荷进行建模,得到合理的T作负荷分配策略,实现存储系统中资源利用的最大化.还有一些算法包括Avatar 1.mClock!.pClock I.Nested QoS 3.旨在提供健壮的隔离机制.解决存储相关的底层问题.mClock!提供了基于保留带宽的按比例分配,虽然确保了有效的隔离,但是效率较低.另外分布式的mClock引算法需要人工为设定虚拟机在各存储节点上的局部SI。().适应性较差.pClock 1和Nested QoS t作为基于响应时间控制的算法主要目标是尽可能利用系统资源,同时减少系统I/O资源的预分配量.pClockH的最大特性是虚拟机利用多余资源以后而不会影响接下来继续公平竞争I/()资源.Nested QoS日制订了嵌套式的sI。()模型来减少一r:作负载使用单SLO模型时对系统资源的需求.最高层的SI,()采用EDF调度策略.多余的资源再尽量为低层S【。()的I/()请求服务.这种算法的缺点是i/()清求被划分到不同的SI,()层次f}1后.原有的请求顺序会被打乱,既可能造成数据一致性上的问题.也为T作负载整合带来不便.万方数据1666 计算机研究与发展)5结论与展望本文研究了云存储环境中I/O资源调度问题,提出了一个面向云存储环境的动态分布式I/O资源调度算法,从多个角度实现了效用优化.首先,该算法能对虚拟机的访问特性进行实时建模,经过轻量计算将虚拟机的全局SI。()实时分解成适合各存储节点的局部SL0,优化I/o资源的预分配策略,为高层次决策提供帮助.其次,该算法能将I/0请求的响应时间纳入SLO约束范围,可以根据I/O请求的紧迫性灵活地调度,充分利用系统资源.最后,我们考虑到云存储服务的市场特性,将云存储中的SI,()转化为服务成本,与I/O服务获得的收益进行权衡。在]/o资源紧张时使收益率最大化.我们将来的工作将致力于研究如何将应用层次的特性转换为适当的SLO,如何更好地为工作负载进行建模以及如何高效地解决分布式存储的负载均衡问题,同时期望能增加实验的节点数目和资源量,整合我们的框架到平源云平台,例如实践在Hadoop中.[1][2][3][4]参考文献Gulati A,Merchant A,Varman P.pClock:An arrival curvebased approach for QoS in shared storage systems[c]/Proc0f ACM SIGMETRICS 2007.New York:ACM,Gulati A,Merchant A,Varman P.mClock:Handlingthroughput variability for hypervisor I/O scheduling[c]//Proc of USENIX OSDI 2010.Berkeley.CA:USENIXAssociation,Hui W,Varman P. Nested QoS:Providing flexibleperformance in shared I/O environment[C]//Proc ofUSENIX W10V 2011.Berkeley,CA:USENIX Association,Zhang J,Anand S,Wang Q.at a1.Storage performancevirtualization via throughput and latency control[J].ACMTrans onStorage,):283—308[5][6][7][8][9][Io]Zhang Q,Zhu Q,Raouf B.Dynamic resource allocation forspot markets in puting environments[C]/Proe ofIEEE/ACM Int Conf on Utility and puting 20 1 1.I.os Alamitos,CA:puter Society,20 1 1:1 78—1 85Zhang Q,Eren G.Raouf B,et a1.Dynamic resourceallocation for spot markets in clouds[C]//Proc of USENIXHotICE 2011.Berkeley,CA:USENIX Association。Amazon Web Services Inc.Amazon pute Cloud(Amazon EC2)[oi。].[201卜1l一1I].http:/aws./ec2/.Ganger G。et a1.The DiskSim simulation environment(version 4.0)[01.].[20l卜11-11].http://DiskSim/Storage Performance Council(Umass Trace Repository)[OL].[].http:/traces.CS.umass.edu/index.php/Storage/Gulati A,Ganesha S,Irfan A.et a1.Pesto:Online storageperformance management in virtualized datacenters[C]//Proc of ACM S()CC 20I 1.New York:ACM,201 1:l一14■、二iWang Jianzong,born in 1983.Received hisPhD degree puter architecture inH uazhong University of Science andTechnology.Member of puterFederation.His main research intereststorage,big data,data mining and cloudChen Yanjtin,born in 1990.Received hisbachelor degree puter science inHuazhong University of Science andTechnology.His main research puter architecture。 cloudscheduling.Xie Changsheng,born in 1957.Professorand PhD supervisor.Senior member puter Federation.H is mainresearch interests include cloud storage,digital media and mass storage system.零≥袅一一万方数据播放器加载中，请稍候...
该用户其他文档
下载所得到的文件列表面向云存储的IO资源效用优化调度算法研究
Research on IO Resource Scheduling Algorithms for Utility Optimization Towards Cloud Storage.pdf
文档介绍：
计算机研究与发展 ISSN 1000— 11—1777/TPJournal puter Research and Development 50(8):,2013面向云存储的i/o资源效用优化调度算法研究王健宗1’2’3“谌炎俊1’5 谢长生1’2’31(华中科技大学计算机学院武汉(武汉光电国家实验室武汉(信息存储系统教育部重点实验室(华中科技大学) 武汉430074)...
内容来自淘豆网转载请标明出处.