基于共享存储池的元数据服务器机群的设计研究 被引量：7

1

作者 苏勇 周敬利 +2 位作者 余胜生 姜明华 刘钢 《小型微型计算机系统》 CSCD 北大核心 2007年第4期734-737,共4页

在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MD... 在大型分布式对象存储系统中,元数据服务系统是一个潜在的访问瓶颈.本文提出一种通过分层式文件系统构建共享存储池的采用两次分布式哈希函数方式的元数据服务系统.其具有不需要人工干预的故障恢复性和易扩展特性,而且最大程度减少了MDS之间大量元数据的物理迁移.实验测试证明系统具有良好的I/O性能. 展开更多

关键词 元数据服务器 共享存储池 哈希 对象存储

在线阅读 下载PDF 职称材料

高可靠性元数据服务器研究 被引量：6

2

作者 刘群 冯丹 王芳 《计算机工程》 CAS CSCD 北大核心 2008年第17期88-90,共3页

基于对象存储的核心是将存储空间管理从存储应用中分离,其中元数据服务器(MDS)负责逻辑视图管理和提供全局命名空间。该文针对MDS的引路导航性能,提出一种主从备三重链式结构,在不增加硬件成本的前提下,能提供无间断的MDS服务,确保了系... 基于对象存储的核心是将存储空间管理从存储应用中分离,其中元数据服务器(MDS)负责逻辑视图管理和提供全局命名空间。该文针对MDS的引路导航性能,提出一种主从备三重链式结构,在不增加硬件成本的前提下,能提供无间断的MDS服务,确保了系统的高可靠性。 展开更多

关键词 元数据服务器 可扩展对象的海量存储系统 高可靠性 主从备链式结构

在线阅读 下载PDF 职称材料

海量存储系统中高可扩展性元数据服务器集群设计 被引量：3

3

作者 吴伟 谢长生 +1 位作者 韩德志 黄建忠 《计算机科学》 CSCD 北大核心 2007年第7期106-109,共4页

海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法,针对目录进行Hash,并把... 海量存储系统都采用元数据服务器机群的方式来处理文件系统的元数据信息。很多存储系统采用Hash算法来实现文件元数据在元数据机群内的分布,但是这些算法都是针对文件进行Hash。本文提出了一种目录哈希的新算法,针对目录进行Hash,并把一个目录内的元数据集中存储。本算法克服了文件Hash的不足,改善了存储系统的性能,并极大地提高了存储系统的可扩展性。 展开更多

关键词 海量存储系统 元数据服务器机群 高可扩展性 目录哈希

在线阅读 下载PDF 职称材料

LCFS中元数据服务器的可靠性分析模型 被引量：3

4

作者 王召福 章文嵩 刘仲 《计算机工程与科学》 CSCD 2005年第5期54-55,58,共3页

可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以... 可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响,对实现大规模集群文件系统中的元数据服务器有重要的指导意义。 展开更多

关键词 存储系统 可靠性分析模型 元数据服务器 LCFS 马尔可夫模型

在线阅读 下载PDF 职称材料

PVFS元数据服务器的并行化设计与实现 被引量：1

5

作者 罗秋明 欧阳凯 《计算机工程》 EI CAS CSCD 北大核心 2006年第12期50-51,54,共3页

PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的... PVFS并行文件系统采用集中式的元数据服务器,这使得元数据服务器在大量的文件操作情况下成为I/O瓶颈。该文通过增强PVFS的客户端和元数据服务器的相关功能,使得客户的文件请求按照文件名的Hash变换转向不同的元数据服务器,在保留原来的用户访问方式和系统配置不变的情况下实现元数据服务器的并行化,达到明显提高元数据服务器的总吞吐量和可扩展性。 展开更多

关键词 并行文件系统 PVFS 元数据服务器 并行化 可扩展

在线阅读 下载PDF 职称材料

小规模集群文件系统中两级元数据服务器的设计与实现

6

作者 田俊峰 于洪芬 宋玮玮 《小型微型计算机系统》 CSCD 北大核心 2007年第6期1026-1030,共5页

在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中... 在集群文件系统中,元数据服务器是整个系统正常运转的核心,它的可靠性和性能是设计系统时需要着重考虑的问题之一.本文设计了一个具有高可靠性、高性能的两级元数据服务器系统,兼顾了集中式元数据管理和分布式元数据管理的优点.系统中高级元数据服务器负责维护文件系统全局的目录结构和管理整个文件系统的命名空间,双元数据服务器负责维护文件元数据的分布信息,并采用了马尔可夫回报模型对两级元数据服务器系统进行了可靠性分析.实验数据表明,具有两级元数据服务器的集群文件系统能提供高吞吐量. 展开更多

关键词 可靠性 两级元数据服务器 马尔可夫回报模型

在线阅读 下载PDF 职称材料

一种元数据服务器集群的负载均衡算法 被引量：6

7

作者 王娟 冯丹 +1 位作者 王芳 廖振松 《小型微型计算机系统》 CSCD 北大核心 2009年第4期757-760,共4页

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章... 在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性. 展开更多

关键词 基于对象的存储 元数据服务器集群 负载均衡 请求响应时间

在线阅读 下载PDF 职称材料

单一系统映象机群文件系统可扩展元数据服务器的设计与实现 被引量：1

8

作者 史小冬 祝明发 叶庆华 《微电子学与计算机》 CSCD 北大核心 2002年第2期20-23,39,共5页

文章介绍了曙光3000超级服务器机群文件系统COSMOS中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,... 文章介绍了曙光3000超级服务器机群文件系统COSMOS中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,并给出了实现方案及系统性能的测试模型和测试结果。 展开更多

关键词 机群文件系统 元数据服务器 可扩展性 单一系统映象 设计

在线阅读 下载PDF 职称材料

蓝鲸元数据服务器集群的细粒度负载迁移

9

作者 刘健 张军伟 +3 位作者 张浩 邵冰清 杨洪章 刘振军 《计算机研究与发展》 EI CSCD 北大核心 2014年第S1期210-222,共13页

大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需... 大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响. 展开更多

关键词 元数据服务器 MDS集群 负载均衡 负载迁移 细粒度

在线阅读 下载PDF 职称材料

分布式网络存储系统元数据服务器群的设计与实现

10

作者 林凌 陈展虹 《福建电脑》 2008年第4期144-145,共2页

为了满足分布式网络存储对元数据服务的要求,本文采用多个元数据服务器组成元数据服务器群,并且提出分区散列管理方案对元数据服务器群进行有效的管理。并在不涉及元数据的物理移动的前提下,实现元数据服务器群的负载平衡机制、可扩充... 为了满足分布式网络存储对元数据服务的要求,本文采用多个元数据服务器组成元数据服务器群,并且提出分区散列管理方案对元数据服务器群进行有效的管理。并在不涉及元数据的物理移动的前提下,实现元数据服务器群的负载平衡机制、可扩充性以及高可用性等性能。 展开更多

关键词 网络存储 元数据服务器群 分区散列管理方案 设计

在线阅读 下载PDF 职称材料

支持EB级存储的元数据服务器集群系统 被引量：2

11

作者 刘健 张军伟 +3 位作者 邵冰清 董欢庆 刘振军 许鲁 《中国科学：信息科学》 CSCD 北大核心 2015年第6期721-738,共18页

随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支... 随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支持EB级存储的蓝鲸元数据服务器集群技术.首先分析了支持EB级与PB级存储的元数据服务器集群系统的区别;然后介绍了蓝鲸元数据服务器集群原型系统的整体架构及其全局命名空间的分布策略;之后介绍了基于分布式日志的一致性元数据原子操作协议,和细粒度、低延时的元数据负载迁移两项关键技术;最后进行了测试.结果显示,集群系统中每台元数据服务器均可为EB级存储系统提供超过10000 OPS的元数据操作支持. 展开更多

关键词 EB级 存储 元数据服务器集群 全局命名空间 一致性 负载迁移

原文传递

两级元服务器机群文件系统的负载平衡策略

12

作者 田俊峰 宋玮玮 于洪芬 《计算机工程》 CAS CSCD 北大核心 2007年第16期77-79,82,共4页

提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法:计算文件热量值,并据此对待存文... 提出了一种两级元数据服务器机群文件系统的负载平衡策略,高级元服务器依据与二级元服务器性能最密切相关的负载信息将任务快速分配,在存储文件时,提出了一种能正确反映各存储节点I/O流量和存储量的方法:计算文件热量值,并据此对待存文件进行了合理的分配存储。实验结果表明,该策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。 展开更多

关键词 机群文件系统 元数据服务器 负载平衡 热量值

在线阅读 下载PDF 职称材料

分布式文件系统元数据服务的负载均衡框架 被引量：17

13

作者 孙耀 刘杰 +1 位作者 叶丹 钟华 《软件学报》 EI CSCD 北大核心 2016年第12期3192-3207,共16页

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,... 请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性. 展开更多

关键词 元数据服务器 分布式文件系统 负载均衡 预取 缓存

在线阅读 下载PDF 职称材料

基于Web服务的元数据服务体系研究 被引量：5

14

作者 于志敏 谢丽聪 韩晓芸 《微计算机信息》 北大核心 2008年第12期22-23,28,共3页

传统的元数据服务技术方案不能满足Internet发展的需要,应用目前主流的Web服务技术,采用XML作为元数据交换格式;使用XML Schema作为元数据验证格式;采用SOAP协议数据传输协议;服务器端采用Tomcat作为Servlet/Jsp容器,AXIS作为Web Servi... 传统的元数据服务技术方案不能满足Internet发展的需要,应用目前主流的Web服务技术,采用XML作为元数据交换格式;使用XML Schema作为元数据验证格式;采用SOAP协议数据传输协议;服务器端采用Tomcat作为Servlet/Jsp容器,AXIS作为Web Services容器,整合集成多源异构的信息资源,实现数据共享。 展开更多

关键词 元数据 WEB服务 信息共享 元数据服务器

在线阅读 下载PDF 职称材料

基于对象存储的新型元数据管理策略 被引量：8

15

作者 方圆 杜祝平 周功业 《计算机工程》 CAS CSCD 2012年第3期25-27,共3页

在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得... 在对已有对象存储元数据管理策略进行研究的基础上,提出一种基于对象存储的新型元数据管理策略。该策略将命名空间的目录子树分割为等粒度的中子树,将中子树的根目录名和文件名的组合作为哈希参数进行哈希运算,元数据服务器根据其所得哈希值确定存储路径。实验结果表明,该策略在处理元数据重命名操作和修改文件名时,可以避免大量元数据迁移及网络开销问题。 展开更多

关键词 元数据 对象存储 元数据管理 元数据服务器 负载均衡 热点

在线阅读 下载PDF 职称材料

存储虚拟化系统的元数据副本一致性管理模型 被引量：4

16

作者 贾永洁 金海 +2 位作者 易川江 韩宗芬 吴松 《计算机工程与科学》 CSCD 2004年第9期86-88,共3页

本文提出一种简洁实用的元数据副本一致性管理新模型MRCC ,该模型引入调度器对元数据服务器进行集中管理 ,不仅可以使系统达到更好的扩展性和可用性 ,而且可以灵活地实现对元数据副本的一致性控制 ,更好地发挥元数据副本容错和负载均衡... 本文提出一种简洁实用的元数据副本一致性管理新模型MRCC ,该模型引入调度器对元数据服务器进行集中管理 ,不仅可以使系统达到更好的扩展性和可用性 ,而且可以灵活地实现对元数据副本的一致性控制 ,更好地发挥元数据副本容错和负载均衡的作用。 展开更多

关键词 存储虚拟化 MRCC 调度器 元数据服务器 元数据副本

在线阅读 下载PDF 职称材料

集群多媒体存储系统的两级元数据管理 被引量：4

17

作者 万继光 詹玲 《小型微型计算机系统》 CSCD 北大核心 2009年第4期752-756,共5页

随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离... 随着网络上多媒体数据的爆炸性增长,对海量可扩展的存储系统的需求也快速增长.CMSS(Cluster Multimedia Storage System)项目采用分布式存储系统结构:一种自治的高性能的基于PC的存储集群系统.CMSS采用两级的元数据服务器结构,通过分离存储数据的逻辑视图与物理视图,全局逻辑视图由专用的全局元数据服务器来管理,局部逻辑视图和物理视图由各个存储服务器上的本地元数据服务器来管理.在详细介绍了CMSS系统两级元数据管理方案的同时,进行了相应的试验测试和性能分析. 展开更多

关键词 多媒体 集群 存储系统 元数据服务器

在线阅读 下载PDF 职称材料

蓝鲸分布式文件系统的客户端元数据缓存模型 被引量：1

18

作者 黄华 张建刚 许鲁 《计算机科学》 CSCD 北大核心 2005年第9期243-245,248,共4页

在蓝鲸分布式文件系统中,客户端的所有无数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的。由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能。我们设计了一... 在蓝鲸分布式文件系统中,客户端的所有无数据操作都是通过远程过程调用由元数据服务器完成,所有数据读写都是直接与存储服务器交换完成的。由于通信延迟,在客户端进行频繁数据读写时,元数据信息交换影响了整个系统的性能。我们设计了一种在客户端尽量缓存文件元数据信息的模型,有效地减少了元数据通信,缩短了整个读写过程的延迟,极大地提高了蓝鲸分布式文件系统的性能。 展开更多

关键词 蓝鲸分布式文件系统 客户端 数据缓存模型 元数据服务器 存储服务器 数据分离

在线阅读 下载PDF 职称材料

一种面向海量存储系统的高效元数据集群管理方案 被引量：3

19

作者 肖中正 陈宁江 +1 位作者 魏峻 张文博 《计算机研究与发展》 EI CSCD 北大核心 2015年第4期929-942,共14页

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata... 高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性Hash结构的元数据服务器(metadata server,MDS)集群化方案——CH-MMS(consistent Hash based metadata management schema).CH-MMS在一致性MDS集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH-MMS的体系结构,介绍了核心数据结构layout-table、虚拟MDS结构、延迟更新机制及相关算法,并对CH-MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求. 展开更多

关键词 元数据管理 一致性Hash 大数据存储 元数据服务器 分布式文件系统

在线阅读 下载PDF 职称材料

混合式的元数据管理系统研究 被引量：1

20

作者 杜楠 彭宏 《计算机工程与设计》 CSCD 北大核心 2009年第15期3624-3626,3630,共4页

提出了一种基于混合式技术的元数据管理系统。探讨了两种常用的元数据管理方式:集中式元数据管理和分布式元数据管理。详细分析了基于这两种元数据管理方式的混合模型的结构,并对系统中对象存储的作用以及对元数据服务器的结构和功能进... 提出了一种基于混合式技术的元数据管理系统。探讨了两种常用的元数据管理方式:集中式元数据管理和分布式元数据管理。详细分析了基于这两种元数据管理方式的混合模型的结构,并对系统中对象存储的作用以及对元数据服务器的结构和功能进行了详细描述。最后,对元数据管理中重要的元数据标准进行了分析,运用该系统使得元数据的管理,数据处理、分析和过程的综合再现更加高效,方便和安全。 展开更多

关键词 混合式 元数据管理系统 元数据服务器 对象存储设备 元数据标准

在线阅读 下载PDF 职称材料