期刊文献+
共找到4,665篇文章
< 1 2 234 >
每页显示 20 50 100
基于Lustre文件系统的MPI检查点系统实现技术与性能测试 被引量:4
1
作者 谢旻 卢宇彤 +2 位作者 周恩强 曹宏嘉 杨学军 《计算机研究与发展》 EI CSCD 北大核心 2007年第10期1709-1716,共8页
基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点:1)协同... 基于协同式检查点的回卷恢复是在大规模并行计算机系统中得到采用的一项重要容错技术,其性能开销主要为协同协议和检查点映像存储所决定.描述了一个在MPICH2中实现的应用透明的并行检查点系统,相比已有的技术,该系统有以下特点:1)协同协议操作利用了并行应用的近邻通信特性,通过虚连接方法减少协议的处理开销;2)采用Lustre文件系统简化检查点映像文件管理的复杂性;3)通过并行I/O操作提高性能,优化检查点映像的存储过程.实际应用的测试表明,该检查点系统具有较小的运行时间开销和良好的可扩展性. 展开更多
关键词 容错技术 MPICH2 回卷恢复 协同式检查点 lustre文件系统
在线阅读 下载PDF
Lustre文件系统I/O锁的应用与优化 被引量:9
2
作者 钱迎进 金士尧 肖侬 《计算机工程与应用》 CSCD 北大核心 2011年第3期1-5,26,共6页
分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念... 分布式文件系统需要有一种机制对来自各个客户端的并发访问进行控制,维护文件数据的一致性。锁是实现并发控制最流行的机制。研究了Lustre文件系统的分布式I/O范围锁的模型,并对它的各种应用进行了优化。介绍了Lustre分布式锁的基本概念,对基于锁实现数据客户端写回缓冲以及多写者文件大小的动态获取的算法进行了分析;提出自适应I/O锁策略,基于区间树的范围锁冲突检测优化策略以及客户端锁淘汰策略来增强Lustre锁服务的性能和扩展性。 展开更多
关键词 并发控制 分布式锁 lustre文件系统
在线阅读 下载PDF
基于Lustre文件系统的海量暂存COMTRADE数据分布存储模式 被引量:2
3
作者 陈永艳 束洪春 +3 位作者 董俊 曹璞璘 戴伟 卫守林 《电力系统自动化》 EI CSCD 北大核心 2015年第18期75-80,共6页
研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和... 研究了一种基于Lustre分布式并行文件系统的高性能I/O流式数据存储模式,能够满足当前行波暂态采集装置海量暂态数据的高速并发读写访问的需求。通过采用多客户端工作模式,并且将多个暂态数据文件聚合成大文件,可以进一步提高访问带宽和使用效率。实验数据表明该模式具有较高的I/O性能,能够满足目前和未来海量电力数据的高速存储管理需求。 展开更多
关键词 海量数据存储 lustre文件系统 聚合COMTRADE数据
在线阅读 下载PDF
Lustre文件系统中范围锁机制的应用研究 被引量:5
4
作者 熊安萍 葛军 邹洋 《重庆邮电大学学报(自然科学版)》 北大核心 2011年第2期242-246,共5页
分布式锁机制是分布式文件系统的重要机制,Lustre是一种高性能的分布式文件系统,针对现有的范围锁机制,在处理多客户端大量并发的密集型共享文件访问时,存在操作延迟、文件数据一致性管理复杂的问题,为了解决这类问题采用了可伸的锁范... 分布式锁机制是分布式文件系统的重要机制,Lustre是一种高性能的分布式文件系统,针对现有的范围锁机制,在处理多客户端大量并发的密集型共享文件访问时,存在操作延迟、文件数据一致性管理复杂的问题,为了解决这类问题采用了可伸的锁范围划定、对范围锁赋予周期、范围锁版本控制相结合的改进机制。实验结果表明,采用改进后的范围锁机制,不仅保证了文件数据的一致性,一定程度上降低了并发文件访问延迟,从而保证了分布式文件系统的I/O性能。 展开更多
关键词 分布式锁 数据一致性 lustre 范围锁
在线阅读 下载PDF
Lustre文件系统的性能优化研究 被引量:4
5
作者 王博 李先国 张晓 《微型电脑应用》 2011年第5期31-33,36,69,共5页
为了进一步推动Lustre在海量存储系统中的应用,在分析其系统结构和数据存储分发机制的基础上,研究如何更全面的优化配置Lustre。结合具体实验环境,首先对比不同网络传输性能对Lustre文件系统的影响;其次深入剖析Lustre自身结构的特点,... 为了进一步推动Lustre在海量存储系统中的应用,在分析其系统结构和数据存储分发机制的基础上,研究如何更全面的优化配置Lustre。结合具体实验环境,首先对比不同网络传输性能对Lustre文件系统的影响;其次深入剖析Lustre自身结构的特点,制定优化策略,同时针对不同的客户端配置也进行了测试优化研究。最后,根据实验结果进一步明确并扩充了影响Lustre文件系统性能的因素,提出一种整体优化Lustre的方案。 展开更多
关键词 lustre 文件系统 海量存储系统 性能优化
在线阅读 下载PDF
Lustre文件系统元数据服务恢复机制的改进 被引量:1
6
作者 钱迎进 李永刚 +1 位作者 汪毅 周琳琦 《计算机科学》 CSCD 北大核心 2015年第9期177-182,共6页
Lustre的重启恢复算法需要集群中所有客户端在指定的恢复时间窗口内与服务器重新建立连接,客户端重传未提交的事务请求,服务器严格按照事务序列号重放所有未提交的事务,要求过于严格。针对Lustre可恢复性不强的缺点,提出了基于版本的恢... Lustre的重启恢复算法需要集群中所有客户端在指定的恢复时间窗口内与服务器重新建立连接,客户端重传未提交的事务请求,服务器严格按照事务序列号重放所有未提交的事务,要求过于严格。针对Lustre可恢复性不强的缺点,提出了基于版本的恢复和共享时提交算法,它们分别对Lustre现有的元数据更新和恢复机制进行了改进和扩展,根据事务之间的依赖关系,允许客户端在更为宽松的条件下进行恢复并加入到集群而不被驱逐,提高了Lustre文件系统的可用性和可恢复性。最后通过一系列实验对改进后的算法的性能进行了评估。 展开更多
关键词 lustre 高性能计算 可恢复性 可用性
在线阅读 下载PDF
基于Lustre文件系统的MPI-IO编程接口改进 被引量:1
7
作者 王巍 李旺 《电子技术应用》 北大核心 2012年第5期128-131,共4页
针对传统MPI集群并行I/O效率不高的问题,通过分析Lustre并行文件系统的特点和MPI-IO集中式I/O操作的算法,提出了一种基于MPI-IO编程接口的改进方案,用以改善集群I/O瓶颈,提高I/O并行效率,并通过实验验证了该方案的可行性。
关键词 并行文件系统 编程接口 集中式I/O lustre MPI-IO
在线阅读 下载PDF
基于对象存储的Lustre文件系统的研究 被引量:2
8
作者 聂刚 卿秀华 《信息技术》 2007年第9期16-18,28,共4页
随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了... 随着高性能计算网络集群系统的高速发展,传统的网络存储架构——网络附加存储NAS和存储区域网SAN已越来越不能够满足系统对存储性能的要求。针对SAN和NAS的不足,新一代的网络存储技术——基于对象存储OBS成为了研究的热点。重点论述了基于对象存储的架构和特点,并针对基于对象存储的Luster文件系统进行了初步测试,通过和传统的NFS文件系统对比,分析了对象存储文件系统在可扩展性、性能、易用性和安全性等方面的优越性能。 展开更多
关键词 基于对象存储 文件系统 lustre NFS
在线阅读 下载PDF
面向天河二号Lustre文件系统优化实践
9
作者 曾凌波 杜云飞 +2 位作者 万文 颜辉 钟英 《计算机科学与应用》 2021年第11期2609-2618,共10页
近年来,随着高性能计算技术的飞速发展,Lustre文件系统作为高性能计算重要组成部分越来越受到重视,对于Lustre文件系统元数据服务的高可靠性一直是研究的重点,针对Lustre文件系统元数据高可靠性的研究,本文设计了一种双MDT冗余的架构保... 近年来,随着高性能计算技术的飞速发展,Lustre文件系统作为高性能计算重要组成部分越来越受到重视,对于Lustre文件系统元数据服务的高可靠性一直是研究的重点,针对Lustre文件系统元数据高可靠性的研究,本文设计了一种双MDT冗余的架构保证了元数据服务的高可靠性;同时随着应用复杂度的提高和计算规模的增加,对Lustre文件系统的性能要求也越来越高,特别是在处理海量小文件和I/O密集型应用时,对Lustre文件系统元数据的I/O性能提出了更高的要求,为了提高元数据的I/O性能,本文通过升级MDT元数据底层硬件设备来提升元数据的I/O性能和提升整体文件系统的I/O性能,满足新的应用对文件系统IO的要求。 展开更多
关键词 文件系统 元数据 高可靠 优化
在线阅读 下载PDF
基于Lustre文件系统的分布式地理环境构建
10
作者 宋龙 李延杰 韩锦宁 《地理空间信息》 2015年第2期73-75,12,共3页
通过分析分布式地理环境的特点,将Lustre文件系统与分布式地理环境相结合,设计了一种基于Lustre的分布式战场仿真系统结构,总结了该结构在平台扩展、安全性、稳定性等方面的优势。
关键词 虚拟地理环境 lustre 分布式
在线阅读 下载PDF
基于天河互连的并行文件系统网络驱动
11
作者 董勇 邬会军 +3 位作者 杨梨花 张伟 王睿伯 周恩强 《计算机工程与科学》 北大核心 2025年第3期392-399,共8页
并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针... 并行文件系统是高性能计算机系统软件栈的重要组成部分。面向高速网络的驱动是并行文件系统提供高效数据访问的关键环节。设计实现了基于天河高速互连网络TH-Express的并行文件网络驱动GLND,在并行化、通信协议以及容错3方面进行了有针对性的优化,采用VP粒度并行,配合适度均衡的流水线划分,实现了高吞吐率;根据消息大小差异等因素自适应地选择底层通信协议,实现NUMA感知的内存管理机制;通过自适应调节的超时机制来避免软件异常超时对通信操作的影响。实验结果表明,在相同硬件条件下,GLND相比于TCP的写带宽平均提升了23.69%,读带宽平均提升了79.25%。 展开更多
关键词 并行文件系统 互连网络 网络编程接口
在线阅读 下载PDF
移动设备日志结构文件系统综述
12
作者 杨梨花 董勇 +3 位作者 邬会军 谭支鹏 王芳 卢凯 《计算机研究与发展》 北大核心 2025年第1期58-74,共17页
NAND闪存(NAND flash)因为其大容量、轻便、抗震等优异特性,被广泛使用于移动设备.面向闪存特性设计的闪存友好型文件系统(flash friendly file system,F2FS)是典型的日志结构文件系统(log-structured file system,LFS),它采用日志结构... NAND闪存(NAND flash)因为其大容量、轻便、抗震等优异特性,被广泛使用于移动设备.面向闪存特性设计的闪存友好型文件系统(flash friendly file system,F2FS)是典型的日志结构文件系统(log-structured file system,LFS),它采用日志结构写机制提升了随机写性能,使用前滚恢复技术实现快速的一致性保护,经常被用作移动设备的文件系统.文件系统因碎片化和段清理问题导致性能下降,而日志结构文件系统的异地更新机制和移动应用的高并发随机同步小写模式进一步加剧了碎片化,导致I/O请求响应变慢、设备运行卡顿.首先介绍了移动设备日志结构文件系统的相关概念和内容,随后总结了日志结构文件系统碎片化和段清理问题的研究现状.一方面分析了碎片产生的原因与影响,从预防碎片产生和重整碎片2个角度总结了减少碎片的研究工作.另一方面分析了冷热数据混合对段清理的影响,从静态分类和动态分类2方面总结了冷热数据区分技术的研究现状,从管理数据分布和调整段清理时机、频率、对象2个角度总结了段清理的研究现状.最后展望了移动设备日志结构文件系统研究的主要挑战和未来研究工作. 展开更多
关键词 日志结构文件系统 移动存储 文件碎片 空闲空间碎片 段清理 冷热数据区分
在线阅读 下载PDF
基于Lustre的大规模文件系统拥塞控制算法的研究 被引量:4
13
作者 张钰森 吴庆波 谭郁松 《计算机研究与发展》 EI CSCD 北大核心 2011年第S1期189-193,共5页
在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥... 在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥塞原因提出了一种大规模存储下的拥塞控制算法——状态感知拥塞控制算法.对比拥塞控制前后Lustre文件系统的测试结果可以发现,该算法极大地提高了Lustre文件系统在大规模存储情况下的性能,提高了Lustre文件系统的扩展性. 展开更多
关键词 lustre文件系统 大规模存储 状态感知拥塞控制
在线阅读 下载PDF
分布式文件系统的元数据管理方案演变:整体到粒度
14
作者 路垚 段红军 +1 位作者 张利莹 王振飞 《小型微型计算机系统》 北大核心 2025年第2期305-313,共9页
元数据的存取性能对于分布式文件系统至关重要,近年来已成为学术界和工业界研究的热点.早期的分布式文件系统未严格区分元数据和数据管理,导致可扩展性和性能优化方面的挑战.针对此问题,主流分布式文件系统采用元数据和文件数据分离的架... 元数据的存取性能对于分布式文件系统至关重要,近年来已成为学术界和工业界研究的热点.早期的分布式文件系统未严格区分元数据和数据管理,导致可扩展性和性能优化方面的挑战.针对此问题,主流分布式文件系统采用元数据和文件数据分离的架构,以提高系统的可扩展性和效率.然而,随着数据量的进一步增长和对系统性能的不断追求,最新的文件系统开始提出将元数据进一步细化管理的概念.这一趋势意味着系统对元数据的管理将更加精细化和灵活,能够更好地适应不断变化的需求和数据规模.对国内外分布式文件系统元数据管理方案的最新进展进行归纳、比较和分析,并结合国家发展战略和重大应用需求,选取与我国国计民生密切相关的领域,从典型应用分析总结元数据相关技术的行业进展.最后,就未来的技术挑战和研究方向进行展望. 展开更多
关键词 分布式文件系统 元数据管理 粒度 可扩展性
在线阅读 下载PDF
基于Infiniband技术构建高性能分布式文件系统-Lustre 被引量:10
15
作者 董勇 周恩强 陈娟 《计算机工程与应用》 CSCD 北大核心 2005年第22期103-107,228,共6页
介绍了基于对象的分布式文件系统Lustre,分析了其通信机制,重点介绍了Infiniband以及IPOIB技术。基于Infiniband技术构建了高性能Lustre文件系统。通过对该系统进行性能测试并将其与千兆以太网条件下的Lustre进行了比较,可以看出Infinib... 介绍了基于对象的分布式文件系统Lustre,分析了其通信机制,重点介绍了Infiniband以及IPOIB技术。基于Infiniband技术构建了高性能Lustre文件系统。通过对该系统进行性能测试并将其与千兆以太网条件下的Lustre进行了比较,可以看出Infiniband技术极大地提高了Lustre的性能,具有很大的潜力。最后介绍了下一步的工作。 展开更多
关键词 高性能计算 INFINIBAND lustre 分布式文件系统
在线阅读 下载PDF
并行文件系统Lustre细粒度I/O性能优化 被引量:3
16
作者 李林林 吴万国 孙良旭 《计算机工程与应用》 CSCD 2012年第17期88-92,共5页
并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优... 并行文件系统Lustre粗粒度I/O性能良好,细粒度I/O性能相对粗粒度I/O比较低下,因此优化细粒度I/O性能成为提高系统整体I/O性能的关键问题。在研究和分析了Lustre的I/O访问模式、细粒度I/O服务流程和页面替换算法等方面后,提出了细粒度优先(Fine Grained First,FGF)LRU算法。在OST端及Client端的页高速缓存中最大程度地保留细粒度I/O的页面,降低细粒度I/O引起的页面下沉速度,延长细粒度I/O页面在主存中的时间,进而减少对磁盘的访问次数,降低磁盘访问开销。通过对实验数据的对比和分析,验证了FGF-LRU算法的有效性。在不影响粗粒度I/O性能的情况下,提高了细粒度I/O性能,最终实现提高系统整体I/O性能。 展开更多
关键词 并行文件系统 lustre 细粒度 输入/输出(I/O)
在线阅读 下载PDF
面向对象存储的文件系统Lustre 被引量:7
17
作者 梁军 聂瑞华 《计算机工程与设计》 北大核心 2015年第6期1666-1670,共5页
针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和TCP/IP网络构建的集群系统... 针对Lustre文件系统主要运用在高性能计算集群系统上的情况,分析Lustre文件系统的系统结构及其内部实现机制,测试系统在不同参数影响下的性能,认为Lustre可以运用在高性能集群系统上,也能运用在由普通计算机和TCP/IP网络构建的集群系统上。实验结果表明,在TCP/IP协议和千兆交换机下,Lustre的并发性很难发挥,但设置合适的客户端数和系统参数可以优化其性能,相对本地磁盘系统,Lustre系统仍有较大的性能提高和实用价值。 展开更多
关键词 lustre 面向对象 TCP/IP 性能优化 测试
在线阅读 下载PDF
虚拟机文件系统异常的分析与处理
18
作者 尚亚博 于大为 陈辉 《科学与信息化》 2025年第4期56-58,62,共4页
随着信息技术的高速发展,虚拟化技术以其高效的资源利用率、优质的成本效益及其灵活的管理模式,已然成为被广泛应用的热门技术之一。民航空管气象中心为满足民航气象业务运行需求,利用虚拟化技术构建了服务器虚拟化平台,提升了空管气象... 随着信息技术的高速发展,虚拟化技术以其高效的资源利用率、优质的成本效益及其灵活的管理模式,已然成为被广泛应用的热门技术之一。民航空管气象中心为满足民航气象业务运行需求,利用虚拟化技术构建了服务器虚拟化平台,提升了空管气象信息化建设水平。本文根据民航空管气象中心在实际业务运行中出现的一次虚拟机文件系统异常进行分析,并总结解决方案,为日后的稳定运行提供参考。 展开更多
关键词 虚拟化技术 文件系统 故障分析 异常处理
在线阅读 下载PDF
基于FMQL45T900文件系统研究与设计
19
作者 宋书龙 《计算机测量与控制》 2025年第3期235-242,共8页
针对装备的核心器件需用进口,导致设备存在安全及市场卡脖子问题,为降低对进口芯片的依赖,实现用国产芯片进行原位替代,并按照数据存储模块的相关要求,研究并提出了一种基于FMQL45T900的文件系统存储数据架构,给出了文件系统的总体设计... 针对装备的核心器件需用进口,导致设备存在安全及市场卡脖子问题,为降低对进口芯片的依赖,实现用国产芯片进行原位替代,并按照数据存储模块的相关要求,研究并提出了一种基于FMQL45T900的文件系统存储数据架构,给出了文件系统的总体设计和具体实现方法,应用层以文件和目录进行管理,驱动程序基于块设备驱动框架开发,并根据设备树信息动态配置和管理硬件设备,使得驱动程序更加模块化和可复用;通过测试表明,文件系统能够稳定可靠地运行,满足项目对数据存储的高效性、可靠性和安全性需求,对促进国产芯片的推广应用具有一定意义。 展开更多
关键词 FMQL45T900 VXWORKS 设备驱动 文件系统 VxBus总线
在线阅读 下载PDF
Lustre并行文件系统的发展及在气象领域的应用前景 被引量:1
20
作者 杨昕 沈文海 《应用气象学报》 CSCD 北大核心 2008年第2期243-249,共7页
Lustre是一个在Linux集群环境中广为应用的并行文件系统。该文介绍Lustre相关技术,并针对气象应用的特点和国家气象信息中心的现状和发展,设计了一个基于Lustre的多集群全局文件系统整合模型。分析表明:这一模型可以为气象应用提供高效... Lustre是一个在Linux集群环境中广为应用的并行文件系统。该文介绍Lustre相关技术,并针对气象应用的特点和国家气象信息中心的现状和发展,设计了一个基于Lustre的多集群全局文件系统整合模型。分析表明:这一模型可以为气象应用提供高效、灵活和统一的在线存储资源,同时能够较好地满足总体计算环境对"业务连续性"的需求。 展开更多
关键词 气象应用 并行文件系统 业务连续性
在线阅读 下载PDF
上一页 1 2 234 下一页 到第
使用帮助 返回顶部