分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性...分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性,提出了面向分布式文件系统元数据的数据管理机制和更新方法,包括元数据内存页面的重新组织和管理、多次变化数据的迭代更新、元数据写入方式的进一步优化等.所提方法减少了元数据更新的写入频次和实际写入量,减少了随机写操作,提高了元数据写入性能.展开更多
金融行业需要大数据技术支持数字化转型,但大数据技术体系复杂、组件快速变化、产品有效运维等问题越来越成为金融行业数字化转型的瓶颈。阐述了金融行业数据处理中面临的问题,结合银行业务发展需求,分析了基于开源技术的商用大数据平台...金融行业需要大数据技术支持数字化转型,但大数据技术体系复杂、组件快速变化、产品有效运维等问题越来越成为金融行业数字化转型的瓶颈。阐述了金融行业数据处理中面临的问题,结合银行业务发展需求,分析了基于开源技术的商用大数据平台Golden Data HD的系统架构、技术难点和主要特性。通过具体应用案例,展示了Golden Data HD的应用效果,该平台有效提升了数据存储容量、查询处理速度和应用业务创新,为金融企业的数字化转型提供了有力支撑。展开更多
文摘分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性,提出了面向分布式文件系统元数据的数据管理机制和更新方法,包括元数据内存页面的重新组织和管理、多次变化数据的迭代更新、元数据写入方式的进一步优化等.所提方法减少了元数据更新的写入频次和实际写入量,减少了随机写操作,提高了元数据写入性能.
文摘金融行业需要大数据技术支持数字化转型,但大数据技术体系复杂、组件快速变化、产品有效运维等问题越来越成为金融行业数字化转型的瓶颈。阐述了金融行业数据处理中面临的问题,结合银行业务发展需求,分析了基于开源技术的商用大数据平台Golden Data HD的系统架构、技术难点和主要特性。通过具体应用案例,展示了Golden Data HD的应用效果,该平台有效提升了数据存储容量、查询处理速度和应用业务创新,为金融企业的数字化转型提供了有力支撑。
