面向海量业务数据的分布式存储系统的研究-北京邮电软件学院

面向海量业务数据的分布式存储系统的研究

作者: 时间:2016年04月22日 17:38 点击数:

研究单位:北京邮电大学软件学院

课题负责人:王东滨

课题组成员:王东滨、段锐、商庆同、崔倩楠

结题时间:2012年12月

本课题为教育部北京邮电大学青年科研创新计划专项项目。

成果简介:本课题面向顺序产生、顺序处理、文件小、海量的文件数量等特点的数据存储需求,设计了面向海量顺序小文件的分布式存储系统。采用数据流和控制流分离的处理架构,设计了大文件块存储大量小文件结构、块内文件结构、和文件块的关联方式等,实现了对海量顺序小文件优化存储。大大减少了数据操作过程中与负载均衡器的通信次数和文件的打开关闭次数,实现了顺序小文件的高效读写。本课题研究了静态负载均衡算法和动态负载均衡算法,提出了基于动态反馈的负载收集策略和基于概率模型的动态调度算法。将存储节点按存储容量百分比划分队列,以概率模型选取相应的队列,在队列中通过轮询策略选取相应节点,并在选取过程中跳过高负载节点,实现了文件块存储的负载均衡和备份。

北京市昌平区北七家镇北京邮电大学宏福校区(102209) 010-58828027