数字图书馆大数据分布式存储架构模式与策略研究

龙源期刊网 https://www.wendangku.net/doc/7b7686329.html,

数字图书馆大数据分布式存储架构模式与策略研究

作者：马晓亭

来源：《新世纪图书馆》2015年第05期

摘要数字图书馆传统的关系数据库数据存储方式已不能满足大数据存储与处理需求，为解决传统关系型数据库在海量数据存储和访问效率中的瓶颈问题，论文提出了一种数字图书馆安全、有效的大数据公布式存储架构。该存储架构具有良好的可扩展性、容错性和存储性能，尤其针对海量的非结构化、半结构化数据，其性能优势更加明显。

关键词数字图书馆大数据海量数据存储分布式存储架构非结构化数据半结构化数据

分类号 G250.76

Study on the Big Data Distributed Storage Architecture Model and Policies of

the Digital Library

Ma Xiaoting

Abstract Storing and processing big data by using ordinary relational database comes across some problems in the digital library. To solve the bottleneck problems of the traditional relationship database in big data storage and access efficiency， this paper presents a secure and efficient big data distributed storage architecture for the digital library， which has better scalability， fault tolerance and enhanced storage performance. Especially for the mass unstructured and semi-structured data，the performance advantage is more obvious.

Keywords Digital library. Big data. Mass data storage. Distributed storage architecture. Unstructured data. Semi-structured data.

随着信息技术的发展与读者阅读需求转变，云计算、大数据、物联网和传感器网络等技术，已成为数字图书馆构建与用户服务保障的关键技术。新技术的应用与服务模式的变革，大幅提高了图书馆服务系统的结构科学性、保障力和用户满意度。但是，图书馆在用户服务与系统管理、读者阅读活动保障、自动传感器数据采集和移动阅读终端阅读等过程中，产生了海量和级数递增的大数据资源，图书馆数据环境呈现数据体量巨大（Volume）、类型繁多（Variety）、价值密度低（Value）、处理速度快（Velocity）的4V大数据特征。此外，非结构化数据占据图书馆总量的85%以上，并且读者对大数据资源的价值密度和可用性要求较高。因此，加强大数据存储系统架构的科学性、安全性、可用性和可扩展性，确保大数据资源可以