大数据存储
大数据存储层作为智慧城市中超大规模数据信息支撑的基础,是智慧城市基础设施的一个重要组成部分,现有的以大规模、高性能与可扩展为主要基础的网络化分布式海量存储系统的设计理念与研究具有局限性,已经很难满足智慧城市中多种复杂应用在规模、效率、可靠性、能耗、安全和智能化方面等综合性存储服务能力的需求。归纳起来,智慧城市的数据存储需求需要有以下几个特点:
(1)在智慧城市中的一些应用(如政府信息化数据平台、数字交通、环境监测、灾难信息处理等)的数据量以1TB(1000GB)级和PB(1000TB)级的速度在高速增长,这种数据规模和数据管理的复杂程度已经今非昔比。
(2)各种应用对数据的可访问时间和访问持续时间在增加,使得数据必须保证能够处于可访问状态。
(3)数据应用种类和数据应用的不断繁衍,海量数据呈现动态生长、易购多样化、地理分散、语义丰富等特征。
(4)数据应用的用户广泛分布,用户访问方式存在多样化与群体众多性。
(5)应用需要可靠、高效低耗与经济性相结合的数据存储。
智慧城市中数据存储的随需视图特性需要高可扩展性的支持,不仅要为存储本身提供可扩展性(功能扩展),而且必须为存储带宽提供可扩展性(负载扩展)云存储的另一个关键特性是数据的地理分布(地理可扩展性),支持由一组云存储数据中心(通过迁移)使数据最接近于用户,对于只读数据,也可以采用多副本和数据布局技术来提高访问性能。海量数据存储策略如下图所示:
智慧城市的存储层技术体系架构如图所示,通过虚拟化存储技术可以将分布在互联网上的各种资源整合成具有统一逻辑视图的高性能大规模存储系统。图中的SSP(Storage Service Point存储服务点)是整个存储层的入口,对存储层所有模块的访问都通过SSP,它主要提供FTP(File Transfer Protocol,文件传输协议)接口