搜索
您的当前位置:首页正文

智慧城市时空大数据云平台建设探讨

来源:知库网
第44卷第1期2021年1月测绘与空间地理信息GEOMATICS & SPATIAL INFORMATION TECHNOLOGYVol.44,No.lJan., 2021智慧城市时空大数据云平台建设探讨赵跃(辽宁省自然资源事务服务中心辽宁省基础测绘院,辽宁锦州121003)摘要:随着社会经济及城市建设的不断发展,建立智慧城市成为城市转型与国家可持续发展的有力举措。智

慧城市时空大数据云平台具备数据获取、挖掘分析、时空数据服务等能力,为智慧城市的智能化带来可能。本文 分析了传统智慧城市存在的问题,阐述了大数据时代智慧城市建设的技术路线及关键技术等方面的内容。

关键词:智慧城市;时空大数据;云平台中图分类号:P208

文献标识码:A 文章编号:1672-5867( 2021) 01-0093-03Discussion on the Construction of Spatio - temporal Big

Data Cloud Platform for Smart CityZHAO Yue(Liaoning Natural Resources Affair Service Center, The Basis Surveying and Mapping Institute ofLiaoning Province, Jinzhou 121003, China)Abstract:With the continuous development of social economy and urban construction, the establishment of smart city has become a

powerful measure for urban transformation and national sustainable development. The spatio -temporal big data cloud platform of smart

city has the capability of data acquisition, mining and analysis, spatio-temporal data service and so on, which brings the possibility

for the intelligentization of smart city. This paper analyzes the problems existing in the traditional smart city and expounds the technical

route and key technologies of the construction of smart city in the era of big data.Key words: smart city ; spatio -temporal big data ; cloud platform0引言随着科技进步和信息技术的发展,智慧城市建设的 热潮与探索,引发了社会转型、产业升级、商业模式变革, 智慧城市本身的含义也在不断演变。智慧城市通过用 “云、大、物、智”等新一代信息技术,将原本相互独立的测

1智慧城市1.1智慧城市概念2008年11月1BM提出“智慧地球”概念,近两年来 “智慧地球”战略已经得到了各国的普遍认可,数字化、智

能化必定是未来社会发展的大趋势,智慧地球的提出为 智慧城市的出现奠定了基石,智慧城市是智慧地球的体

绘、勘察、规划等行业相互联系、相互渗透,将多行业信息

交流共享。基于时空大数据云平台建设智慧城市能够有 效地集成现有的多源、异构和海量的地理信息数据,提供 高效的数据更新服务,保证数据的现势性,对城市的系统 建设和管理有一定的促进意义。系形式。智慧城市的宗旨,是在城市的日常管理与平日

的建设运行过程中,充分运用先进信息技术,实现管理模 式智慧化、管理过程智慧化、管理手段智慧化的目的,从 而为城市人口提供更加和谐智慧的生活环境。当前,我国智慧城市建设正处于探索阶段,缺乏技术

1.2智慧城市建设体系框架,导致资源整合困难,建设开展不合理。因此, 为了更好地开展智慧城市建设,迫切需要一套可实施的

1.2.1传统智慧城市建设传统智慧城市采用大数据、物联网、云计算等技术手

技术体系框架来助力智慧城市的建设。段将“物理城市”与“数字城市”相连接,实现城市功能,强 化物同人之间的信息交流,有助于推动城市建设与管理。

收稿日期:2019-12-30作者简介:赵跃(1987-),女,辽宁阜新人,工程师,硕士,2013年毕业于西安科技大学地图学与地理信息系统专业,主要从事测绘

地理信息服务工作。94测绘与空间地理信息2021 年但传统智慧城市的建设大多是在城市信息化基础上开

展,涉及环节众多,缺乏顶层设计和综合协调机制,系统

多独立部署、垂直管理,导致数据无法共享,从而造成建 设成本高、建设周期长、重复建设等问题[1-2]。1.2.2 大数据时代的智慧城市建设大数据时代的智慧城市拥有开放的体系架构、功能

通用的平台、标准统一的体系、高效率的控制中心,以智 慧城市、城市治理以及人民未来美好生活为目标,打造智

能共享与汇聚的信息基础为要点,在城市应用、治理、管 理等多方面不断持续创新,将产生的海量数据(大数据)

处理分析后用于各类应用,从而分布在智慧城市的各个 方面。因此,智慧城市的建设已经离不开大数据这个搜 索引擎[1]o大数据时代的智慧城市与传统智慧城市有着显著区

别,在数据层方面,传统智慧城市是由政府掌控的自上而 下的单一信息,具体实施中存在资源割裂,有大数据但使 用率较低或没有使用的问题,而大数据时代的智慧城市

则是由公众参与式的开放式城市数据,政府上下强调信 息化和数据基于云的应用。在平台层方面,传统智慧城

市多以展示为主,缺乏底层数据整合和共享,大数据时代 的智慧城市提出城市级通用平台建设,整合信息,有底层

数据支撑及强大的基本保障。2技术路线2.1云计算支撑环境云计算支撑环境能够为智慧应用系统提供集约化、 统一化的云模式服务,以云、网、端相结合的方式搭建基 础设施构架,形成基础设施集约一体化管理。云计算支

撑环境分为私有云、公有云两个不同的支撑环境。公有

云开放给所有公众成员,这种云计算模式由拥有极其庞

大数据中心的服务商运营,其中的计算和存储资源在客 户之间进行共享,扩展性高、灵活性强、成本低。私有云 是使用的特定云环境,不同于公有云模式中共享的设施 使用,私有云模式中使用的服务器或存储应用都是单独

的,它安全性高,可预测成本,管理较为复杂。据政务版、

公众版平台的不同运行要求,可选用两个不同的支撑 环境[3-4]。2.2时空大数据建设时空大数据是大数据的重要组成部分,是时间、空

间、专题属性相结合的三维信息,同地理位置有着直接或 者间接的关系。通过集成基础地理信息数据、实时数据、 公共专题数据和空间规划数据,并将其时空化,形成时空

大数据[5]o时空大数据推动了地球空间科学发展,是地球空间

科学进步的重要动力。它将空间、时间、属性3个维度数 据有效结合构建出时空数据模型,集合多源、异构数据信 息建立时空信息数据库,针对数据库进行挖掘分析,遵守

数据密集型计算的基础理论和规范,找出数据之间的联

系,以此作为平台整体设计和基础架构的依据。2.3时空信息云平台时空信息云平台以服务为核心,通过大数据、物联

网、云计算等新一代信息技术,构建服务资源池,建设服 务引擎、地名址引擎、业务流引擎、知识化引擎,实时收集 各类时空信息打造能够智能决策、数据应用互联互通、多 元服务集成管理的地理信息服务平台,解决城市信息资 源管理、社会信息资源管理和城市系统部门协同共享等 问题,是智慧城市建设的重要空间信息基础设施[6-7]。3关键技术3.1基于云计算的大数据存储3.1.1 MapReduce 模型MapReduce是一种用于进行计算的编程模型,整体编

程结构较为简单,通过并行化和大规模分布式计算实现

数据的有效处理,完成海量数据的计算[8]oMapReduce 处理数据过程主要分成 Map 和 Reduce 两

个阶段。首先将输入数据进行分片,即将输入数据切分 为大小相等的数据块,分片完成后,每一块作为单个Map Worker的输入被处理,多个Map Worker可同时工作。每

个Map Worker在读取各自的数据后进行计算处理,最终 输出给Reduce,系统会生成若干个Reduce任务,分配到

不同机器去执行,将若干个Map任务生成的中间文件汇 总到最后的输出文件中去[9]o流程如图1所示。图1 MapReduce的处理流程

Fig・1 MapReduce processing flow3.1.2 Hadoop 平台Hadoop平台是开源组织结合MapReduce工作原理进

行设置后形成的分布式计算框架,主要由HDFS、Hbase和

MapReduce构成。是当前最流行的云计算框架之一,将集 群的计算机能力和存储能力充分利用起来,具有效率高、 扩容能力强、可靠性高、可移植性高、成本低廉等优点。Hbase是一个开源的分布式的数据库,适合存储非结 构化数据,为数据集随机访问提供保障。HDFS是一种分 布式的文件系统,以流式数据访问模式来存储文件,具有

较好的可扩展性,存储能力和并发访问能力强的特点,能 够解决传统单机文件系统存储能力不足、扩展困难、成本

过高的问题,是解决大数据存储问题的有效途径[10]o3.1.3 大数据存储模型以云计算技术为依托,结合大数据特性,提出大数据 存储模型。该模型中控制机群用于接收应用请求并给予

第1期赵 跃:智慧城市时空大数据云平台建设探讨95应答,存储机群系统主要负责数据资源的存取。用户先 实体补充编码。当一个比例尺数据库图层中的地理实体

通过控制机群再通过Hadoop架构读取HDFS和Hbase存 取数据,以此防止因大量读取操作而造成的系统堵塞情况的发生,存储模型如图2所示。发生变化时,通过实体数据库进行检索查询,找出不同尺 度下同名实体,根据变化情况进行状态变更,从而完成多 尺度空间数据联动更新[12]o用户_

4结束语doop框架智慧城市时空大数据云平台建设涉及内容广泛,是

一项庞大建设工程,需要持续的先进技术作为支撑,才能

HDFSMapReduce

;HBase履型够实现智慧城市的建设。 本文针对智慧城市建设中存在

IB图2大数据存储模型Fig・2 Big data storage model的困难和问题,结合大数据特点及云计算技术提出了实 施技术路线和关键技术内容,虽然技术体系尚不能涵盖 智慧城市建设中全部技术问题,但仍具有一定的可行性

和通用性,可供同类项目借鉴。参考文献:[1] [2] [3] [4] [5] [6] [7] [8]

3.2时空数据更新3.2.1 变化区域增量更新传统数据更新采用人工外业全要素更新方式,该方

许苏苏,高俊强,孙灏•大数据时代的智慧城市建设 [J].测绘与空间地理信息,2018,41(3) :148-149.周斌,朱晨鸣•新型智慧城市建设对比分析及创新研究 [J].中国管理信息化,2019,22(12) :118-119.式更新速度慢、费用高,无法满足数据现势性要求。基于 前后时相的卫星遥感影像解译对比方式,可快速发现地

杨辉山,黎慧斌•时空信息云平台建设探讨[J].测绘与

表变化情况。再通过无人机、外业采集、视频监控进行变 化区域信息采集, 将变化信息通过处理软件完成基础信 息匹配,即实现变化区域增量更新[11],技术流程如图3

空间地理信息,2019,42(8):141-143.朱亚杰,李琦,冯逍.基于大数据的智慧城市技术体系

架构研究[J].测绘科学,2014,39(8) :70-73.张拥军•时空大数据及其在智慧城市中的应用[J].中 国标准化,2019(8) :136-137.李乃强,刘婵娟.智慧城市时空大数据与云平台建设技

所示。术研究[J].现代测绘,2019,41(5) :54-56.肖建华•智慧城市时空信息云平台及协同城乡规划研

究[J].规划师,2013(2):11-15.裴衣非,王艳艳,李海荣.基于云环境下的海量大数据

存储系统的设计[J].电子测试,2018(19) :54-55.图3增量更新流程Fig・3 Incremental update process[9]

[10] [11] [12]

王晋川,何宏.MapReduce框架与调度容错机制研究 [J].中国储运,2010(12) :90-91.3.2.2多尺度空间数据联动更新多尺度空间数据联动更新是指通过一种尺度的数据 更新联动着多种尺度的数据同步更新的机制。按照实体

宋炜炜.基于时空信息云平台的空间大数据管理和高 性能计算研究[D].昆明:昆明理工大学,2015.马照亭,刘勇,沈建明,等•智慧城市时空大数据平台建 设的问题思考[J].测绘科学,2019(4) :279-284.数据库模型建立实体数据库,记录实体信息,先将大比例

尺图层中实体数据依次编码,在采用地理实体匹配技术 检索出小比例尺图层中同名实体,将查找出的同名实体

殷甲伟.基于地理实体匹配的多尺度空间数据联动更 新研究[D].武汉:武汉大学,2018.[编辑:刘莉鑫]赋予大比例尺下的实体编码,若未找到同名实体,则进行

(上接第92页)参考文献:[1]

[5]

王祖亮,马红利•多尺度基础地理信息数据融合模型研 究一一以咸阳市为例[J].测绘与空间地理信息,2019,

42(10):150-152,155,158.丁庆福,张鹏,柏永青,等.基于多源数据融合的省级 DLG居民地框架要素更新[J].科技与创新,2017(6): 26-27.张建英,刘高.地理实体与政务专题数据关联融合方式 研究[J].城市勘测,2018(4) :25-28.[6] [7]

[2]

探讨[J].青海大学学报,2018,36(6) :65-71.杨燕.基于天地图•新疆自治区节点矢量数据与国家主 节点矢量数据融合技术方法探讨[J].测绘与空间地理 信息,2017,40(8) :126-128.张鹏,韦通,李庆永,等.省市级基础地理信息框架数据 联动更新探究[J].山东国土资源,2016,32(11) :65-69.穆增光,刘慧慧.大比例尺地理信息数据服务模式的研 究[J].测绘与空间地理信息,2019, 42 (4): 112­114,118.[3] [4]

[编辑:任亚茹]王霞,李伟东.基础地理信息与地理国情监测融合生产

因篇幅问题不能全部显示,请点此查看更多更全内容

Top