第2 章 大数据GIS 概述  2.1 大数据时代GIS 面临的挑战 大数据不仅使世界认识到数据的重要性,更引发了社会各个行业领域的技术变革[1]。大数据时代GIS 的发展,主要体现在两个方面。 一方面,空间大数据的出现,要求GI S 变革现有技术体系。一直以来,GI S 以处理和分析精确的、位置相对固定的经典空间数据为目标,并不擅长处理具有L+5V 特征的空间大数据,尤其不擅长处理其中模糊、实时、海量、异构的泛化地理信息[2]。对空间大数据的存储、管理、分析、计算和可视化,是GIS 亟待提升的方向。 另一方面,GI S 擅长处理的,包括矢量和栅格等在内的经典空间数据,呈现出数据体量不断增长、时空尺度不断精细化的发展趋势。对这类数据的处理与分析,也要求GI S 在性能上有数量级的提升。 2.1.1 空间大数据带来的挑战 由于空间大数据的海量异构和实时等特征,GI S 在空间大数据的处理、存储、管理、空间分析与可视化方面,将面临以下挑战[3]。 首先,传统的数据存储与管理方式能力不足。建立在空间数据库之上的空间数据引擎在数据的集中存储和统一管理时代发挥了巨大的作用。但这种模式在应对数据格式不一致、数据内容不一致和时空尺度不一致等情况时[4],存在适应性低、可扩展性差、高并发处理能力弱、数据互操作能力有限等问题。 第二,GIS 的计算能力严重不足。过去,采用多线程、多进程技术的任务划分和并行计算机制,以及建立在CUDA、OpenCL 等显卡技术上的并行计算引擎[5],能够在同等数量级上提升数据的处理能力。但这类技术在处理空间大数据时,其计算能力出现了明显的性能瓶颈。 第三,流数据处理能力缺乏。当前,地理信息正在从以静态数据为主的应用逐渐转变为以流数据为主的应用。前者通常具有较长的时间延迟,对处理的时效性具有较大的容忍度,但若用于流数据应用,则无法支持连续的数据接入、动态的数据更新,也无法提供持续的数据处理分析与服务[6]。 第四,空间大数据分析方法缺乏。专门针对矢量、栅格等经典空间数据设计的分析算法,如地统计分析,在应用于空间大数据时,存在效率低、适应性不足等问题[7]。空间大数据的典型特征之一是数据价值密度低,类似“贫矿”,对“提炼技术”要求较高,需要发展新的空间大数据分析与挖掘技术。 另外,空间大数据中存在数据冗余、错误、缺失等问题,降低了数据的质量,需要预先进行数据的清洗和加工,以便于后续的分析和应用。