<meta name="dc.description" content="目的遥感数据空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率不断提高,数据类型也不断增加,从航天、航空、临近空间等遥感平台所获取的遥感数据量急剧增加,遥感数据已经具有明显的大数据特征。本文旨在从系统应用的角度分析遥感大数据处理中涉及的关键技术与问题,为相关研究人员提供有价值的参考。
方法在参考大量文献的基础上,首先阐明遥感大数据的特点。其次,从GPU硬件加速、集群、网格、云计算、云格、复杂高性能计算等角度介绍了遥感大数据处理系统。再次,从分布式集群化存储技术等,分析了遥感大数据处理的关键技术。最后,从遥感大数据的多类不确定性、信息融合、机器学习、分析平台等出发,说明了目前研究存在的问题;从遥感大数据多类不确定性建模,面向遥感大数据的机器学习方法等角度说明了遥感大数据发展的趋势。
结果本文详细梳理了遥感大数据的特点、典型的处理系统、核心技术,力图总结出在实际应用与学术研究中该领域需要解决的关键问题以及未来的发展趋势。
结论大数据技术为遥感数据挖掘与知识获取带来了机遇与挑战,面向大数据的机器学习、数据统一分析框架、面向大数据的信息深度融合等问题的突破,将促进遥感知识挖掘的进一步发展。
<meta name="dc.description" xml:lang="en" content="ObjectiveThe continuously improving resolution of spatial, temporal, spectral, and radiometric for remote sensing data also increases the data type. For example, the amount of remote sensing data acquired from the aerospace, aviation, space, and other remote sensing platforms is increasing dramatically. Therefore, remote sensing data have obvious big data characteristics. This study analyzes the key technologies and issues in applying remote sensing big data and provides valuable reference for researchers.
MethodBased on numerous references, the characteristics of remote sensing big data are clarified. The processing systems for remote sensing big data are introduced from the perspectives of GPU hardware acceleration, clustering, grid, cloud computing, cloud grid, and complex high performance. The key technologies of remote sensing big data, including distributed clustered storage technology, are discussed. The existing problems are discussed through uncertainties, information fusion, machine learning, and analysis platform of remote sensing big data. The development trends are also discussed, including modeling a variety of uncertainties of remote sensing big data and machine learning methods for remote sensing big data.
ResultThis study reviews the characteristics of remote sensing big data, the typical processing system, and the core technology. Key issues and future trends in this area in the practical application of academic research are also summarized.
ConclusionBig data technologies bring not only opportunities but also challenges for remote sensing data mining and knowledge acquisition. Several significant breakthroughs, such as machine learning for big data, unified analysis framework, and high-level information fusion, can promote further development for remote sensing knowledge mining.
遥感大数据研究现状与发展趋势
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.
2016 | Volumn 21 | Number 11
&&&&综述&&&&
遥感大数据研究现状与发展趋势
河南财经政法大学数学与信息科学学院,郑州 450000;
华中科技大学软件学院,武汉 430074;
武汉理工大学理学院统计系,武汉 430000;
武汉大学测绘遥感信息工程国家重点实验室,武汉 430072;
武汉科技大学城市学院实验实训中心,武汉 430083
遥感数据空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率不断提高,数据类型也不断增加,从航天、航空、临近空间等遥感平台所获取的遥感数据量急剧增加,遥感数据已经具有明显的大数据特征。本文旨在从系统应用的角度分析遥感大数据处理中涉及的关键技术与问题,为相关研究人员提供有价值的参考。
在参考大量文献的基础上,首先阐明遥感大数据的特点。其次,从GPU硬件加速、集群、网格、云计算、云格、复杂高性能计算等角度介绍了遥感大数据处理系统。再次,从分布式集群化存储技术等,分析了遥感大数据处理的关键技术。最后,从遥感大数据的多类不确定性、信息融合、机器学习、分析平台等出发,说明了目前研究存在的问题;从遥感大数据多类不确定性建模,面向遥感大数据的机器学习方法等角度说明了遥感大数据发展的趋势。
本文详细梳理了遥感大数据的特点、典型的处理系统、核心技术,力图总结出在实际应用与学术研究中该领域需要解决的关键问题以及未来的发展趋势。
大数据技术为遥感数据挖掘与知识获取带来了机遇与挑战,面向大数据的机器学习、数据统一分析框架、面向大数据的信息深度融合等问题的突破,将促进遥感知识挖掘的进一步发展。
不确定性建模;
多源信息融合;
高性能计算;
遥感大数据
Research status and development trends of remote sensing big data
Zhu Jianzhang1,
Shi Qiang2,
Chen Feng'e3,
Shi Xiaodan4,
Dong Zemin5,
Qin Qianqing4
School of Mathematics and Information Sciences, Henan University of Economics and Low, Zhengzhou 450000, C
School of Software Engineering, HuaZhong University of Science & Technology, Wuhan 430074, C
Statistics department of Wuhan University of Technology, Wuhan 430000, C
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430072, C
Laboratory Training Center, City College of Wuhan University of Science and Technology, Wuhan 430083, China
Supported by: Natural Science Foundation of Henan Province, China(15AB110037)
The continuously improving resolution of spatial, temporal, spectral, and radiometric for remote sensing data also increases the data type. For example, the amount of remote sensing data acquired from the aerospace, aviation, space, and other remote sensing platforms is increasing dramatically. Therefore, remote sensing data have obvious big data characteristics. This study analyzes the key technologies and issues in applying remote sensing big data and provides valuable reference for researchers.
Based on numerous references, the characteristics of remote sensing big data are clarified. The processing systems for remote sensing big data are introduced from the perspectives of GPU hardware acceleration, clustering, grid, cloud computing, cloud grid, and complex high performance. The key technologies of remote sensing big data, including distributed clustered storage technology, are discussed. The existing problems are discussed through uncertainties, information fusion, machine learning, and analysis platform of remote sensing big data. The development trends are also discussed, including modeling a variety of uncertainties of remote sensing big data and machine learning methods for remote sensing big data.
This study reviews the characteristics of remote sensing big data, the typical processing system, and the core technology. Key issues and future trends in this area in the practical application of academic research are also summarized.
Conclusion
Big data technologies bring not only opportunities but also challenges for remote sensing data mining and knowledge acquisition. Several significant breakthroughs, such as machine learning for big data, unified analysis framework, and high-level information fusion, can promote further development for remote sensing knowledge mining.
uncertainties modeling;
multi-source information fusion;
machine learning;
high performance computing;
remote sensing big data
随着信息化建设的持续深入发展,移动互联网、物联网、云计算、网格计算等新技术不断涌现,各级别的“系统集成”越来越复杂[],在处理信息与数据时遇到了数据存储与管理、海量数据的高效处理、结构化与非结构化数据的融合分析、多类型数据可视化等的挑战[-]。
为了应对这些挑战,取得在信息处理方面的优势,美国国防部围绕着“大数据”开展了一系列的研究项目[],包括影像检索与分析、洞察力、心灵之眼、数据到决策等大数据相关项目。另外,NASA的不同部门也采取了一定的措施来应对大数据带来的挑战[]:在大数据管理与处理方面,NASA采用任务数据处理与控制系统实时地处理来自火星探测器的原始数据;在大数据存储方面,NASA的气候模拟中心存储了有关天气与气候的数据总共37 PB;在大数据分析方面,NASA的星云超级计算机处理能够分析处理来自行星的大量的数据,还能够为1 200多位用户提供大量的、复杂的计算能力[-]。
遥感大数据
随着遥感技术的发展,遥感数据空间分辨率、时间分辨率、光谱分辨率和辐射分辨率越来越高,数据类型越来越丰富, 数据量也越来越大,遥感数据已经具有了明显的大数据特征,如所示,如大容量、高效率、多类型、难辨识、高价值等[], 遥感进入了大数据时代[-]。
遥感大数据的特征及对系统的要求
Characteristics of remote sensing big data and requirements for processing systems
对系统要求
外部特征[]
随着航空、航天多种遥感平台上的多个传感器的发展,遥感数据量不断增加
高性能特性;伸缩性
全色、多/高光谱、红外、SAR、Lidar等
反恐维稳、应急救灾、军事等对遥感数据处理有时效性要求
伸缩性;高性能性
数据存在不一致性、不完整性、模糊性等多类不确定性以及模型近似的误差等
从遥感数据中可以挖掘出对人类生产生活息息相关的各类信息与知识
动态性;深度挖掘
内部特征[]
高维特征描述同一地物
遥感大数据的获取系统包括多个对地观测子系统,而每个子系统具有各自的空间尺度和时间尺度,因此,采集的数据具有空间多尺度和时间多尺度的特点[]
提取的物理过程参数随时间的变化而变化
1)大容量。NASA地球观测数据与信息系统(EOSDIS)每天接收到的数据量以4 TB的速度增长[]。这些巨量的数据带来了存储、管理、处理与分析上的难题。
2)多类型。遥感观测的传感器种类包括全色、多光谱、高光谱、红外、合成孔径雷达(SAR)、激光雷达(LiDAR)等,这些数据的格式不同、元数据不同、数据处理方法也不同,加剧了遥感数据处理的复杂性[]。
3)高效率。遥感数据的处理速度远远赶不上遥感数据获取的速度,造成了大量遥感数据的浪费[];另外,特定的遥感应用领域,如应急救灾、反恐维稳等,对数据处理有一定的时效性要求,以利于指导行动[]。海量数据的处理时效性遥感应用分析的极大挑战。
4)难以辨识。遥感数据在获取的过程中受到传感器自身特性、传感器平台抖动、大气影响、地物复杂环境干扰等因素的影响,使得获取的数据存在不一致性、不完整性、模糊性等多类不确定性[]。同时,遥感数据还会受到模型近似的影响而存在误差[]。这些因素使得从数据中发现规律存在一定难度。
5)高价值。各种遥感数据反应了地物的不同属性,从遥感数据中可以挖掘出军事目标信息、环境状况信息、水文信息、气象信息、农作物长势以及产量信息、森林信息、城市要素信息、城市变迁要素信息、城市环境要素、交通信息等[],这些属性信息对科学研究及人们日常生活具有极高的价值。
除了上述大数据的一般特征之外,遥感大数据还具以下特征:
1)高维特征[]。
2)多尺度特征[-],同种传感器在卫星平台、有人飞机平台、无人机平台所获取的遥感数据具有不同的分辨率,可以反映出地物多层次的特征;同一遥感平台的不同传感器影像,由于成像原理的不同,会造成所获取的数据具有不同的尺度;另外运行周期不同的不同观测平台上,成像系统所生成数据具有不同的时相,具有不同时间尺度。只有充分考虑空间和时间的多尺度效应,对数据分析才能取得理想的分析结果。
3)非平稳的特征[]。不同的时间所获取的遥感影像特征是不相同的,如早晨与下午所获取的遥感影像反射率的值,会随着太阳高度角的改变而改变;春季与秋季所获取的农作物的遥感影像的特征也有差异。在进行遥感影像分析时,需要充分考虑其非平稳的特征,才能挖掘出有价值的知识。
遥感大数据处理系统
遥感数据处理系统建设正在面临着数据密集、计算密集、并发访问密集、时空密集等实际应用带来的挑战[]。传统的遥感处理系统由于存在着不支持并行处理、扩展性不高、数据吞吐量小、可靠性低等问题,无法解决遥感大数据带来的挑战。因而,只有具备了兼容性、动态性、高性能计算、伸缩性、容错性以及深度挖掘特性[]的遥感大数据处理系统,才能够满足遥感大数据的应用需求。
目前,遥感大数据处理系统不断出现,包括基于GPU集群(GPU cluster)的大尺度空间数据处理系统、基于分布式计算(distributed computing)的遥感处理系统、基于云计算平台(cloud computing platform)的大规模遥感数据处理框架、基于云格计算(the integration of grid and cloud computing)的海量遥感数据处理系统、基于雨林计算(jungle computing system)的高光谱遥感数据处理系统等[-]。这些系统不同程度地解决了遥感大数据处理面临的问题:基于GPU加速以及GPU集群的遥感处理系统,提供了大规模遥感影像数据快速计算的解决方案,能够使得遥感服务于应急救灾、军事等具有时效性要求的行业;基于网格的遥感大数据处理系统,提供了广泛的共享的计算资源,用来满足大规模遥感数据多样化处理需求;基于云计算以及云格的遥感数据处理系统,提供了遥感数据存储与分析的工具,并提供了遥感大数据不同的服务形式,使得用户以方便快捷的方式利用遥感大数据解决生活生产问题,尽可能地发挥遥感大数据的价值;基于复杂高性能计算的遥感处理系统,为复杂的遥感大数据深度挖掘提供了尽可能多的工具,能够解决基于大数据和知识库的智能推理问题,使得遥感数据为社会服务。
基于GPU加速的遥感大数据处理系统
越来越多遥感领域的科学家与工程师基于GPU建立了高性价比的高性能计算平台[-]。一个典型的基于GPU加速的遥感影像处理系统,包括CPU-GPU异构平台的物理层、CUDA编程模型的系统层、基于GPU的并行算法层以及实际系统应用层[]。为了使得GPU加速系统支持多种格式遥感影像处理,并且使得遥感并行算法与GPU硬件实现松耦合,Ma等人[]设计了新的基于GPU加速的遥感影像处理体系结构,如所示,通过HPGFS文件系统为遥感影像文件读写提供统一的I/O接口;同时,在系统层与算法层之间增加了由遥感影像GPU并行编程模板与GPU并行函数库构成的接口层。改进之后的体系结构不仅能够支持多种格式的遥感影像处理,而且还能够提供简单的影像并行处理编程支持,减低了算法开发的难度。
图 1 GPU加速处理系统框架比较
Fig. 1 Comparison for frameworks of GPU-accelerated processing system ((a)existing GPU a (b) GPU application framework proposed by Ma[])
基于GPU集群的遥感大数据处理系统
基于集群体系结构,利用分布式并行计算来解决遥感信息计算中的数据密集与计算密集问题是普遍采用的方案[]。GPU集群通过对传统集群的改造升级, 每个计算节点都配置相应的GPU并行加速卡来提高其计算性能。GPU集群包括单个计算节点细粒度数据并行性与集群节点之间的粗粒度数据并行性,因而其可应用于遥感影像多层次并行性处理。
Yang等人[]研究了多核GPU集群系统的混合混合编程问题,证明了基于OpenMP+CUDA、MPI+CUDA并行编程模型在提高计算效率上的有效性。Fang等人[]为了提高资源三号卫星遥感数据的预处理速度,提出了MPI+OpenMP+CUDA(MOC)混合编程的并行模型,能够为实时性高的遥感应用提供近实时的影像处理功能。
杨靖宇等人[]为了解决大规模摄影测量数据处理任务,基于GPU集群并行计算模型,从系统角度出发,设计了面向摄影测量整体处理任务的GPU集群系统(),包括存储服务部件、并行计算部件、系统管理与配置部件、并行算法库等,从系统管理、数据管理、任务管理等功能出发, 自动化、并行化实现了影像预处理、空中三角测量、多基线影像匹配、SM/DEM自动提取、真正射影像制作等功能模块。
图 2 GPU集群计算系统
Fig. 2 Computing system architecture based on GPU cluster
由于GPU计算架构高度并行性的特点,无论是单个GPU加速系统,还是基于GPU集群的复杂计算系统,遥感大数据处理一般都是以像素集的处理为主,侧重于遥感数据的预处理,包括多种格式光学影像的辐射校正、几何校正,SAR数据的相位解缠,空中三角测量等,其中并没有涉及遥感数据高层次的知识挖掘等复杂处理。而如何在CPU/GPU异构体系中实现高效的机器学习算法,满足遥感大数据的高级处理要求(计算复杂度高、计算效率高等),还需进行更加深入的研究工作。
基于网格计算的遥感大数据处理系统
网格计算通过集成分布式资源,优化资源配置调度,实现数据密集型、计算密集型的遥感影像处理任务[]。法国空间局的广域网格项目(wide area grid)[-],利用集成网格InterGrid来集成分布式资源,其体系结构如所示,主要包括:1)SRI基于Globus Toolkit 4(GT4)与gLite 3中间件的计算与存储节点;2)Cybernetics基于GT4中间件的计算与存储节点;3)CEODE-CAS基于gLite 3中间件的计算与存储节点。该项目在集成这些资源时考虑了以下问题:1)基于QoS解决网格系统安全性问题;2)利用GridFTP协议解决了数据在网格平台之间的移动问题;3)利用网络服务资源框架(WSRF)以及开放网格服务体系—数据库访问集成(OGSA-DAI)协议解决了地理数据的访问问题;4)解决了更高层次的网格协议问题,如利用网格资源定位与管理服务,实现网格资源上的任务执行问题。该项目曾用于2007年7月淮河洪灾的Envisat/ASAR与Radarsat-1影像处理任务,最终的洪灾地图通过OGC WMS服务发布[]。
图 3 InterGrid体系结构
Fig. 3 Architecture of InterGird
基于网格计算的遥感大数据处理系统,在资源共享方面为各种网络计算提供底层上的支持,同时在顶层利用各种计算资源来服务具体遥感应用,主要解决了海量遥感数据的传输与计算问题。然而这里存在以下问题:1)并不是所有机器学习算法、遥感处理算法均适合在网格上并行化;2)对于某些处理算法的改进,需要耗费巨大的工作量才能达到大吞吐量的目的;3)网格配置在很大程序上对计算基础设施的性能、可靠性、安全性造成影响。
基于云计算的遥感大数据处理系统
云计算是分布式计算的最新发展,能够提供至少4种形式的服务,包括应用设施作为服务(IaaS)、平台作为服务(PaaS)、软件作为服务(SaaS)、数据作为服务(DaaS)等[]。这4种服务能够从不同的角度解决遥感大数据处理存在的数据密集型、计算密集型以及瞬时访问密集型等问题[]:1)针对高维、巨量、全球分布组织的遥感数据,DaaS可以提供数据浏览和按需使用服务,用户无需购买遥感数据,即可使用遥感数据;2)针对遥感影像的处理包括数据挖掘算法、参数提取、现象模拟等,多是计算密集型任务,PaaS与IaaS可根据科学计算的多样性与动态性,通过优化资源,使得计算单元、网络、存储、并行单元等与计算任务匹配;3)针对基于位置服务的网络应用模式所带来的瞬时访问密度问题(数以千万计的用户瞬时高密度访问系统),SaaS通过在多个不同的地点引用软件服务实例,应对这些瞬时访问高峰;另外,用户也无需购买软件,通过SaaS提供的软件服务即可使用软件功能。
一个基于云计算平台的遥感影像处理框架[]()主要包括影像管理模块、基于WebGIS的应用模块、数据分析与处理模块与云计算环境等。数据管理模块负责影像的上载与随后的影像管理,如影像检索、影像标注等功能,其中云计算环境包括MapReduce映射模型软件、Hadoop分布式文件系统(HDFS)等,为应用提供平台基础。由于云计算能够提供弹性的、按需计算平台,其在实际的遥感系统中得到了广泛应用[-],如在亚马逊弹性计算云EC2上部署的ERDAS的APOLLO on the Cloud、GeoEye的EarthWhere以及移动服务平台Sensor Service Grid (SSG)等。云计算目前是遥感大数据处理的研究热点,包括云计算下遥感数据的存储与高效管理[]、面向遥感数据的云计算模型[]、云平台的遥感业务流程设计[]、云环境下多源遥感数据挖掘系统构建、双态云支持下的存储计算一体化[]等等,在涉及到数据访问存储、数据分析、知识挖掘、服务平台[]等方面都有深入的研究。
图 4 基于云计算平台的遥感大数据处理框架
Fig. 4 Architecture for processing remote sensing big data based on cloud computing
综上所述,基于云计算的遥感大数据处理系统,就是通过整合遥感数据,相关数据处理流程、算法、工具,将遥感大数据的存储、处理和传输放置在云端,为用户提供地球空间服务[]。然而基于Hadoop的计算平台,仅以Map/Reduce作为编程模型,具有以下不足之处:1)一个计算任务内串行、链式浪费严重,中间结果不可分享,导致计算效率低下,能耗较高;2)无法支持基于图的算法,需要多轮迭代、循环的算法等,限制了其扩展性;3)编程实现较为复杂。
基于云格的遥感大数据处理系统
网格计算仅仅关注于提供计算能力与存储能力,而云计算侧重于在此基础上提供抽象的资源与服务,充分发挥网格计算与云计算的优势,构筑一个既具有服务优势又具有高性能计算能力的服务平台,是解决遥感大数据大规模计算的关键[]。曾志等人[]从云计算与网格结合的基准——面向服务的体系结构SOA出发:
1)提出了利用云计算增强网格基础设施来解决网格数据密集型计算的峰值计算资源需求问题的方案,并建立了基于网格与云计算环境下的资源与服务一体化描述方法,实现了异构资源的统一建模。
2)基于P2P技术实现了云格体现下网络动态资源与服务的发现,实现了海量数据高效处理时动态可计算资源的发现,同时基于独立任务处理的动态资源映射算法,形成了可计算资源虚拟空间,实现了计算资源的动态按需分配。
3)基于分布在各地的服务、数据与计算资源的网络距离预测,形成了基于系统调配计算模型(GL-RSLM),该模型可以在确保计算资源的基础上按照效率优化原则进行必要的数据迁移或服务迁移,保证服务的高效执行。
4)基于GL-RSLM模型,设计云格环境下的遥感影像数据组织与存储模式,构建高性能并行编程模型,构建高分遥感影像算法模型库,生成服务的组合与关系图等,进而形成面向服务的体系架构,最终建立高分遥感支持下的重大灾害监测应用系统平台。
云格系统在网格与云计算间实现跨管理域资源的管理与调配,这就要求基于网格资源的高度动态性与异构性特点,在资源管理方面还需设计一种安全机制(协议),以确保资源与服务的稳定性与准确性;另外,如何在云格系统下实现任务级、数据级、算法级等多层次的并行策略,进一步提高云格环境下大数据影像数据高效计算的效用。
基于复杂高性能计算的遥感大数据处理系统
许多科学计算问题需要使用各种计算资源,然而单独的系统不可能兼容所有硬件设备,这就带来了多层次异构计算资源集成的问题。Seinstra等人[]提出了复杂高性能计算系统(Complex HPC),为科研人员能够接触到的单独的计算机、集群系统、网格系统、云计算、桌面网格,甚至移动设备等,提供了新的分布式计算模式,实现易用高效的编程模型。
基于ComplexHPC系统的基本思想,Maassen等人[]设计了一种能够支持可扩展与高效应用的简单轻量级软件平台——星群体系结构(constellation)。van Kessel等人[]在星群体系结构的支持下,设计了基于内容(CBIR)的高光谱遥感影像检索系统。该系统能够在分布式数据存储的情况下提供高效的查询功能,说明了ComplexHPC能够促进巨量数据的高效处理。
ComplexHPC为研究人员提供了强大的多层次异构平台,将其用于遥感大数据的处理,其面临两个问题:1)如何设计一个用户友好的工作流模型,进而更加灵活、方便地实现遥感大数据的分析处理;2)如何在多层次异构平台上更加方便地实现多种复杂的机器学习方法,高效的实现遥感大数据的深度挖掘。
遥感大数据关键技术
分布式集群化存储技术
遥感大数据的特点及应用需求使得数据存储具有海量、多源、多尺寸、高并发等特性。只有有效的组织存储遥感大数据,设计合理的存储管理架构,设计高效的数据访问机制,才能适应数据密集型与计算密集型遥感应用需求[]。
现代存储技术正在向分布式、大规模集群化的方向发展,以应对遥感大数据带来的挑战。如Chen等人[]基于NoSQL(not only SQL)技术[]建立了云存储与服务平台,用于海量地理空间数据的存储与管理。Frye等人[]在提出的大数据结构中应用了空间索引处理方法,Chen等人[]研究了基于Hbase存储的遥感影像数据快速检索方法。Huo等人[]针对日益增长的对地观测高分辨率影像数据的存储,采用分布式架构、对象存储以及集群技术,并结合遥感数据的空间特性,构建了基于数据对象的存储组织模型,设计了分布式的存储架构,并基于数据对象的物理位置查询方法构建了海量数据高效访存机制,实现遥感数据资源配置的灵活化与管理的智能化。
遥感大数据存储、管理以及数据服务,一般都是从基于元数据的管理方式入手。元数据合理的组织结构可以对存储资源的高效管理提供强有力的支持。因而,如何有效地组织海量数据存储系统的元数据,并对元数据进行必要合理的索引,避免大量元数据迁移导致I/O性能受损,是进一步实现遥感数据高效灵活管理的关键。
面向数据密集型应用的高性能计算
遥感大数据处理过程中不仅要关注处理器的浮点运算能力等影响数据计算效率的因素,还需要关注I/O性能、内存容量等影响数据处理规模的因素。因此需要从I/O并行性能、异构系统编程模型、任务调度优化策略等几个方面进行全面考虑[, -]:
1)可采用集中分布式并行I/O体系结构,直接建立起内存与数据库之间的I/O通道,将多个数据库服务集合映射到数据密集型应用处理中,而将少数的数据库服务映射到对数据需求小的应用处理中[-];
2)可采用MOC(MPI+OpenMP/CUDA)异构系统多层次混合编程模型,各计算节点间的消息传递操作由MPI完成,而细粒度并行性则通过OpenMP/CUDA共同开发[];
3)可采用基于性能感知的任务调度及其优化技术,解决数据在CPUs与GPUs上的智能分配,以及他们之间的数据快速移动等问题,充分挖掘异构集群系统的计算能力[]。
目前的高性能计算主要集中在数据级的运算,较少涉及任务级或者算法级的并行加速;另外,并行加速的主要工作集中在影像预处理(辐射校正、几何校正、相位解缠等)等复杂度不高的计算,较少涉及复杂高的数据分析算法,如机器学习算法、基于图谱分析算法等。这方面还需进行更加深入的研究。
多源异构数据关联分析
海量多源异构遥感大数据能够提供地物更为详尽的属性信息,有利于遥感的解译与应用。然而这些内容复杂、结构松散、关联复杂的数据,也为影像解译带来难题。针对这个问题,可采用目标对象与事件关联的方式,建立数据的关联模型。如,面向目标对象的多源异构数据组织与分析[-],把每个目标对象作为中心先建立起单一目标的数据关联,再通过事件、任务、地理区域位置等信息构建多个目标之间的关联关系。
遥感大数据涉及地物目标的多个方面,如何发现多源数据间的关联关系,如何通过数据分析来刻画多个方面之间的相互关系,是多源异构关联分析要解决的难题。这可以借鉴多核学习、多视角学习[]、图模型、非线性张量分析[]等数据分析方法,将其应用于遥感大数据分析,以期望解决多源数据的异构性与不确定性带来的数据组合方式的多样性问题。
遥感大数据地理可视化
大数据的可视化中存在视觉噪声、信息丢失、海量影像感知、高效的影像变化、高性能计算等问题[]。为了解决上述问题,需要将多种可视化方法结合,并研究新的可视化方法。例如,陈静等人[]根据几何绘制的方法,将2维矢量数据、多尺度地形和全球等经纬度离散网格集成,提出了面向虚拟地球的多尺度矢量数据结构和多尺度矢量数据分块构建与组织方法,实现网络环境下虚拟地球的多尺度矢量、影像和地形数据的集成可视化。中国科学院寒区旱区环境与工程研究所的科研人员[]对黑河流域e-Science生态——水文数据共享平台中的矢量数据、栅格数据、自动气象站观测数据、通量数据、普通文档数据和图片数据等,制作了相应的可视化处理模块,实现了多种类型单体数据的Web可视化和数据集的Web可视化。周平等人[]阐述了统计数据的时空特性,扩展了动态空间可视化的动态视觉参量,采用时间地图动画技术及关键帧插值动画技术来设计与构建动态统计图表,实现统计数据随时间变化动态特性的可视化表达。
遥感大数据不仅包括了地理空间,还包括了高维光谱与特征空间,如何通过虚拟现实的方式更为有效地实现多维对地观测数据可视化,如何增强用户的交互感与沉浸性,最终通过用户的参与和直观感受,深入理解遥感大数据中所蕴含的信息与知识,依然是值得深入研究的问题。
遥感大数据面临的问题
规模巨大的多源异构遥感大数据为数据的分析、处理、计算带来了极大的复杂性问题,主要包括数据复杂性、计算复杂性、系统复杂性等()。
遥感大数据面临的复杂性问题
Complex problems of remote sensing big data
复杂性含义
数据复杂性
语义复杂、数据不一致、数据不完整、数据内在关联复杂等
数据降维、数据清理;基于位置、事件、目标的关联分析
计算复杂性
多类不确定建模的复杂方法,目标特性之间复杂的内在联系,大规模数据下复杂的机器学习算法,大规模集群上复杂的编程模型、调度算法、负载均衡算法等高性能计算模型的复杂性等
多类不确定性建模;多源异构数据融合;大规模大数据机器学习;大规模大数据高性能计算模型;新型计算范式的开发应用
系统复杂性
像元级、特征级、决策级的复杂算法,面向不同应用的复杂数据处理流程,高性能系统复杂的综合优化等
系统需要具备高度可扩展性、高度定制性、高度的可伸缩性;具备综合优化的能力
遥感大数据的多类不确定性
各种遥感平台上的各类传感器获取的遥感数据,具有体量大、异构、被实时处理、不一致、质量不一致等特点,其更加容易受到成像系统偏差、噪声、不确定性、不精确、不完整性、非结构化等因素的影响,从而导致数据质量不高。这些内在的不确定性因素,会给大数据的表示、处理、分析带来许多极大的挑战[-]。尽管模糊理论、粗糙集理论、灰色系统理论、可能性理论、概率理论、证据理论等计算智能方法已经用于处理大数据的不确定性问题,提高了基于数据决策的质量;然而这些单一的理论基本都是处理大数据中的一种类型不确定性,无法同时处理大数据包含的多种类型不确定性信息。因此,面向遥感大数据的实际应用,还需要解决两个问题,一方面是如何将各种智能方法结合,建立混合智能系统,使得系统能够同时处理大数据的多类型不确定性;另一方面,如何基于新的理论模型(如随机集、软集等)对不同类型的不确定信息(模糊信息、基于规则的信息、证据、可能信息等)进行表示,进而在一个统一的理论框架下解决多类不确定的问题,这正是大数据发挥其价值的关键。
遥感大数据的信息深度融合
多源遥感数据反应了地物目标的多种特性,如红外传感器反应了目标的红外辐射特征、可见光传感器反应了目标的几何、纹理、形状等视觉特征、多/高光谱传感器反应了目标的光谱特征;另外,多个时相的遥感数据反应了目标随时间变化的特性,而多个分辨率的影像则反应了地物不同尺度下的特性。如何充分的利用遥感大数据提供的这些信息,是当前遥感应用研究的难点与热点[-]。要进行遥感大数据的信息深度融合,需要以地物目标的物理特性为基础,分析其在影像数据上的特征,发现多源数据之间内在规律性,为深度融合算法的设计提供坚实的基础和可靠的依据。在具体的研究中,可以重点关注两方面的问题:1)在目标识别中,如何建立混合融合模型,从而将像素级融合、特征集融合以及决策级融合的优缺点相结合,提高目标识别性能;2)在具体行业应用中,如何结合行业特有的模型(如作物生长模型、天气预报模型、水文模型等),选择和充分利用遥感大数据提供的有价值的信息,提高对复杂的地球表层系统的认知能力。
遥感大数据的机器学习
机器学习方法是进行数据分析的有力工具,通过从数据中学习并获取知识,使得计算机更智能化,辅助人类的决策。遥感大数据不仅提供了有关地物目标的超大规模的数据样本(包括标记的、未标记的样本),而且也提供了地物目标的超高维属性特征;同时,异构的多源数据之间的关系高度复杂。现有的基于小数据的机器学习算法,已经无法适用于遥感大数据环境下的应用问题[-]。为了快速地从大规模、高维度、高复杂度的遥感大数据中发现出具有高价值的知识,实现分类、识别、聚类等任务,需要更深刻的机器学习理论来指导遥感实际应用。新的机器学习方法,一方面需要具有复杂的分析能力;另一方面,还需要具有强大的数据分析计算能力。然而目前绝大多数的系统均不能同时满足这两个条件。因此,在设计具体的机器学习算法时,需要解决以下几个问题:1)针对机器学习算法复杂度本身而言,如何利用数学统计、优化方法对机器学习的参数优化步骤进行简化,使其变得相对简单,进而加快样本的训练速度;2)针对大量无标记样本,如何基于数据驱动的方式并结合人类认知机理,从大量数据中抽取由底层到高层,由具体到抽象,由一般到特定语义的特征集合,实现对纷繁复杂数据的有效分析;3)针对大规模数据集,如何基于数据分治策略、GPU并行机理、集群并行机制等,从任务级、数据级、算法级等不同层次实现机器学习算法的并行加速。
遥感大数据分析平台
现有遥感大数据处理平台能够提高单位时间内遥感数据的吞吐量,但是并不能将机器学习算法性能发挥到最优。针对遥感大数据内部组织结构多样、数据结构复杂、尺度不一致等特点,大数据分析平台需要能够高效地实现数据采样和特征选择、参数验证选择、多次算法迭代,领域知识融合等关键技术。同时,大数据分析平台应该具有可扩展性,以支持未来新的数据格式以及新的应用流程。而目前在遥感大数据处理算法与处理流程方面的研究还处于起步阶段,还没有形成大数据的标准处理流程。因此,构建遥感大数据分析平台关键要解决以下几个问题:1)如何在理解机器学习原理及自身特点,设计出机器学习算法性能最优、能耗最小的数据处理平台;2)如何从众多的遥感数据分析处理算法中抽象出统一编程和计算模型,进而形成大数据机器学习算法的核心构件,使得平台能够集成和支持未来更多的大数据处理算法,从而形成一个统一的遥感大数据机器学习平台;3)如何将各种异构计算资源(GPU、CPU、FPGA等)合理利用,并在高效数据访问存储系统、合理内存负载均衡策略、任务调度优化等体系结构优化的基础上,形成遥感大数据的高性能计算模式。
遥感大数据发展趋势
作为大数据的典型代表,遥感大数据已经在分布式集群化存储、面向数据密集型应用的高性能计算、多源异构数据关联分析、遥感大数据地理可视化等关键技术研究方面取得了一定的突破。然而,作为一个新的研究对象,遥感大数据研究才刚刚开始,还有许多问题有待进行深入研究:
1)遥感大数据的多类不确定性建模。遥感大数据复杂的非线性关系、复杂的尺度效应、数据的多类不确定性(模糊性、不完整性、粗糙性等)、复杂的高维特征,为揭示地物属性本质带来了挑战与机遇。需要深入研究这些复杂性特征,对非线性关系、多类不确定性、数据尺度效应、高维特性等进行建模,并基于复杂性模型改进现有数据挖掘方法或者探索新的分析方法,能够获得期望的空间数据挖掘和分析结果。
2)遥感大数据环境下的多源信息融合。数据融合是目前大数据应用和智能决策过程的瓶颈。为了有效的利用遥感大数据提供的多源异构数据,需要深入的研究异构数据的统一表达模型、关联分析模型、决策规则等,从而提高基于遥感数据决策的准确性。另外,结合遥感数据处理的层次性特点,可以进一步综合利用数据级、特征级以及决策级融合所提供的信息,通过人机交互及机器学习方法的结合,实现复杂条件下智能决策的水平。
3)面向遥感大数据的机器学习方法。基于地物目标的物理特性及其在影像上的图像特征的深入分析,并结合图论、粗糙集、模糊集、软集等数学方法,建立遥感大数据的特征选择模型;将人类视觉认知机理引入到特征之间非线性变换模型,实现从低层次图像特征到高层次语义特征的转换,从而建立基于视觉机制驱动的深度学习模型,实现准确的遥感影像解译;深入分析特征选择、深度学习等算法的特点,基于异构计算模式、从数据高性能存储访问、内存负载均衡、任务调度优化等方面,构建满足于大规模遥感数据处理的机器学习算法。
4)遥感大数据分析统一架构。由于机器学习中大多数算法都可以表示为矩阵或者向量运算,因此,可以基于矩阵计算模型设计统一的编程计算模型和接口,为用户提供统一化的大数据学习和分析算法建模与表示方法,其他的机器学习算法均可在此模型与接口上进行扩展的矩阵计算模型;进一步,在GPU/CPU异构平台上将该矩阵模型接口并行化加速,为遥感大数据分析提供强大的计算资源;最后,在此基础上实现其他遥感大数据机器学习算法的扩展。
5)基于知识驱动的遥感大数据挖掘。大数据知识的挖掘,牵涉到多个学科知识的应用。从大量对地观测数据中挖掘出更多有用信息的方法就是发展基于内容影像检索(CBIR)等新概念、新技术以及新系统。CBIR搜索引擎可以分为3类主要趋势:通过样例查询(QE)、相关性反馈(RF)、主动学习(AL)。基于知识驱动的信息挖掘系统(KIM)是主动学习的典型实例。Alonso等人[]提出了一种基于GIS知识的KIM系统,其通过词袋(BoW)的方式融合来自影像分析与相关GIS矢量分析的特征,能够使用户通过给定的语义概念进行相关影像的检索,这不同于以前的仅仅将语义概念作为算法的一个参数来改善检索结果。
Hu H, Wen Y G, Chua T S, et al.
Toward scalable systems for big data analytics: a technology Tutorial[J].
IEEE Access
: 652–687.
Kantere V. A holistic framework for big scientific data management[C]//Proceedings of IEEE International Congress on Big Data. Anchorage, Alaska: IEEE, 6.[]
Rysavy S J, Bromley D, Daggett V.
DIVE: a graph-based visual-analytics framework for big data[J].
IEEE Computer Graphics and Applications
, 2014, 34
Office of Science and Technology Policy. Fact sheet: big data across the Federal Government[R]. .
CrichtonD, Hughes J S, Hardman S, et al. A scalable planetary science information architecture for big Science data[C]//Proceedings of the 2014 IEEE 10th International Conference on e-Science (e-Science). S?o Paulo, Brazil: IEEE, 3.[]
Mehrotra P, Harper Pryor L, Bailey F R, et al. Supporting "Big Data" analysis and analytics at the NASA advanced supercomputing (NAS) facility[R]. NAS Technical Report: NAS-14.
Saini S, Heistand S, Jin H Q, et al. An application-based performance evaluation of NASA's nebula cloud computing platform[C]//Proceedings of IEEE 14th International Conference on High Performance Computing and Communication. Liverpool: IEEE, 3.[]
Aydin G, Hallac I R, Karakus B.
Architecture and implementation of a scalable sensor data storage and analysis system using cloud computing and big data technologies[J].
Journal of Sensors
: #834217.
Li D R, Zhang L P, Xia G S.
Automatic analysis and mining of remote sensing big data[J].
Acta Geodaetica et Cartographica Sinica
, 2014, 43
李德仁, 张良培, 夏桂松.
遥感大数据自动分析与数据挖掘[J].
, 2014, 43
Zhou Y N, Zhao W, Fan Y N.
Real-time rendering and interactive visualization of remote sensing big data[J].
Journal of Geo-Information Science
, 2016, 18
: 664–672.
周亚男, 赵威, 范亚男.
遥感大数据实时渲染与交互可视化研究[J].
地球信息科学学报
, 2016, 18
: 664–672.
Hu X D, Zhang X, Qu J S.
Resource storage and management method of massive remote sensing data supported by the big data architecture[J].
Journal of Geo-information Science
, 2016, 18
: 681–689.
胡晓东, 张新, 屈靖生.
大数据架构的遥感资源存储管理方法[J].
地球信息科学学报
, 2016, 18
: 681–689.
Towards geo-spatial information science in big data era[J].
Acta Geodaetica et Cartographica Sinica
, 2016, 45
: 379–384.
展望大数据时代的地球空间信息学[J].
, 2016, 45
: 379–384.
Li Z J, Li X J, Liu T, et al.
Remote sensing cloud computing: current research and prospect[J].
Journal of Equipment Academy
, 2015, 26
: 95–100.
李振举, 李学军, 刘涛, 等.
遥感云计算:研究现状与展望[J].
装备学院学报
, 2015, 26
: 95–100.
Guo H D, Wang L Z, Chen F, et al.
Scientific big data and digital earth[J].
Chinese Science Bulletin
, 2014, 59
郭华东, 王力哲, 陈方, 等.
科学大数据与数字地球[J].
, 2014, 59
Song W J, Liu P, Wang L Z, et al.
Intelligent processing of remote sensing big data: status and challenges[J].
Journal of Engineering Studies
: 259–265.
宋维静, 刘鹏, 王力哲, 等.
遥感大数据的智能处理:现状与挑战[J].
工程研究-跨学科视野中的工程
: 259–265.
Ma Y, Wu H P, Wang L Z, et al.
Remote sensing big data computing: challenges and opportunities[J].
Future Generation Computer Systems
, 2015, 51
Hao C, Zhang J H, Yao F M.
Combination of multi-sensor remote sensing data for drought monitoring over Southwest China[J].
International Journal of Applied Earth Observation and Geoinformation
, 2015, 35
: 270–283.
Ma Y, Wang L Z, Liu P, et al.
Towards building a data-intensive index for big data computing-a case study of remote sensing data processing[J].
Information Sciences
: 171–188.
Huyck C, Verrucci E, Bevington J. Remote sensing for disaster response: a rapid, image-based perspective[M]//Shroder J, Wyss M. Earthquake Hazard, Risk and Disasters. London: Elsevier, .[]
Xiao H, Qiu T C, Zhou P. Integration of heterogeneous agriculture information system based on interoperation of domain ontology[C]//Proceedings of the Second International Conference on Agro-Geoinformatics. Fairfax, VA: IEEE, 0.[]
Wu X D, Zhu X Q, Wu G Q, et al.
Data mining with big data[J].
IEEE Transactions on Knowledge and Data Engineering
, 2014, 26
: 97–107.
Slavakis K, Giannakis G B, Mateos G.
Modeling and optimization for big data analytics: (statistical) learning tools for our era of data deluge[J].
IEEE Signal Processing Magazine
, 2014, 31
Zhang L F, Zhang L P, Tao D C, et al.
A modified stochastic neighbor embedding for multi-feature dimension reduction of remote sensing images[J].
ISPRS Journal of Photogrammetry and Remote Sensing
, 2013, 83
Liu C C, Chen Y Y, Chen C W.
Application of multi-scale remote sensing imagery to detection and hazard analysis[J].
Natural Hazards
, 2013, 65
Chandola V, Vatsavai R R, Kumar D, et al. Analyzing big spatial and big spatiotemporal data: a case study of methods and applications[M]//Handbook of Statistics: Big Data Analytics. Amsterdam: Elsevier, 9-258.[]
Hamm N A S, Atkinson P M, Milton E J.
A per-pixel, non-stationary mixed model for empirical line atmospheric correction in remote sensing[J].
Remote Sensing of Environment
: 666–678.
Philip C L, Zhang C Y.
Data-intensive applications, challenges, techniques and technologies: a survey on big data[J].
Information Sciences
: 314–347.
Cheng X Q, Jin X L, Wang Y Z, et al.
Survey on big data system and analytic technology[J].
Journal of Software
, 2014, 25
程学旗, 靳小龙, 王元卓, 等.
大数据系统和分析技术综述[J].
, 2014, 25
Lei Z, Wang M, Li D R, et al.
Stream model-based orthorectification in a GPU cluster environment[J].
IEEE Geoscience and Remote Sensing Letters
, 2014, 11
Shen Z F, Luo J C, Huang G Y, et al.
Distributed computing model for processing remotely sensed images based on grid computing[J].
Information Sciences
: 504–518.
Bauer-Marschallinger B, Sabel D, Wagner W.
Optimisation of global grids for high-resolution remote sensing data[J].
Computers & Geosciences
, 2014, 72
Wang P Y, Wang J Q, Chen Y, et al.
Rapid processing of remote sensing images based on cloud computing[J].
Future Generation Computer Systems
, 2013, 29
Rings T, Grabowski J. Pragmatic integration of cloud and grid computing infrastructures[C]//Proceedings of the 2012 IEEE 5th International Conference on Cloud Computing. Honolulu, Hawaii, USA: IEEE, 7.[]
Jeannot E, ?ilinskas J.
High-performance Computing on Complex Environments[M].
Ren F H, Wang J N.
Turning remote sensing to cloud services: technical research and experiment[J].
Journal of Remote Sensing
, 2012, 16
任伏虎, 王晋年.
遥感云服务平台技术研究与实验[J].
, 2012, 16
Li Z Y, Wu B F, René G, et al.
Design framework for CropWatch cloud[J].
Journal of Remote Sensing
, 2015, 19
: 579–585.
李中元, 吴炳方, RenéG, 等.
农情遥感监测云服务平台建设框架[J].
, 2015, 19
: 579–585.
Huang F H. Research on hyperspectral imagery classification based on parallel support vector machine in cloud environment[D]. Fuzhou: Fujian Normal University, 2014.
[黄风华.云环境下基于并行支持向量机的高光谱影像分类研究[D].福州:福建师范大学, 2014.]
Luo Y H. The application of high performance computing in hyperspectral remote sensing data[D]. Chengdu: Chengdu University of Technology, 2013.
[罗耀华.高性能计算在高光谱遥感数据处理中的应用研究[D].成都:成都理工大学, 2013.]
Wang Q. The research on key technology of aviation remote sensing images cooperative storage and processing under heterogeneous environment[D]. Wuhan: Wuhan University, 2011.
[王强.异构环境下的航空遥感影像协同存储及处理关键技术研究[D].武汉:武汉大学, 2011.]
Yang H P, Shen Z F, Luo J C, et al.
Recent developments in high performance geoComputation for massive remote sensing data[J].
Journal of Geo-information Science
, 2013, 15
: 128–136.
杨海平, 沈占锋, 骆剑承, 等.
海量遥感数据的高性能地学计算应用与发展分析[J].
地球信息科学学报
, 2013, 15
: 128–136.
Tang Y Y, Zhou H F, Fang M Q, et al.
Hyperspectral remote sensing image data processing research and realization based on CPU/GPU heterogeneous model[J].
Computer Science
, 2016, 43
汤媛媛, 周海芳, 方民权, 等.
基于CPU/GPU异构模式的高光谱遥感影像数据处理研究与实现[J].
计算机科学
, 2016, 43
Wu W. Study of multi-level parallel remote sensing computing method in heterogeneous environment[D]. Beijing: University of Chinese Academy of Sciences, 2013.
[吴炜.异构环境下的遥感多层次并行计算方法研究[D].北京:中国科学院大学, 2013.]
Mi C C, Liu Y.
DOM production by using high-resolution satelite images based on GXL system[J].
Standardization of Surveying and Mapping
, 2014, 30
米超川, 刘英.
基于GXL系统利用高分辨率卫星影像制作正射影像[J].
Galloy M D, Fillmore D W, Rood J. Accelerated IDL using OpenCL[C]//AGU Fall Meeting Abstracts. San Francisco: American Geophysical Union, 2013.
van der Werff H M A, Bakker W H.
Implementation and performance of a general purpose graphics processing unit in hyperspectral image analysis[J].
International Journal of Applied Earth Observation and Geoinformation
, 2014, 26
: 312–321.
Dai C G, Yang J Y. Research on orthorectification of remote sensing images using GPU-CPU cooperative processing[C]//2011 International Symposium on Image and Data Fusion. Tengchong, Yunnan: IEEE, .[]
Ma Y, Chen L J, Liu P, et al.
Parallel programing templates for remote sensing image processing on GPU architectures: design and implementation[J].
, 2016, 98
WangW H, Chen J C, Gu G M, et al. Design and implementation of cluster-based platform for remote sensing information computation[C]//Proceedings of 2011 International Conference on Computer Science and Network Technology. Harbin, China: IEEE, -2125.[]
Yang C T, Huang C L, Lin C F.
Hybrid CUDA, OpenMP, and MPI parallel programming on multicore GPU clusters[J].
Computer Physics Communications
: 266–269.
Fang L Y, Wang M, Li D R, et al.
MOC-based parallel preprocessing of ZY-3 satellite images[J].
IEEE Geoscience and Remote Sensing Letters
, 2015, 12
: 419–423.
Yang J Y. Study on parallel processing technologies of photogrammetry data based on GPU[D]. Zhengzhou: PLA Information Engineering University, 2011.
[杨靖宇.摄影测量数据GPU并行处理若干关键技术研究[D].郑州:解放军信息工程大学, 2011.]
Xue Y, Ai J W, Wan W, et al.
Grid-enabled high-performance quantitative aerosol retrieval from remotely sensed data[J].
Computers & Geosciences
, 2011, 37
: 202–206.
Gorgan D, Stefanut T, Bacu V. Grid based training environment for earth observation[C]//Proceedings of the 4th International Conference on Advances in Grid and Pervasive Computing. Berlin Heidelberg: Springer, .[
Hassan M I, Abdullah A. A semantic service discovery framework for inter grid[C]//Proceedings of the Second International Conference on Software Engineering and Computer Systems. Berlin Heidelberg: Springer, 2.[]
Kussul N N, Shelestov A Y, Skakun S V, et al.
The wide area grid test bed for flood monitoring using earth observation data[J].
IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing
Sénica N, Teixeira C, Pinto J S. Cloud computing: a platform of services for services[C]//Proceedings of International Conference on ENTERprise Information Systems. Berlin Heidelberg: Springer, .[DOI: 10.-642-]
Yang C W, Goodchild M, Huang Q Y, et al.
Spatial cloud computing: how can the geospatial sciences use and help shape cloud computing[J].
International Journal of Digital Earth
: 305–329.
Lin F C, Chung LK, Ku W Y, et al. The Framework of cloud computing platform for massive remote sensing images[C]//Proceedings of the IEEE 27th International Conference on Advanced Information Networking and Applications. Barcelona: IEEE, 8.[DOI: 10.1109/AINA.2013.94]
Al-Gabli S, Hegazy O.
Coastline change detection on Tehama city using remote sensing and cloud computing[J].
Honda K, Shrestha A, Witayangkurn A, et al.
Field servers and sensor service grid as real-time monitoring infrastructure for ubiquitous sensor networks[J].
Kang J F. Technologies of storage and efficient management on cloud computing for high resolution remote sensing image[D]. Hangzhou: Zhejiang University, 2011.
[康俊锋.云计算环境下高分辨率遥感影像存储与高效管理技术研究[D].杭州:浙江大学, 2011.]
Huo X G. The research to massive terrain data processing method based on cloud computing[D]. Beijing: China University of Geosciences (Beijing), 2013.
[霍旭光.基于云计算的大规模地形数据处理方法的研究[D].北京:中国地质大学(北京), 2013.]
Li C L. The research and realization of remote sensing business process prototype based on cloud platform[D]. Beijing: China University of Geosciences (Beijing), 2013.
[李春雷.基于云平台的遥感业务流程研究及原型实现[D].北京:中国地质大学(北京), 2013.]
Li R Y. A RAM-Drive cloud-based strategy for the high-resolution remote sensing data storage and computation integration[D]. Hangzhou: Zhejiang University, 2014.
[李荣亚.双态云支持下高分辨率遥感存储与计算一体化研究[D].杭州:浙江大学, 2014.]
Sun W. Study on cloud computing service system of forestry resource information[D]. Beijing: Chinese Academy of Forestry, 2012.
[孙伟.林业资源信息云计算服务体系研究[D].北京:中国林业科学研究院, 2012.]
Li Z J, Li X J, Liu T, et al.
Remote sensing cloud computing: current research and prospect[J].
Journal of Equipment Academy
, 2015, 26
: 96–100.
李振举, 李学军, 刘涛, 等.
遥感云计算:研究现状与展望[J].
装备学院学报
, 2015, 26
: 96–100.
Papuzzo G, Spezzano G. Autonomic management of workflows on hybrid Grid-Cloud infrastructure[C]//Proceedings of the 7th International Conference on Network and Service Management. Paris: IEEE, .
Zeng Z. Research on resource and service provisioning with high efficiently for massive HRRS image under Gloud environment[D]. Hangzhou: Zhejiang University, 2012.
[曾志.云格环境下海量高分遥感影像资源与服务高效调配研究[D].杭州:浙江大学, 2012.]
Seinstra F J, Maassen J, van Nieuwpoort R V, et al. Jungle computing: distributed supercomputing beyond clusters, grids, and clouds[M]//Cafaro M, Aloisio G. Grids, Clouds and Virtualization. London: Springer, 7.[]
Maassen M, Drost N, Bal H E, et al. Towards jungle computing with Ibis/Constellation[C]//Proceedings of the 2011 Workshop on Dynamic Distributed Data-Intensive Applications, Programming Abstractions, and Systems. New York, USA: ACM, .[]
van Kessel T, Drost N, Maassen J, et al. Toward a high-performance distributed CBIR system for hyperspectral remote sensing data: a case study in jungle computing[M]//Jeannot E, ?inskas J. High-Performance Computing on Complex Environments. London: John Wiley & Sons, 8.
Xia Y, Yang X L. Remote Sensing Image Data storage and search method based on pyramid model in cloud[C]//Proceedings of the 7th International Conference on Rough Sets and Knowledge Technology. Berlin Heidelberg: Springer, 5.[]
Chen C C, Lin J F, Wu X Z, et al.
Massive geo-spatial data cloud storage and services based on NoSQL database technique[J].
Journal of Geo-Information Science
, 2013, 15
: 166–174.
陈崇成, 林剑峰, 吴小竹, 等.
基于NoSQL的海量空间数据云存储与服务方法[J].
地球信息科学学报
, 2013, 15
: 166–174.
Boehm J, Liu K.
NoSQL for storage and retrieval of large LIDAR data collections[J].
International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences
, 2015, XL-3/W3
: 577–582.
Frye R, McKenney M. Big data storage techniques for spatial databases: implications of big data architecture on spatial query processing[M]//Pedrycz W, Chen S M. Information Granularity, Big Data, and Computational Intelligence: Studies in Big Data. Switzerland: Springer, 3.[]
Wu C, Quan J C, Yuan Y W, et al. Research on quickly search in massive remote sensing images based on HBase[C]//Proceedings of the 3rd International Conference on Computer Science and Service System. Bangkok, Thailand: Atlantis Press, 2.[]
Huo S M. Research on the Key Techniques of massive image data management based on Hadoop[D]. Changsha: National University of Defense Technology, 2010.
LiuJ L, Zhuang Y, Chen Y.
Hierarchical collective I/O scheduling for high-performance computing[J].
Big Data Research
: 117–126.
Xu R G, Araya-Polo M, Chapman B. Filesystem aware scalable I/O framework for data-intensive parallel applications[C]//Proceedings of the 2013 IEEE 27th International on Parallel and Distributed Processing Workshops & PhD Forum. Cambridge, MA: IEEE, -2014.[]
Gorodov E Y, Gubarev V V.
Analytical review of data visualization methods in application to big data[J].
Journal of Electrical and Computer Engineering
: #969458.
Teodoro G, Pan T, Kurc T M, et al. High-throughput analysis of large microscopy image datasets on CPU-GPU cluster platforms[C]//IEEE 27th International Symposium on Parallel & Distributed Processing (IPDPS). Boston, MA: IEEE, 4.[]
Shi Y, Zhan M, Yin L, et al.
Research on associated orgabization and analysis of target-oriented multi-source heterogeneous data[J].
Bulletin of Surveying and Mapping
: 102–104.
石宇, 詹明, 尹璐, 等.
面向对象的多源异构数据关联组织与分析[J].
: 102–104.
Hu D M, Li S Y.
Design and study of object-oriented distributed heterogeneous transportation information platform[J].
Journal of University of Shanghai for Science and Technology
, 2008, 30
: 497–500.
胡德敏, 李抒娅.
面向对象的分布式异构交通信息平台的设计研究[J].
上海理工大学学报
, 2008, 30
: 497–500.
Liu J M. The research on methods and application of multi-source remote sensing imagery fusion[J]. Qingdao: Ocean University Of China, 2014.
[刘金梅.多源遥感影像融合及其应用研究[D].青岛:中国海洋大学, 2014.]
Hu Y, Luo W, Yu Z Y, et al.
Multi-mode tensor expression model of multidimensional spatio-temporal field data[J].
Geomatics and Information Science of Wuhan University
, 2015, 40
: 977–982.
胡勇, 罗文, 俞肇元, 等.
多维时空场数据的多模式张量表达模型[J].
武汉大学学报:信息科学版
, 2015, 40
: 977–982.
Chen J, Liu T T, Hou X B.
Virtual globe-oriented visualization method of multi-scale vector data[J].
Geomatics and Information Science of Wuhan University
, 2015, 40
陈静, 刘婷婷, 侯小波.
面向虚拟地球的多尺度矢量数据可视化方法[J].
武汉大学学报:信息科学版
, 2015, 40
Liu P, Guo J W, Fu W P, et al.
Application of web-based science data visualization in data sharing[J].
Remote Sensing Technology and Application
, 2011, 26
: 836–844.
刘鹏, 郭建文, 付卫平, 等.
基于Web的科学数据可视化在数据共享中的应用[J].
Zhou P, Tang X M, Zhang G.
Application of multi-temporal statistical data dynamic spatial visualization methods[J].
Geomatics and Information Science of Wuhan University
, 2012, 37
周平, 唐新明, 张过.
多时相统计数据空间动态可视化模型研究[J].
Li S N, Dragicevic S, Antón Castro F, et al.
Geospatial big data handling theory and methods: a review and research challenges[J].
ISPRS Journal of Photogrammetry and Remote Sensing
: 119–133.
Moore T S, Campbell J W, Feng H.
Characterizing the uncertainties in spectral remote sensing reflectance for SeaWiFS and MODIS-Aqua based on global in situ matchup data sets[J].
Remote Sensing of Environment
Wang L G. Study on growth monitoring based on fusing multi-source remote sensing information in Wheat[D]. Nanjing: Nanjing Agricultural University, 2012.
[王来刚.基于多源遥感信息融合的小麦生长监测研究[D].南京:南京农业大学, 2012.]
Wu D Y, Lu H Z, Qiu C Z, et al. A feature level fusion target recognition algorithm based on dynamic fuzzy integral[C]//Proceedings of the 201412th International Conference on Signal Processing. Hangzhou, China: IEEE, -1371.[]
Yu F, Li H T, Zhang C M, et al.
Data assimilation on soil moisture content based on multi-source remote sensing and hydrologic model[J].
Journal of Infrared and Millimeter Waves
, 2014, 33
: 602–607.
余凡, 李海涛, 张承明, 等.
多源遥感数据与水文过程模型的土壤水分同化方法研究[J].
红外与毫米波学报
, 2014, 33
: 602–607.
Wu M Q, Niu Z, Wang C Y.
Assessing the accuracy of spatial and temporal image fusion model of complex area in south china[J].
Journal of Geo-Information Science
, 2014, 16
: 776–783.
邬明权, 牛铮, 王长耀.
多源遥感数据时空融合模型应用分析[J].
地球信息科学学报
, 2014, 16
: 776–783.
Leuenberger L, Kanevski M.
Extreme learning machines for spatial environmental data[J].
Computers & Geosciences
, 2015, 83
Al-Jarrah O Y, Yoo P D, Muhaidat S, et al.
Efficient machine learning for big data: a review[J].
Big Data Research
Lary D J, Alavi A H, Gandomi A H, et al.
Machine learning in geosciences and remote sensing[J].
Geoscience Frontiers
Yu B, Li S Z, Xu S X, et al.
Deep Learning: a key of stepping into the era of big data[J].
Journal of Engineering Studies
: 233–243.
余滨, 李绍滋, 徐素霞, 等.
深度学习:开启大数据时代的钥匙[J].
工程研究-跨学科视野中的工程
: 233–243.
Lv Q, Dou Y, Niu X, et al.
Remote sensing image classification based on DBN model[J].
Journal of Computer Research and Development
, 2014, 51
吕启, 窦勇, 牛新, 等.
基于DBN模型的遥感图像分类[J].
计算机研究与发展
, 2014, 51
Alonso K, Datcu M. Knowledge-driven image mining system for big earth observation data fusion: GIS maps inclusion in active learning stage[C]//The 2014 IEEE International Geoscience and Remote Sensing Symposium. Québec, Canada: IEEE, -3541.[]
10.11834/jig.
河南财经政法大学数学与信息科学学院,郑州 450000
华中科技大学软件学院,武汉 430074
武汉理工大学理学院统计系,武汉 430000
武汉大学测绘遥感信息工程国家重点实验室,武汉 430072
武汉科技大学城市学院实验实训中心,武汉 430083
武汉大学测绘遥感信息工程国家重点实验室,武汉 430072