作者从大数据特征分析入手,分析了国内外大数据在环境领域的发展状况...在文章中阐明我国土壤环境大数据发展的数据基础与瓶颈问题是什么?提出了土壤环境大数据系统的构建方法与技术流程...

并根据国家大数据发展战略与土壤环境领域的行业需求，建议统筹建立土壤环境大数据云平台、管理平台和专题应用平台,提供面向区域尺度土壤环境管理、多主体跨介质协同治理和农产品安全保障的公共服务与创新应用产品。

1大数据

1.1大数据特点

大数据就是巨量的数据集合,是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量数据规模、快速数据流转、多样数据类型等特征,需要更强决策力、洞察发现力和流程优化能力的新处理模式才能适应的信息资产。

大数据由于数据规模巨大,相比传统数据,有两个明显的特征:

(1)数据属性多样,包括结构化、半结构化和非结构化数据。大数据不仅包括数字,还包括文本、图片、音频、视频等多种格式,涵括内容十分丰富,可挖掘属性强,更具潜在应用价值。

(2)数据交互频繁,大规模的数据分析与实时数据挖掘并行。在数据分析中,对于结构化数据,可以遵循一定现有规律,而大数据中半结构化和非结构化数据的分析所遵循的规律是未知的,只能通过综合模拟-假设应答的方式,计算各种可能性的可信度。

大数据的采集主要有三种形式:

(1)采集公众信息,进行个性化分析;

(2)采集传感器数据,进行专业性预测分析;

(3)采集整理综合数据,进行相关性对比分析。

大数据技术领域主要包含数据管理、计算处理和数据分析,其中数据分析是大数据的核心。数据分析经过了若干历史阶段:

第一阶段是朴素的数据分析,如占卜、农耕推算等;

第二阶段是基于数学科学的数据分析,即采用概率论与统计学等相关数学科学方法,应用计算机技术进行分析;

第三阶段是信息技术革命后,对数据进行结构化、数字化处理,开展了基于计算机和数学等技术的集成性分析;

第四阶段,即目前的大数据分析,融合了互联网、自动化、计算机、数学科学等技术的融合性数据分析。

由此可见,大数据技术中的数据分析是广义概念,不仅包括狭义的数据分析,而且包括巨量数据的深度挖掘。

1.2大数据应用

大数据目前已经渗透到现代社会的方方面面(表1)。在商业销售领域,各国电商通过公众信息采集,掌握客户网络消费行为与消费特征,进行商品定制生产与精准营销;在智能生产领域,欧美国家已经将实时监测网络做到了终端,利用监测跟踪系统的高频数据,通过积累大量的先验数据,预测用户决策和市场需求,适时调整生产计划;在智慧管理领域,以云 3D GIS 三维地理空间信息引擎及云数据中心为支撑,将各种数据、图表进行分类收集、整理,再经过汇总、分析,并通过发布、反馈、修正等环节,开展跨平台、跨网络、跨终端管理,实现从传统模式向现代管理方式的转变。

总之,大数据是信息产业发展到一定阶段的产物,主要来源于公众参与后的投影数据、传感器采集的在线数据和收集整理的多元化综合性数据。