，并依图例分图层。用大数据技术并行实时处理地质图件、附图、插图及表格。3.2地质大数据分析针对海量地质数据排序、查询等分布式计算问题，对地质大数据采取并行计算技术，包括离线并行计算技术、分布式资源管理技术、内存计算技术等，将整个任务分成若干子任务，在保证计算过程中足够的中间数据容错的基础上，由不同的节点完成，并整合子任务产生的中间结果，生成整个任务的最终查询结果，实现海量地质数据的分布式高性能计算和自动并行化。包括面向数据流滑动窗口的概率维度索引、基于Hadoop的Mahout挖掘模块[10-12]，HiveQL、Pig Latin等大数据挖掘查询语言等。3.3基于云计算的地质大数据挖掘基于Hadoop的地质大数据挖掘分为数据源、大数据挖掘平台、用户层3层。在大数据挖掘平台，利用Sqoop、Flume或Avro等流式计算工具实时的将附图、附表、附件单独存储，主文件按章节存储在HBase中，并对HBase中的存储内容建立索引至分布式内存对象缓存系统Memcached或Redis中，这样大大减少了读写数据库的次数，提高了效率。利用地质领域本体库和全文搜索框架Lucence分词处理地质文档，利用数据挖掘库Mahout实现数据挖掘(图1)。4 地质大数据可视化大数据可视化是人们理解半结构化、非结构化问题的关系和模型的最佳手段，因此，我们总用图件表达地质矿产研究以及勘查成果。地质大数据可视化技术在工程地质勘查、矿产资源勘查、矿山设计开发、地质灾害勘查治理、水利水电工程设计以及国防工程建设领域有广泛的应用前景。地质大数据可视化的关键技术包括合理的数据结构、地质大数据的存储和快速调度、数字化快速建摸技术、数字地质体的快速动态更新技术、快速自由矢量剪切技术、快速动态建模技术以及多样化空间分析技术。地质三维建模是一种较好的可视化方式，从高维的、不确定的、多源异构的地质数据中抽取有效特征，实现地质体、地质过程的建模，挖掘地质大数据中潜在的地质规律及异常等知识，指导地质找矿、支持政府决策等，其本质也是知识发现[13]。复杂地质结构表达、地质体快速动态建模方法仍是未来地质大数据可视化的研究重点，进一步研究知识驱动以及本体论，将是解决这些问题的有效办法。5 地质大数据处理流程地质学与地球科学面临的问题息息相关，长期积累的各类地质数据以及互联网所能收集的大量数字国土资源相关数据(包括传统意义上认为不是“数据”的信息数据)，构成了地质大数据的总体。地质大数据的发现、梳理、平台、分析和服务是本研究领域的主要内容。通过数据发现模块，定位及更新局域网数据，将局域网数据初步转变为异构数据。数据梳理模块对局域网地质数据设计索引数据结构，并建立索引数据库，同时根据文件传输协议设计并实现文件传输。数据挖掘模块在CRISP-DM理论指导下，进行数据检索和信息综合。综合处理数据挖掘模块所得的信息，为各种应用需求提供社会化服务以及数据更新存储，进而完成知识服务(图2)。图1 基于Hadoop平台融合多功能的大数据挖掘Fig.1 Multi-functional big data mining based on Hadoop platform图2 地质大数据梳理模式流程图Fig.2 Flow chart of geological big data carding model6 结 论1) 基于云计算的地质大数据挖掘将极大地改变以“图”形式为主的服务模式，使大量有价值却难以被利用的多样化、碎片化的复杂地质调查非结构化数据被激活，信息变得多元而丰富[14]。2) 快速搜索技术是内容搜索以及知识发现领域研究的热点。如何根据野外地质人员提出的问题快速返回相关的知识片段，并依兴趣相关度高效排序，由聚类分析算法找出相关推荐文档及时指导野外工作，即智能分析挖掘，这将是一个热点。3) 大数据挖掘适合实时处理或流处理海量的各种结构、半结构、非结构数据，较注重处理速度而非数据处理的精确度，数据处理质量欠佳，能很好的扩展、伸缩，并有容错机制。但基于云计算的大数据挖掘在可视化与自动融合挖掘以及创建便于用户认知的自动交互界面等方面仍面临挑战。参考文献[1] BARBIERATO E,GRIBAUDO M,IACONO M.Performance evaluation of NoSQL big-data applications using multi-formalism models[J].Future Generation Computer Systems,2014,37(7):345-353.[2] 高明,金澈清,王晓玲,等.数据世系管理技术研究综述[J].计算机学报,2010,33(3):373-389.GAO Ming,JIN Cheqing,WANG Xiaoling,et al.A sur

文章来源：《地质科技通报》 网址: http://www.dzkjqbzz.cn/qikandaodu/2020/0909/338.html

上一篇：高校地质类专业“矿物岩石学”课程教学内容改
下一篇：航空科技情报研究与服务创新