查找:                      转第 显示法宝之窗 隐藏相关资料 下载下载 收藏收藏 打印打印 转发转发 小字 小字 大字 大字
【期刊名称】 《江西警察学院学报》
分布式大数据建模研究
【作者】 涂敏汪东平余振伟
【作者单位】 江西警察学院江西省公安厅江西省公安厅
【分类】 刑事侦察学【中文关键词】 云计算;大数据;建模;挖掘
【文章编码】 2095-2031(2019)01-0019-05【文献标识码】 A
【期刊年份】 2019年【期号】 1
【页码】 19
【摘要】

在主流云计算和大数据基础环境下,更好地构建从资源汇聚到分析挖掘的模型,将分布式大数据分析建模,可为公安各类情报研判、信息布控、关系人分析、智能决策等实战分析挖掘应用需求提供高可靠、高安全、高效率的分析服务。

【全文】法宝引证码CLI.A.1253159    
  在信息时代,人们的各类活动都将留下大量信息痕迹,产生大量信息资源。如何从海量多样信息资源中快速有效地挖掘出潜在的、有价值的数据,为各类分析、管控、服务、决策提供帮助,是当前阶段提高政府能力的最有效方式。云计算和大数据技术已经日趋成熟,足以支撑对海量数据的存储和分析挖掘处理,云与应用、数据与应用、云与云之间的高效、高兼容的数据治理是大数据项目关键核心。
  目前在跨域安全交换领域进行海量、异构信息资源的安全采集、汇聚、管理关键技术在全国范围内还处于起步阶段,物理隔离的交换平台直接与数据库服务器交换并不能很好应对海量数据处理和高并发,国外一些项目已经引入了数据引擎作为中间件,国内还没有成熟案例;在分布式大数据服务总线方面,国外ESB服务总线已经作为主流技术,目前的ESB项目如Mule都一定程度加入了负载均衡,但国内此类技术研究较少;{1}在大数据分析挖掘技术方面,分布式处理技术与传统分析挖掘模型相结合是比较前沿的整合方式,在国内大的互联网项目上比较成熟,公安行业还很少见,当前常用的底层技术有相对成熟的MapReduce, Spark,对于实时性支持度更高的Storm在国内使用的还比较少。
  基于主流云计算和大数据平台,研究适应当前公安数据挖掘复杂性需求,具备跨网络、跨云平台能力的分布式大数据分析建模,为公安情报研判、信息布控、关系人分析、智能决策等实战需求提供分布式大数据分析挖掘服务支撑,为新时期公安工作的应用和应对各种风险、挑战提供全新的方法和手段,对公安信息应用具有非常重要的意义。我们将基于云计算和大数据技术体系,采用“数据+模型+服务”的分布式大数据服务总线架构,进行分布式大数据分析建模研究。
  一、总体方案设计
  总体设计思想是以主流云计算和大数据基础设施为基础,{2}构建支持主流云和大数据平台的高效率、高安全、高可靠的分布式大数据分析建模平台,帮助各警种用户在海量数据中快速计算挖掘出所需信息,满足实战应用需求。分布式大数据分析建模架构体系分为:服务资源层、数据资源层、数据标准体系以及安全保障体系。
  (一)数据资源层
  服务资源层包括通用分析挖掘服务接口、可视化分析挖掘建模、分析挖掘服务管理、分布式大数据服务总线以及分布式资源调度中心五大功能。
  通用分析挖掘服务接口包括数据查询服务、数据比对服务、数据统计服务和数据下载服务。{3}分析挖掘服务管理包括服务授权、服务注册、服务发布、服务统计、服务监控。可视化分析挖掘建模包括可视化IDE、模型开发、挖掘模型库、模型解析、资源管理以及结果反馈功能。分布式大数据服务总线包括服务注册中心、服务组件框架、模块集成框架、web服务模块、消息服务模块。{4}
  数据层是以云计算资源和大数据资源为核心,面向数据资源应用与服务、数据资源标准化与管理,提供基础技术保障。以开发、先进、成熟、兼容性良好为原则,实现数据存储与组织、数据处理与分析、数据应用与服务的建设目标。
  根据挖掘大数据资源建库要求,实现数据资源的整合和标准化处理,对挖掘所需的大数据资源进行规划,对数据资源进行时空要素的分解和关联处理,建立基于地理和时间要素的事件基础库,运用大数据技术,以事件流方式对所选择时空范围的相关人员、车辆、轨迹等数据进行快速定位,并且展现数据实体从产生到结束的完整生命周期轨迹。
  通过对数据资源的采集整合,依托于云计算平台的大数据存储,对挖掘所需的资源数据进行深化规划和管理,同时深化整个数据资源管理。
  (二)服务资源层
  数据资源层包括挖掘数据资源中心、数据资源管理、大数据资源整合系统三大组成部分。北大法宝,版权所有
  挖掘数据资源中心包括基础库、热点库、离线库、专题库以及大数据存储,大数据存储支持分布式关系数据库、分布式MPP数据库、分布式文件存储、传统关系型数据库以及分布式索引库。{3}数据资源管理主要提供数据资源管理、数据监控管理和数据标准管理。大数据资源整合系统提供四大数据处理功能,针对公安内部数据、社会数据、互联网数据以及多媒体数据实现数据抽取、同步、转换、清洗等标准化处理。
  系统共享服务中心,提供大数据服务总线、可视化分析挖掘建模系统构建的分布式挖掘服务支撑系统,设定服务标准规范,建立分析挖掘服务资源管理系统,以统一规范标准的数据为各类实战应用提供分布式挖掘大数据服务支撑。{2}
  本层是核心,研究可靠的大数据服务总线平台,建立符合规范的分析挖掘服务资源管理体系,完善服务资源标准,深化服务资源管理,提供可视化分析挖掘建模系统实现的分析挖掘大数据服务开发。
  (三)数据标准体系
  数据标准体系建设包括:数据资源标准、数据元标准、限定词标准、数据代码标准、共享服务标准。
  (四)安全保障体系
  安全保障体系建设包括:网络安全保障、系统安全保障、应用安全保障、管理安全保障以及故障运维管理。{5}
  二、异构大数据资源整合
  针对各类异构数据进行高效、安全、可靠的数据集成,根据数据特征进行数据标准化构建,形成由关系型结构化数据、分布式半结构化数据和非结构化数据的Hadoop/Hbase/HDFS (以对接hadoop大数据平台说明)构成的分布式有机整合的大数据资源中心,{6}构建大数据资源管理平台,真正实现数据资源标准化管理、可视化管理。
  大数据资源整合系统包含大数据资源管理、大数据资源仓库两部分。
  大数据资源管理包括元数据管理、数据标准管理、数据资源管理。其中元数据包括技术元数据、管理元数据、业务元数据;数据标准管理包括公安部标准、行业标准、地市标准;数据资源管理包括数据资源编目、数据资源授权、数据资源服务、资源目录同步、数据资源监控、数据资源统计、数据资源注册、数据资源编辑、数据资源统计。{7}
  大数据资源仓库包括数据专题层、基础数据层。数据专题层包括视频专题、检索专题、情报专题、反恐专题、图侦专题、人车专题、禁毒专题等,{8}分析应用集群包括智能云搜、超级档案、轨迹分析、车辆分析、嫌疑分析、侦查摸排、警情态势等。基础数据层包括分布式关系数据库、分布式列存数据库、分布式开放存储数据库。
  基础支撑部分包括数据整合、数据标准化、数据接入以及数据存储。数据整合包括数据源注册、整合任务定制、整合任务管理;数据标准化包括数据清洗、数据转换、标准化规则;数据接入包括通用数据接入、大数据实时数据接入、跨网数据接入;数据存储包括通用数据存储、大数据实时数据存储和MPP数据存储。
  (一)大数据资源汇聚过程
  通过各类数据适配组件,实现海量异构数据整合,以对接hadoop大数据平台。大数据平台通过建立分布式接入集群完成数据代理接入、负载均衡、资源调度、网络吞吐优化等功能。数据接入后进行数据整合,实现对任务调度、数据智能交换、数据同步等操作。最终的数据分类处理由大数据汇聚整合平台完成。大数据汇聚平台提供强大的数据采集接入能力,针对各类数据,如结构化数据、图像数据、视频数据、网页数据、涉密数据以及结果集数据等提供快速的数据接入适配,通过相关数据接入适配手段实现大数据整合管理,主要为数据接入管理、数据标准化、数据存储等功能。将数据分发到大数据资源库,建立政

  ······

法宝用户,请登录后查看全部内容。
还不是用户?点击单篇购买;单位用户可在线填写“申请试用表”申请试用或直接致电400-810-8266成为法宝付费用户。
【注释】                                                                                                     
【参考文献】

{1}范菁,熊丽荣,徐聪.分布式企业服务总线平台数据集成研究及应用[J].计算机科学,2014,(2).

{2}刘国城,王跃堂.云电子商务的安全审计问题研究[J].兰州学刊,2017,(5).都拉黑名单了,还接个P

{3}唐成务,陈彦萍,朱琳萍,夏虹.数据服务理论研究[J].微处理机,2016.

{4}张鹏飞.分布式服务框架的设计与实现[J].现代计算机,2018.

{5}陶向丽,何杰.公路快速客运安全保障体系研究[J].中国公共安全,2006.

{6}叶春蕾.基于Hadoop的高校图书馆大数据关键技术研究[J].数字图书馆论坛,2017.

{7}谭琛.公安行业大数据处理平台的设计与实现[D].江苏大学,2016.

{8}吴加剑,刘海砚.海量Excel数据的专题图制作方法研究[J].测绘与空间地理信息,2016.

{9}国内外大数据标准化现状及发展方向[EB/OL].(2018-10-18)[2018-11-08].http://www.sohu.com/a/260246819_100016410, 2018-10-18.

{10}大数据的发展趋势及国内外的标准[EB/OL].(2018-10-22)[2018-10-28].http://tea.baike.com/article -16340553. html, 2018-10-22.

{11}胡勤霞.金海软件评测中心测评过程管理研究及其应用[D].电子科技大学,2010.

{12}针对公安民警开展数据建模方法的研究和实践[EB/OL].(2018-10-28)[2018-11-04].https://www.secrss.com/arti鄄cles/7120.

©北大法宝:(www.pkulaw.cn)专业提供法律信息、法学知识和法律软件领域各类解决方案。北大法宝为您提供丰富的参考资料,正式引用法规条文时请与标准文本核对
欢迎查看所有产品和服务。法宝快讯:如何快速找到您需要的检索结果?    法宝V5有何新特色?
扫码阅读
本篇【法宝引证码CLI.A.1253159      关注法宝动态:  

法宝联想
【相似文献】

热门视频更多