51dev.com IT技术开发者社区

51dev.com 技术开发者社区

大数据平台对智慧机场运行效率的提升与改造

大数据平台对智慧机场运行效率的提升与改造

1、引言随着民航业的快速发展,我国已经成为了全球最具发展潜力的航空市场。由于机场建设、设施部署和机场运营受到资金、技术和人力等资源的制约,加之机场的业务系统的数量和复杂度爆炸性增长,协同运行、主动安全、个性服务、精准的商业营销对机场的运营管理提出了更高的要求。首都机场一直在致力于从企业的整体角度而非单个部门对于数据进行...

大数据与区块链的联系与区别

大数据与区块链的联系与区别

 进入大数据时代,云计算成为大数据基础设施,也使得大数据的核心思想和云计算一脉相承。大数据和区块链两者之间有个共同的关键词:分布式,代表了一种从技术权威垄断到去中心化的转变。  (去中心化:在一个分布有众多节点的系统中,每个节点都具有高度自治的特征。节点之间彼此可以自由连接,形成新的连接单元。任何一个节点都可...

如何准确又通俗易懂地解释大数据及其应用价值?

如何准确又通俗易懂地解释大数据及其应用价值?

大数据的概念,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,是存储在各种存储介质中的海量的各种形态数据,具有5V特点,即:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。 大数据概念的产生就是因为数据量和数...

常用大数据技术名词通俗解释

常用大数据技术名词通俗解释

Hadoop:最早出现的大数据的概念就是体现在Hadoop上面,简单理解就是虚拟了一个存储系统,一个文件在多台机器上保存多份,丢失几率很小。由于机器集群可以横向扩充,因此能保存理论上无穷多的文件,因此称为大数据平台。 MapReduce:在Hadoop存文件的基础上,MapReduce担任处理文件的角色,它读...

大数据在保险行业的应用

大数据在保险行业的应用

如今“大数据”已不再是单纯描述数据特征的词汇,而是一个多学科交融的热点研究领域,其背后有着复杂和深刻的新理念。 带大家从“技术、工程、科学和应用”这四个维度分析大数据的研究现状与挑战,探讨未来研究的侧重点和发展趋势,如图3: 1、纵向维度。&ldquo...

Hadoop Unable to load native-hadoop library for your platform 解决方法

Hadoop Unable to load native-hadoop library for your platform 解决方法

Hadoop环境执行hdfs命令提示Unabletoloadnative-hadooplibraryforyourplatform的警告,如下:[dave@www.51dev.comlib]$hdfsdfs-mkdir/cndba2019-03-0300:57:11,783WARNutil.NativeCodeLoad...

如何学习大数据

如何学习大数据

前言一、背景介绍本人目前是一名大数据工程师,项目数据50T,日均数据增长20G左右,个人是从Java后端开发,经过3个月的业余自学成功转型大数据工程师。二、大数据介绍大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别...

元宵节电商大数据:汤圆销量翻25倍

元宵节电商大数据:汤圆销量翻25倍

新华社北京2月19日电(记者于佳欣)正月十五月儿圆,吃了汤圆好团圆。每逢佳节,“吃什么”往往会上一波热搜。今年元宵节也不例外,从汤圆的销售大数据和新吃法中,可以读出消费者的吃、玩喜好。苏宁根据线上苏宁易购平台发布的元宵节大数据显示,2月15日至18日,汤圆销量同比增长2586%,南、北方地区分别...

大数据时代下的用户洞察:用户画像建立(ppt版)

大数据时代下的用户洞察:用户画像建立(ppt版)

大数据是物理世界在网络世界的映射,是一场人类空前的网络画像运动。网络世界与物理世界不是孤立的,网络世界是物理世界层次的反映。数据是无缝连接网络世界与物理世界的DNA。发现数据DNA、重组数据DNA是人类不断认识、探索、实践大数据的持续过程。图1大数据发展路径陈新河把网络画像分为行为画像、健康画像、企业信用画像、个人信用...

白话大数据——用实例告诉你什么是大数据

白话大数据——用实例告诉你什么是大数据

大数据(bigdata)目前已然成为IT行业中最时髦的词汇,然而真正了解大数据的人却不多。大数据的含义可不是仅仅数据量大,很多人对大数据的概念有所误解,想要从概念上把大数据讲清楚就得从理论上讲大数据的特征,比如4V(数据体量巨大Volume、数据类型繁多Variety、价值密度低Value、处理速度快Velocity)...

让大数据运转更快:MemSQL推出完全免费的社区版

让大数据运转更快:MemSQL推出完全免费的社区版

MemSQL社区版支持无限量的容量规模、完整事务、以及分析功能,这意味着任何人都可以访问MemSQL并获得实时处理和分析数据所需的速度和可扩展性。MemSQL4带来了核心引擎方面的创新、管理和监控功能、以及生态系统的集成,其亮点包括地理空间功能、支持高级分析(增强了优化器并扩展了SQL功能)、以及对ApacheSpar...

“大数据风控”混战, Fintech公司是最后的王者?

“大数据风控”混战, Fintech公司是最后的王者?

据最新发布的《中国消费金融创新报告》(以下简称《报告》)显示,我国当前消费金融市场规模估计接近6万亿元,如果按照20%的增速预测,我国消费信贷的规模到2020年可超过12万亿元。在互联网巨头企业看来,消费金融产品的涌现,有效释放了消费潜力、促进了产业升级,但应认识到只有基于大数据驱动下的优质风险防控业态,才是消费金融持...

Python在大数据分析及机器学习中的兵器谱

Python在大数据分析及机器学习中的兵器谱

1.网页爬虫工具集Scrapy推荐大牛pluskid早年的一篇文章:《Scrapy轻松定制网络爬虫》BeautifulSoup客观的说,BeautifuSoup不完全是一套爬虫工具,需要配合urllib使用,而是一套HTML/XML数据分析,清洗和获取工具。Python-GooseGoose最早是用Java写得,后来用...

大数据时代商业银行数字化转型

大数据时代商业银行数字化转型

 大数据时代的来临,催化了互联网金融的发展,随着大数据技术日益广泛应用,对金融生态和金融格局都将产生深刻影响。国家层面对大数据发展给予高度重视,2015年8月,国务院印发《促进大数据发展行动纲要》,明确指出大数据已成为国家基础性战略资源,《大数据产业“十三五”发展规划》已征求了专家意见,有望年内...

大数据暗藏“窃密通道” 保密工作者应高度警惕

大数据暗藏“窃密通道” 保密工作者应高度警惕

大数据模糊了涉密与非涉密数据的界限,颠覆了数据垃圾无秘密的传统认识,打破了以客观存在为基础的定密习惯。因此,稍有疏忽便有可能引发泄密事件,保密工作者应高度警惕。  大数据暗藏“窃密通道”  从非涉密数据中发现涉密信息。大数据基本理论告诉人们:“如果将海量的碎片化数据汇聚到一起,积少成...