51dev.com IT技术开发者社区

51dev.com 技术开发者社区

白话大数据——用实例告诉你什么是大数据

白话大数据——用实例告诉你什么是大数据

大数据(bigdata)目前已然成为IT行业中最时髦的词汇,然而真正了解大数据的人却不多。大数据的含义可不是仅仅数据量大,很多人对大数据的概念有所误解,想要从概念上把大数据讲清楚就得从理论上讲大数据的特征,比如4V(数据体量巨大Volume、数据类型繁多Variety、价值密度低Value、处理速度...

让大数据运转更快:MemSQL推出完全免费的社区版

让大数据运转更快:MemSQL推出完全免费的社区版

MemSQL社区版支持无限量的容量规模、完整事务、以及分析功能,这意味着任何人都可以访问MemSQL并获得实时处理和分析数据所需的速度和可扩展性。MemSQL4带来了核心引擎方面的创新、管理和监控功能、以及生态系统的集成,其亮点包括地理空间功能、支持高级分析(增强了优化器并扩展了SQL功能)、以及对...

做Data Mining,其实大部分时间都花在清洗数据

做Data Mining,其实大部分时间都花在清洗数据

前言:很多初学的朋友对大数据挖掘第一直观的印象,都只是业务模型,以及组成模型背后的各种算法原理。往往忽视了整个业务场景建模过程中,看似最普通,却又最精髓的特征数据清洗。可谓是平平无奇,却又一掌定乾坤,稍有闪失,足以功亏一篑。说明:这篇文章很早就想写了,但是切入点一直拿捏不准,要讲的内容比较大众化,却...

调试支付宝接口时遇到的 TRADE_TOTALFEE_NOT_MATCH 问题

调试支付宝接口时遇到的 TRADE_TOTALFEE_NOT_MATCH 问题

今天在调试和测试支付宝支付的时候,遇到一个有趣的问题,记下来留个底儿,也拿出来给大家分享一下。对于一个正在运行的网站,如果增加或改动了和支付相关的功能,当然要经过调试和测试。为了测试,自然会再搭一个测试的网站,与正式运行的网站完全无关。今天遇到的问题是,在测试网站上,每次点击了支付按钮以后,本来应该...

海量数据处理算法总结

海量数据处理算法总结

【BloomFilter】BloomFilter(BF)是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断,但不会漏掉判断。也就是BloomFilter判断元素...

“大数据风控”混战, Fintech公司是最后的王者?

“大数据风控”混战, Fintech公司是最后的王者?

据最新发布的《中国消费金融创新报告》(以下简称《报告》)显示,我国当前消费金融市场规模估计接近6万亿元,如果按照20%的增速预测,我国消费信贷的规模到2020年可超过12万亿元。在互联网巨头企业看来,消费金融产品的涌现,有效释放了消费潜力、促进了产业升级,但应认识到只有基于大数据驱动下的优质风险防控...

Hadoop 面试中 6 个常见的问题及答案

Hadoop 面试中 6 个常见的问题及答案

你准备好面试了吗?呀,需要Hadoop的知识!!?不要慌!这里有一些可能会问到的问题以及你应该给出的答案。Hadoop是一个开源软件框架,用于存储大量数据,并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之,Hadoop包括以下内容:HDFS(HadoopDistribut...

大数据时代商业银行数字化转型

大数据时代商业银行数字化转型

 大数据时代的来临,催化了互联网金融的发展,随着大数据技术日益广泛应用,对金融生态和金融格局都将产生深刻影响。国家层面对大数据发展给予高度重视,2015年8月,国务院印发《促进大数据发展行动纲要》,明确指出大数据已成为国家基础性战略资源,《大数据产业“十三五”发展规划》已征求...

大数据暗藏“窃密通道” 保密工作者应高度警惕

大数据暗藏“窃密通道” 保密工作者应高度警惕

大数据模糊了涉密与非涉密数据的界限,颠覆了数据垃圾无秘密的传统认识,打破了以客观存在为基础的定密习惯。因此,稍有疏忽便有可能引发泄密事件,保密工作者应高度警惕。  大数据暗藏“窃密通道”  从非涉密数据中发现涉密信息。大数据基本理论告诉人们:“如果将海量的碎片化数...