开发
Hadoop_UDF示例
UDF: 一进一出Eclipse端1.继承UDF2.实现evaluate方法(可重裁实现多个evaluate方法,以实现不同需求)3.导出类jar包,注意指定main方法Hive端1.将jar包添加到Hive:addjarlinux_path#0.14版才开始支持2.创建临时函数:create[tempora...
Hive_数据倾斜处理
Hive中三种joinmapjoin(小表join大表,将小表加入到内存)设置mapjoin:hive.auto.convert.join=truehive.mapjoin.smalltable.filesize=2500000;PS:如果有一张表是小表便自动执行mapjoin,根绝表大小是否超过2500000区分隐式...
Hadoop openssl false
错误如图检查Hadoopnative经过：1.重新编译cdh的hadoop2.5.0,复制native2.重新格式化namenode都不行，另外openssl和openssl-dev都已安装像-mkdir,-ls都可以但导入数据还是这个错我再次重新解压cdh版hadoop源码包并编译,将native库重新导入一边一遍,...
Hive_进阶
回顾：hive优点1.类sql语句靠近关系型数据库,可自定义函数,增加了扩展性,易于开发,减少mapreduce学习成本2.hive转换sql语句为mapreduce程序以mapreduce为底层实现3.hive基于hadoop的hdfs,在hdfs上存储,因为hdfs的扩展性,hive的存储扩展性相应增加hive安装...
Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (dist) on project hadoop-kms: An Ant BuildException has occured
编译cdh版hadoop2.5.0出现的问题系统:CentOs6664位JDK:1.7Maven:3.0.5Protobuf: libprotoc2.5.0编译命令: mvnpackage-DskipTests-Pdist,native**************************...
Sqoop_mysql,hive,hdfs导入导出操作
前言:搭建环境,这里使用cdh版hadoop+hive+sqoop+mysql下载hadoop-2.5.0-cdh5.3.6.tar.gz hive-0.13.1-cdh5.3.6.tar.gz sqoop-1.4.5-cdh5.3.6.tar.gz配置Hadoop *.env(3个)--jdk_Path co...
日志分析_统计每日各时段的的PV,UV
第一步:需求分析需要哪些字段(时间:每一天,各个时段,id,url,guid,tracTime)需要分区为天/时PV(统计记录数)UV(guid去重)第二步:实施步骤建Hive表,表列分隔符和文件保持一至Load数据到Hive表中写HiveSql进行统计,将结果放入Hive另一张表中(数据清洗)从Hive的另一张表中的...
Sqoop_ 从 hive 导到mysql常遇九问题总结(转)
以前以为版本不同，遇到的问题就不同，后来发现，无论是新版本，还是老版本，遇到的问题大部分都是相同的。下面解决问题的方法仅供借鉴1.拒绝连接的错误表现是什么？2.表不存在该如何解决？3.null字段填充符该如何指定？环境hive版本hive-0.11.0sqoop版本sqoop-1.4.4.bin__hadoop-1.0...
Sqoop_ 简单介绍
一、基本作用概念:Sqoop被称为协作框架,是在Hadoop.2.X生态系统的辅助型框架,简单说,就是一个数据转换工具,类似的协作框架有文件收集库框架Flume,任务协调框架Oozie,大数据Web工具Hue过程:数据源(RDBMS)取得数据<--->数据清洗/数据分析<--->HDFS/HBA...
Linux_MySql_yum_安装
1、卸载原始mysql-libsudorpm-e--nodepsmysql-libs-xx2、yum安装mysql-serversudoyum-yinstallmysql-serverps：注意联网状态，和yum源/etc/yum.repos.d/xxx更新软件sudoyumupdatexxx3、配置开机启动项sudo...
MySql_设置编码
1、查看mysql编码(默认latin1)showvariableslike'collation_%';+--------------------------+----------------------------+|Variable_name|Value|+--------------------------+--...
Hive_DDL与DML
DDL(数据定义语言)create、drop、alter、truncate、show、describeDML(数据控制语言)load、insert、update、delete、import/export、explainplan1.关于数据库->创建数据库CREATE(DATABASE|SCHEMA)[IFNOTE...
Hadoop.2.x_高级应用_二次排序及MapReduce端join
一、对于二次排序案例部分理解1.分析需求(首先对第一个字段排序,然后在对第二个字段排序)杂乱的原始数据排序完成的数据a,1a,1b,1a,2a,2[排序]a,100b,6===>b,-3c,2b,-2b,-2b,1a,100b,6b,-3c,-7c,-7c,22.分析[MapRedice过程]1>分析数据传...
Hadoop.2.x_WebUV示例
一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析)1.PV:网页浏览量(PageView页面浏览次数,只要进入该网页就产生一条记录,不限IP,统计点每天(较多)/每周/每月/..)2.UV:独立访客数(UniqueVistor,以Cookie为依据,同一天内一个用户多次访问,只记为一个)3.VV:访客的...
Hadoop.2.x_HA部署
一、概念与HA思路1.首先Hadoop架构为主从架构(NameNode/DataNode)2.NameNode管理着文件系统和与维护客户端访问DataNode3.Hadoop2.0之前的版本,集群中NameNode存在单点故障(SPOF)4.单个NameNode机器宕机将导致集群无法使用,直到管理员重启5.单个Name...
