开发
Hadoop.2.x_网站PV示例
一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析)1.PV:网页浏览量(PageView页面浏览次数,只要进入该网页就产生一条记录,不限IP,统计点每天(较多)/每周/每月/..)2.UV:独立访客数(UniqueVistor,以Cookie为依据,同一天内一个用户多次访问,只记为一个)3.VV:访客的...
Hadoop.2.x_集群初建
一、部分概念1.分布式:一个项目分为多个模块共同完成一个或多个任务,可部署在一个或多个机器2.集群:多个机器运行同一个项目或服务3.集群上可能运行着零个或多个分布式系统(比如Hadoop,Zookeeper...)分布式系统可能运行或不运行在集群上二、简单搭建Hadoop分布式集群(分布式指的是Hadoop,集群指在多...
Hadoop_简单操作ZooKeeper
一、概念 1.一个开源的、分布式的,为分布式应用提供协调服务的Apache项目 2.提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务 3.设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构 4.目的是将分布式服务不再需要由于协作冲突而另外实现协作服务 5.项目由Java语言...
Hadoop.2.x_时间服务器搭建(CentOs6.6)
一、检查linux系统NTP是否被安装[liuwl@hadoop09-linux-01~]$[liuwl@hadoop09-linux-01~]$rpm-qa|grepntpntpdate-4.2.6p5-10.el6.centos.1.x86_64ntp-4.2.6p5-10.el6.centos.1.x86_64 ...
Linux_Scp命令
一、简单概念 scp是有Security的文件copy,基于ssh登录二、使用 1. 发送(本地--->远程服务器)[liuwl@hadoop09-linux-02hadoop-2.5.0]$scpetc/hadoop/core-site.xmlroot@hadoop09-linux-0...
Java_Eclipse_Maven环境搭建
一、Maven下载 地址：http://maven.apache.org/download.cgi 二、配置仓库及环境变量（以D:maven为例） 1>解压文件至D:maven ...
Hadoop.2.x_MR-Shuffle过程
1、map到reduce中间的一个过程 洗牌,打乱(打乱我们传递的所有元素)(流程:input->map->reduce->output)2、map()->shuffle->reduce()map()接收数据,以wc为例,其中数据可是为<key,value>在map()中获取...
Java_Eclipse_Maven插件部署
方法一：在线; Eclipse-help-InstallNewSoftware &n...
Hadoop.2.x_无秘钥设置
1、在实际生产环境中为Hadoop配置无秘钥登录非常有必要#在没有配置时：[liuwl@linux-66-64hadoop-2.5.0]$jps26163Jps[liuwl@linux-66-64hadoop-2.5.0]$sbin/start-yarn.shstartingyarndaemonsstartingres...
Hadoop.2.x_WordCount本地测试示例
代码如下,后备参考：packagecom.bigdata.hadoop.hdfs;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.h...
Hadoop.2.x_简单的测试文件读取与上传
代码如下,后备参考:packagecom.bigdata.hadoop.hdfs;importjava.io.File;importjava.io.FileInputStream;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;i...
java: cairo-misc.c:380: _cairo_operator_bounded_by_source: Assertion `NOT_REACHED' failed.
出错原因 该问题会在Centos6.6及更高版本出现。也会在其他版本中出现。 解决方案 禁用carioGraphics>Add-Dorg.eclipse.swt.internal.gtk.cairoGraphics=falseto-vmargsineclipse.ini ...
Hadoop.2.x_源码编译
1.准备hadoop-2.5.0-src.tar.gzapache-maven-3.0.5-bin.tar.gzjdk-7u67-linux-x64.tar.gzprotobuf-2.5.0.tar.gz可联外部网络 2.安装jdk-7u67-linux-x64.tar.gz与 apache-maven...
Hadoop_HDFS HA 及解决方案
1.HDFS系统架构HDFS(HadoopDistributedFileSystem),及Hadoop分布式文件系统作用:为Hadoop分布式计算框架提供高性能,高可靠,高可扩展的存储服务架构：典型的主(NameNode)从(DataNode)架构,两者一对多的关系,一个节点对应一个DataNode,NameNode是...
Hadoop.2.x_伪分布环境搭建
1.设置主机名、静态IP/DNS、主机映射、windows主机映射(方便ssh访问与IP修改)等设置主机名:vi/etc/sysconfig/network#重启系统生效(临时修改:hastnamexxx;另起一个终端将会看到效果,需要注意的是:若即将搭建Hadoop,这里起的hostname禁止使用"_")设置静...
