DDL(数据定义语言)create、drop、alter、truncate、show、describeDML(数据控制语言)load、insert、update、delete、import/export、explainplan1.关于数据库->创建数据库CREATE(DATABASE|SCHE...
一、对于二次排序案例部分理解1.分析需求(首先对第一个字段排序,然后在对第二个字段排序)杂乱的原始数据排序完成的数据a,1a,1b,1a,2a,2[排序]a,100b,6===>b,-3c,2b,-2b,-2b,1a,100b,6b,-3c,-7c,-7c,22.分析[MapRedice过程]...
一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析)1.PV:网页浏览量(PageView页面浏览次数,只要进入该网页就产生一条记录,不限IP,统计点每天(较多)/每周/每月/..)2.UV:独立访客数(UniqueVistor,以Cookie为依据,同一天内一个用户多次访问,只记为一...
一、概念与HA思路1.首先Hadoop架构为主从架构(NameNode/DataNode)2.NameNode管理着文件系统和与维护客户端访问DataNode3.Hadoop2.0之前的版本,集群中NameNode存在单点故障(SPOF)4.单个NameNode机器宕机将导致集群无法使用,直到管理员...
一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析)1.PV:网页浏览量(PageView页面浏览次数,只要进入该网页就产生一条记录,不限IP,统计点每天(较多)/每周/每月/..)2.UV:独立访客数(UniqueVistor,以Cookie为依据,同一天内一个用户多次访问,只记为一...
一、部分概念1.分布式:一个项目分为多个模块共同完成一个或多个任务,可部署在一个或多个机器2.集群:多个机器运行同一个项目或服务3.集群上可能运行着零个或多个分布式系统(比如Hadoop,Zookeeper...)分布式系统可能运行或不运行在集群上二、简单搭建Hadoop分布式集群(分布式指的是Ha...
一、概念 1.一个开源的、分布式的,为分布式应用提供协调服务的Apache项目 2.提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务 3.设计非常易于编程,它使用的是类似于文件系统那样的树形数据结构 4.目的是将分布式服务不再需要由于协作冲突而另外实现协作服务 5...
一、检查linux系统NTP是否被安装[liuwl@hadoop09-linux-01~]$[liuwl@hadoop09-linux-01~]$rpm-qa|grepntpntpdate-4.2.6p5-10.el6.centos.1.x86_64ntp-4.2.6p5-10.el6.centos...
一、简单概念 scp是有Security的文件copy,基于ssh登录二、使用 1. 发送(本地--->远程服务器)[liuwl@hadoop09-linux-02hadoop-2.5.0]$scpetc/hadoop/core-site.xmlroot@hadoop...
一、Maven下载 地址：http://maven.apache.org/download.cgi 二、配置仓库及环境变量（以D:maven为例） 1>解压文件至D:maven&n...
1、map到reduce中间的一个过程 洗牌,打乱(打乱我们传递的所有元素)(流程:input->map->reduce->output)2、map()->shuffle->reduce()map()接收数据,以wc为例,其中数据可是为<key,value>...
方法一：在线; Eclipse-help-InstallNewSoftware &nbs...
1、在实际生产环境中为Hadoop配置无秘钥登录非常有必要#在没有配置时：[liuwl@linux-66-64hadoop-2.5.0]$jps26163Jps[liuwl@linux-66-64hadoop-2.5.0]$sbin/start-yarn.shstartingyarndaemonss...
代码如下,后备参考：packagecom.bigdata.hadoop.hdfs;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importor...
代码如下,后备参考:packagecom.bigdata.hadoop.hdfs;importjava.io.File;importjava.io.FileInputStream;importjava.io.IOException;importorg.apache.hadoop.conf.Confi...
假设： eg1、eg2，只能访问project1； 二 实现 // 把两个权限配置文件复制到 仓库根路径下，统一管理所有代码仓库 cd /projcet1/conf cp authz passwd /home/svnroot 分别修改 project2 的 svnserve.conf，和上面一样，最后一行分别写 anon-access = none # 禁止匿名访问 auth-access = write password-db = /home/svn/passwd # 统一使用密码文件 authz-db = /home/svn/authz realm = p...
