互联网络
【Hadoop离线基础总结】oozie的安装部署与使用
目录简单介绍概述架构安装部署1.修改core-site.xml2.上传oozie的安装包并解压3.解压hadooplibs到与oozie平行的目录4.创建libext目录，并拷贝依赖包到libext目录5.拷贝mysql的驱动包到libext目录下6.上传ext-2.2.zip压缩包到libext目录下7.修改oozi...
【Hadoop离线基础总结】Hue与oozie集成
目录1.停止oozie与hue的进程2.修改oozie的配置文件3.修改hue的配置文件4.启动hue与oozie的进程5.页面访问hue1.停止oozie与hue的进程bin/oozied.shstop2.修改oozie的配置文件（老版本的bug，新版本已经不需要了）这一步我们都不需要做了修改oozie-site.x...
【Hadoop离线基础总结】oozie定时任务设置
目录简介概述oozie定时任务设置1.拷贝定时任务的调度模板拷贝hello.sh脚本3.修改配置文件4.上传到hdfs对应路径5.运行定时任务简介概述在oozie当中，主要是通过Coordinator来实现任务的定时调度，与workflow类似。Coordinator这个模块也是主要通过xml来进行配置即可Coordi...
【Hadoop离线基础总结】oozie任务串联
目录需求1.准备工作目录2.准备调度文件3.开发调度的配置文件4.上传资源文件夹到hdfs对应路径5.执行调度任务需求执行shell脚本→执行MR程序→执行hive程序1.准备工作目录cd/export/servers/oozie-4.1.0-cdh5.14.0/oozie_worksmkdir-psereval-ac...
【Hadoop离线基础总结】oozie调度hive
目录1.拷贝hive的案例模板2.编辑hive模板3.上传工作文件到hdfs4.执行oozie的调度5.查看调度结果1.拷贝hive的案例模板cd/export/servers/oozie-4.1.0-cdh5.14.0cp-raexamples/apps/hive2/oozie_works/2.编辑hive模板这里使...
【Hadoop离线基础总结】oozie调度shell脚本
目录1.解压官方提供的调度案例2.创建工作目录3.拷贝任务模板到工作目录当中去4.随意准备一个shell脚本5.修改模板下的配置文件6.上传调度任务到hdfs上面去7.执行调度任务1.解压官方提供的调度案例cd/export/servers/oozie-4.1.0-cdh5.14.0tar-zxfoozie-examp...
【Hadoop离线基础总结】Hue的简单介绍和安装部署
目录Hue的简单介绍概述核心功能安装部署下载Hue的压缩包并上传到linux解压编译安装启动启动Hue进程hue与其他框架的集成Hue与Hadoop集成Hue与Hive集成Hue与Impala集成Hue与Mysql集成Hue与oozie集成Hue的简单介绍概述CDHHue官方帮助文档：http://archive.cl...
【Hadoop离线基础总结】Hue与Impala集成
1.修改hue.ini配置文件[impala]server_host=node03server_port=21050impala_conf_dir=/etc/impala/conf2.启动hue进程，查看Hive是否与Hue集成成功cd/export/servers/hue-3.9.0-cdh5.14.0/build/...
【Hadoop离线基础总结】Hue与Hive集成
目录1.更改hue的配置hue.ini2.启动hive的metastore以及hiveserver2服务3.启动hue进程，查看Hive是否与Hue集成成功1.更改hue的配置hue.inicd/export/servers/hue-3.9.0-cdh5.14.0/desktop/confvimhue.ini不推荐vi...
【Hadoop离线基础总结】Hue与Hadoop集成
目录1.更改所有hadoop节点的core-site.xml配置2.更改所有hadoop节点的hdfs-site.xml3.重启hadoop集群4.停止hue的服务，并继续配置hue.ini启动hue进程，查看hadoop是否与Hue集成成功1.更改所有hadoop节点的core-site.xml配置cd/export...
【Hadoop离线基础总结】impala简单介绍及安装部署
目录impala的简单介绍概述优点缺点impala和Hive的关系impala如何和CDH一起工作impala的架构及查询计划impala/hive/spark对比impala的安装部署安装环境准备下载impala的所有依赖包挂载磁盘上传压缩包并解压制作本地yum源开始安装impala所有节点配置impalaimpal...
Azkaban无法连接网页
出的问题如下图首先我查看日志看到有一个[ERROR]2020/03/1311:12:34.417+0800ERROR[PluginCheckerAndActionsLoader][Azkaban]pluginpathplugins/triggersdoesn’texist!我一直以为是这个出错导致无法连接，后来经过查询...
【Hadoop离线基础总结】流量日志分析网站整体架构模块开发
目录数据仓库设计维度建模概述维度建模的三种模式本项目中数据仓库的设计ETL开发创建ODS层数据表导入ODS层数据生成ODS层明细宽表统计分析开发流量分析受访分析访客visit分析关键路径转化率分析（漏斗模型）级联求和流量日志分析网站整体架构模块的整体步骤为下图关于数据采集模块和数据预处理的开发在【Hadoop离线基础总...
【Hadoop离线基础总结】关键路径转化率分析（漏斗模型）
需求在一条指定的业务流程中，各个步骤的完成人数及相对上一个步骤的百分比模型设计定义好业务流程中的页面标识Step1、/itemStep2、/categoryStep3、/indexStep4、/orderCREATETABLEdw_oute_numbsASSELECT'step1'ASstep,COUNT(DISTIN...
【Hadoop离线基础总结】Hive级联求和
建表CREATETABLEt_salary_detail(usernamestring,monthstring,salaryINT)ROWformatdelimitedFIELDSTERMINATEDBY',';导入数据LOADDATALOCALinpath'/export/servers/hivedatas/clic...
