RPC：RemoteProcedureCallDRPC：DistributedRPCHadoop提供了RPC的实现机制，实现方法见：《》，本文主要介绍Storm的DRPC。 Storm的DRPC由DRPCServer和一个特殊的topology组成。DRPCServer主要起协调客户端和t...
elasticsearch的rest访问格式：curl-X<RESTVerb><Node>:<Port>/<Index>/<Type>/<ID>1、启动[es@vm1bin]$./elasticsearch--cluster.n...
1、RESTRequestURIcurl-XGEThttp://vm1:9200/customer/external/_search?q=*&pretty2、RESTRequestBody1）查询设置curl-XPOSThttp://vm1:9200/customer/external/_s...
Flume 基于Channel Selector可以实现扇入、扇出。同一个数据源分发到不同的目的，如下图。 在source上可以定义channelselector：123456789a1.sources=r1...a1.channels=c1c2...a1....
1、使用文件原来的名字1234567891011121314151617a1.sources=r1 a1.sinks=k1 a1.sources.r1.type=spooldir .... a1.sources.r1.basenameHeader=true&n...
Flume Source 实例Avro Source监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1....
Flume SourceSource类型说明Avro Source支持Avro协议（实际上是Avro RPC），内置支持Thrift Source支持Thrift协议，内置支持Exec Source基于Unix的command在标准输出上生产数据JM...
Hive+zookeeper可以支持锁功能锁有两种：共享锁、独占锁，Hive开启并发功能的时候自动开启锁功能1）查询操作使用共享锁，共享锁是可以多重、并发使用的2）修改表操作使用独占锁，它会阻止其他的查询、修改操作3）可以对分区使用锁。1、修改hive-site.xml，配置如下：<prope...
SequenceFile是使用二进制保存数据，是可以压缩的，并且压缩后的数据可被分割，可以供mapreduce处理。下面的实例使用SequenceFile保存Hive表的数据，并且使用了压缩。sethive.exec.compress.output=true;#压缩mapreduce输出数据set&...
describe简写是desc表desct1;desct1column1;descextendedt1;descformattedt1;数据库descdatabasetest;分区descformattedt1partition(xx=yy);函数descfunctionxx;descfunctio...
orderby是全局排序，受hive.mapred.mode的影响。 使用orderby有一些限制： 1、在严格模式下（hive.mapred.mode=strict），orderby必须跟limit一起使用（？）。&n...
clusterby是distributeby和sortby的快捷方式，根据clusterby字段进行分区并排序。 例子 某一列的数据如下： x1 &nb...
使用hivecli的时候，会读取.hiverc脚本，在.hiverc脚本里可以做一些自己的预设。比如：sethive.cli.print.current.db=true;sethive.cli.print.header=true;.hiverc可以放在~（linux用户家目录）、$HIVE_HOME...
parallel语句可以附加到PigLatin中任一个关系操作符后面，然后它会控制reduce阶段的并行，因此只有对与可以触发reduce过程的操作符才有意义。 可以触发reduce过程的操作符有：group、order、distinct、j...
dst=distinctdata； DISTINCT只能对整个记录（整行）去重，不能在字段级别去重。 触发reduce阶段 data=load'data';distinctdata; ...
idea开发工具下报Set language level to 6-@Override in interfaces的解决方法 实现接口时报如下错误：Set language level to 6-@Override in interfaces 在Java项目中必不可少的是我们要指定一个jdk。 在指定jdk的同时，还可以指定jdk的Language level，这个有点像我们工程最低支持版本。比如Language level 设置了5.0 只是就不能出现使用6.0／7.0特性的代码。 因为这些特性在5.0的环境下是无法编译的。 或者可以理解ide会安装Language level指定的jd...
