51dev.com IT技术开发者社区

51dev.com 技术开发者社区

Storm的DRPC

Storm的DRPC

RPC:RemoteProcedureCallDRPC:DistributedRPCHadoop提供了RPC的实现机制,实现方法见:《》,本文主要介绍Storm的DRPC。 Storm的DRPC由DRPCServer和一个特殊的topology组成。DRPCServer主要起协调客户端和t...

elasticsearch常用命令

elasticsearch常用命令

elasticsearch的rest访问格式:curl-X<RESTVerb><Node>:<Port>/<Index>/<Type>/<ID>1、启动[es@vm1bin]$./elasticsearch--cluster.n...

elasticsearch查询

elasticsearch查询

1、RESTRequestURIcurl-XGEThttp://vm1:9200/customer/external/_search?q=*&pretty2、RESTRequestBody1)查询设置curl-XPOSThttp://vm1:9200/customer/external/_s...

Flume Channel Selector

Flume Channel Selector

Flume 基于Channel Selector可以实现扇入、扇出。同一个数据源分发到不同的目的,如下图。  在source上可以定义channelselector:123456789a1.sources=r1...a1.channels=c1c2...a1....

Spooling Directory Source使用技巧

Spooling Directory Source使用技巧

1、使用文件原来的名字1234567891011121314151617a1.sources=r1 a1.sinks=k1 a1.sources.r1.type=spooldir .... a1.sources.r1.basenameHeader=true&n...

Flume Source 实例

Flume Source 实例

Flume Source 实例Avro Source监听avro端口,接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1....

flume组件汇总 source、sink、channel

flume组件汇总 source、sink、channel

Flume SourceSource类型说明Avro Source支持Avro协议(实际上是Avro RPC),内置支持Thrift Source支持Thrift协议,内置支持Exec Source基于Unix的command在标准输出上生产数据JM...

Hive 锁 lock

Hive 锁 lock

Hive+zookeeper可以支持锁功能锁有两种:共享锁、独占锁,Hive开启并发功能的时候自动开启锁功能1)查询操作使用共享锁,共享锁是可以多重、并发使用的2)修改表操作使用独占锁,它会阻止其他的查询、修改操作3)可以对分区使用锁。1、修改hive-site.xml,配置如下:<prope...

Hive使用SequenceFile存储数据

Hive使用SequenceFile存储数据

SequenceFile是使用二进制保存数据,是可以压缩的,并且压缩后的数据可被分割,可以供mapreduce处理。下面的实例使用SequenceFile保存Hive表的数据,并且使用了压缩。sethive.exec.compress.output=true;#压缩mapreduce输出数据set&...

describe命令

describe命令

describe简写是desc表desct1;desct1column1;descextendedt1;descformattedt1;数据库descdatabasetest;分区descformattedt1partition(xx=yy);函数descfunctionxx;descfunctio...

hive 排序 order by sort by distribute by cluster by

hive 排序 order by sort by distribute by cluster by

  orderby是全局排序,受hive.mapred.mode的影响。   使用orderby有一些限制:  1、在严格模式下(hive.mapred.mode=strict),orderby必须跟limit一起使用(?)。&n...

hive 排序 order by  sort by  distribute by  cluster by

hive 排序 order by sort by distribute by cluster by

  clusterby是distributeby和sortby的快捷方式,根据clusterby字段进行分区并排序。      例子  某一列的数据如下:  x1 &nb...

.hiverc

.hiverc

使用hivecli的时候,会读取.hiverc脚本,在.hiverc脚本里可以做一些自己的预设。比如:sethive.cli.print.current.db=true;sethive.cli.print.header=true;.hiverc可以放在~(linux用户家目录)、$HIVE_HOME...

Pig parallel reduce并行执行数

Pig parallel reduce并行执行数

   parallel语句可以附加到PigLatin中任一个关系操作符后面,然后它会控制reduce阶段的并行,因此只有对与可以触发reduce过程的操作符才有意义。  可以触发reduce过程的操作符有:group、order、distinct、j...

Pig distinct用法举例

Pig distinct用法举例

dst=distinctdata; DISTINCT只能对整个记录(整行)去重,不能在字段级别去重。 触发reduce阶段 data=load'data';distinctdata;   ...