51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
文章频道
前端
css3
Javascript
html
Html5
Css
vue
网站优化
正则表达式
React
后端
C语言
C++
Java
.Net
PHP
Python
gis
Go语言
数据库
nosql
其他
Redis
sql
Mysql
Oracle
sqlserver
mongodb
移动
Flutter
Android
IOS
微信
微信小程序
支付宝小程序
快应用
开源
hadoop
资讯
经验
其他
工具
互联网络
代码编辑器
报表/图表
其他
算法
操作系统
linux
unix
windows
centos
mac
游戏开发
架构
微服务
网站架构
分布式系统
系统架构
软件工程
敏捷开发
软件工程
互联网络
【HBase】底层原理
目录系统架构表数据模型物理存储系统架构在文章【HBase】基本介绍和基础架构中已经有简单介绍Client——包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如region的位置信息。Zookeeper:1.保证任何时候,集群中只有一个master2.存贮所有Region的寻址入口-...
代码星球
·
2020-08-09
HBase
底层
原理
【Hadoop离线基础总结】Hadoop High AvailabilityHadoop基础环境增强
目录简单介绍HadoopHA概述集群搭建规划集群搭建第一步:停止服务第二步:启动所有节点的ZooKeeper第三步:更改配置文件第四步:启动服务简单介绍HadoopHA概述HA(HighAvailable)——高可用,是保证业务连续性的有效解决方案。一般有两个或两个以上的节点,分为活动节点(Active)及备用节点(S...
代码星球
·
2020-08-09
Hadoop
基础
离线
总结
High
【HBase】表模型和基本操作介绍
目录HBase表模型常用Shell操作HBase表模型创建一个hbase表,必须要有表名和列族名列族——columnFamily,就是上图中的ColumnFamily1userInfostore1store2、ColumnFamily2addressInfostore3等列——column,就相当于mysql和hive...
代码星球
·
2020-08-09
HBase
模型
基本操作
介绍
【HBase】集群搭建/安装部署
目录第一步:下载对应的HBase安装包第二步:上传压缩包并解压第三步:修改配置文件第四步:安装包分发到另外两台机器第五步:三台机器创建软连接第六步:三台机器添加环境变量第七步:启动HBase集群第八步:页面访问HBase强依赖于ZooKeeper和Hadoop,所以安装之前一定要保证两个服务正常运行第一步:下载对应的H...
代码星球
·
2020-08-09
HBase
集群
搭建
安装
部署
【HBase】HBase基本介绍和基础架构
目录基本介绍概述特点HBase和Hadoop的关系RDBMS与HBase的对比特征基础架构基本介绍概述HBase是bigtable的开源java版本,是建立在HDFS之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统,主要用来存储结构化和半结构化的松散数据。HBase查询数据功能很简单,不支持j...
代码星球
·
2020-08-09
HBase
基本
介绍
基础
架构
【Kafka】监控及运维——kafka-eagle
目录简单介绍概述安装部署一、环境要求二、下载源码包并解压三、准备数据库四、修改配置文件五、配置环境变量六、启动kafka-eagle七、成功运行简单介绍概述Kafka-eagle是一个为了简化开发者和服务工程师维护Kafka集群工作的监控管理工具。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者...
代码星球
·
2020-08-09
Kafka
监控
运维
kafka-eagle
【Kafka】Flume整合Kafka
目录需求一、Flume下载地址二、上传解压Flume三、配置flume.conf四、启动flume五、测试整合需求实现flume监控某个目录下面的所有文件,然后将文件收集发送到kafka消息系统中一、Flume下载地址http://archive.cloudera.com/cdh5/cdh/5二、上传解压Flumecd...
代码星球
·
2020-08-09
Kafka
Flume
整合
【Kafka】配置文件说明
目录server.propertiesproducer.propertiesconsumer.propertiesserver.properties#broker的全局唯一编号,不能重复broker.id=0#用来监听链接的端口,producer或consumer将在此端口建立连接port=9092#处理网络请求的线程...
代码星球
·
2020-08-09
Kafka
配置文件
说明
【Kafka】Stream API
Kafka官方文档给了基本格式http://kafka.apachecn.org/10/javadoc/index.html?org/apache/kafka/streams/KafkaStreams.html基础模板Map<String,Object>props=newHashMap<>();...
代码星球
·
2020-08-09
Kafka
Stream
API
【Kafka】数据分区策略
四种策略一、指定分区号,数据会直接发送到所指定的分区二、没有指定分区号,指定了数据的key,可以通过key获取hashCode决定数据发送到哪个分区三、都没有指定的话,会采取round-robinfashion,是kafka的轮询策略四、还可以自定义分区策略四种策略的Java实现其他的代码都不需要变,只需要更改Prod...
代码星球
·
2020-08-09
Kafka
数据
分区
策略
【Kafka】自定义分区策略
思路Command+Option+shift+N调出查询页面,找到producer包的Partitioner接口Partitioner下有一个DefaultPartitioner实现类这里就有之前提到kafka数据分区策略自定义分区策略创建一个MyPartitioner类,继承并重新定义上面的Partitioner类p...
代码星球
·
2020-08-09
Kafka
自定义
分区
策略
【Kafka】Kafka简单介绍
目录基本介绍概述优点主要应用场景Kafka的架构四大核心API架构内部细节基本介绍概述Kafka官网网站:http://kafka.apache.org/Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本...
代码星球
·
2020-08-09
Kafka
简单
介绍
【Kafka】Kafka集群基础操作!新手上路必备~
目录bin目录Topic命令概览创建Topic查看Topic描述TopicProducer生产数据Consumer消费数据增加topic分区数增加配置删除配置删除Topic所有操作都要cd到/export/servers/kafka_2.11-1.0.0安装包下操作 bin目录bin目录下有很多shell文件,可以根据...
代码星球
·
2020-08-09
Kafka
集群
基础
操作
新手上路
【Kafka】Kafka集群环境搭建
目录一、初始环境准备二、下载安装包并上传解压三、修改配置文件四、启动ZooKeeper五、启动Kafka集群一、初始环境准备必须安装了JDK和ZooKeeper,并保证Zookeeper服务正常启动二、下载安装包并上传解压下载tar包地址:http://archive.apache.org/dist/kafka/也可以...
代码星球
·
2020-08-09
Kafka
集群
环境
搭建
【Kafka】消息队列相关知识
目录概述常用消息队列常用消息队列对比应用场景消息队列的两种模式概述消息(Message)是指在应用系统之间传递的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。消息队列(MessageQueue)是一种应用间的通信方式,也可以说是消息队列形成的模型,先进先出。消息一经发送可以立即返回,有消...
代码星球
·
2020-08-09
Kafka
消息
队列
相关
知识
专栏
更多
老潘
关注
欢迎关注
建站高手
关注
兴趣:做网站
星空
关注
星空下的梦~
代码星球
关注
IT猿
关注
首页
上一页
...
1587
1588
1589
1590
1591
...
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他