Docker实践:部署Kafka

转:https://yq.aliyun.com/articles/657849Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过KafkaConnect连接到外部系统(用于数据输入/输出),并提供了KafkaStreams——一个Java流式处理库(计算机)。Kafka是一个分布式的、高吞吐量、高可扩展性的消息系统。Kafka基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。Ckafka具有数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合等场景。broker:kafka集群包含一个或者多个服务器,服务器就称作brokerproducer:负责发布消息到brokerconsumer:消费者,从broker获取消息topic:发布到kafka集群的消息类别。partition:每个topic划...
代码星球 代码星球·2021-02-14

认识Docker

  Docker是一个能把开发的应用程序自动部署到容器的引擎,它使用go语言编写的开源引擎,它在github上面个的地址为:https://github.com/docker/docker.  在2013年初由dotCloud开发的基于Apache2.0开源授权协发行的引擎。提供一个轻量高效的应用测试,部署环境。  1.提供简单轻量的建模方式  2.职责的逻辑分离  3.快速高效的开发生命周期  4.鼓励使用面向服务的架构  1.使用Docker容器开发,测试,部署服务  2.创建隔离的运行环境  3.搭建测试环境  4.构建多用户的平台即服务(PaaS)基础设施  5.提供软件即服务(SaaS)应用程序  6.高性能,超大规模的宿主机部署。...
代码星球 代码星球·2021-02-12

Docker 容器内部修改宿主机挂载目录用户权限后宿主机目录变化

一、需求:  因公司需求,需制作mysql5.7.22docker基础镜像,每个项目以此镜像启动一个数据库容器,并且每个项目挂载一个宿主机目录到镜像中数据存储下面用于数据持久化保存以便后期迁移至阿里云。二、遇到问题  将宿主机中相应项目的目录挂载到容器后需要将容器中此目录的用户权限修改为mysql:mysql,但是修改权限后宿主机相应目录权限却由开始的root变成宿主机用户中的hrz。  启动命令如下:     dockerrun-it-d--namemysql_test-v/Registry/test_mysql/:/applicationcentos:7/bin/bash  在容器中给予容器/application/mysql3308权限时命令如下:    chown-Rmysql:mysql/application/mysql3308三、根因  经过接近一天的时间,终于发现根因如下。  1、其实在操作系统中,真正决定用户和用户组的东西并不是用户名和组名,而是相应的用户id和对应的组id,当我们刚创建用户时系统就会给用户分配对应的用户id和组id,默认创建的用户和组id会从1000...

Docker 和一个正常的虚拟机有何区别?

原文 问:我多次重读Docker.io文档,希望搞明白Docker.io和一个完全的虚拟机的区别。Docker是如何做到提供一个完整的文件系统,独立的网络环境等等这些功能,同时还没有如此庞大?为什么部署软件在一个docker镜像(image)比部署在一致的生产环境上要容易?答:当前,Docker内部使用的是Linux容器技术(LXC),这是运行在与它的宿主机器同样的操作系统上。这准许它可以和宿主机器共享许多系统资源。它也会使用AuFS作为文件系统,也为你管理网络。AuFS是一个层状的文件系统,因此你可以有一个只读部分和一个只写部分,然后将二者组合起来。你可以使系统的共同的部分用作只读,那块是被所有容器共享,并且给每个容器自己的可写区域好吧,让我们假设你有一个容器镜像(image)容量是1GB,如果你想用一个完整的虚拟机来装载,你得需要容量的大小是1GB乘上你需要虚拟机的数量。但使用Linux容器虚拟化技术(LXC)和AuFS,你可以共享1GB容量,如果你需要1000个容器,假设他们都运行在同样的系统影像上,你仍然可以用稍微比1GB多一点的空间来给容器系统,一个完整的虚拟化系统...

虚拟机Docker的异同

【摘要】各种虚拟机技术开启了云计算时代;而Docker,作为下一代虚拟化技术,正在改变我们开发、测试、部署应用的方式。那虚拟机Docker究竟有何不同呢?首先,大家需要明确一点,Docker容器不是虚拟机。当我第一次接触Docker的时候,我把它比做一种轻量级的虚拟机。这样做无可厚非,因为Docker最初的成功秘诀,正是它比虚拟机更节省内存,启动更快。Docker不停地给大家宣传,"虚拟机需要数分钟启动,而Docker容器只需要50毫秒"。然而,Docker容器并非虚拟机,我们不妨来比较一下它们。使用虚拟机运行多个相互隔离的应用时,如下图:从下到上理解上图:基础设施(Infrastructure)。它可以是你的个人电脑,数据中心的服务器,或者是云主机。主操作系统(HostOperatingSystem)。你的个人电脑之上,运行的可能是MacOS,Windows或者某个Linux发行版。虚拟机管理系统(Hypervisor)。利用Hypervisor,可以在主操作系统之上运行多个不同的从操作系统。类型1的Hypervisor有支持MacOS的HyperKit,支持Windows的Hyp...
代码星球 代码星球·2021-02-12

30 分钟快速入门 Docker 教程

摘要:原文地址:梁桂钊的博客博客地址:http://blog.720ui.com欢迎关注公众号:「服务端思维」。一群同频者,一起成长,一起精进,打破认知的局限性。一、欢迎来到Docker世界1.Docker与虚拟化在没有Docker的时代,我们会使用硬件虚拟化(虚拟机)以提供隔离。/原文地址:梁桂钊的博客博客地址:http://blog.720ui.com欢迎关注公众号:「服务端思维」。一群同频者,一起成长,一起精进,打破认知的局限性。1.Docker与虚拟化在没有Docker的时代,我们会使用硬件虚拟化(虚拟机)以提供隔离。这里,虚拟机通过在操作系统上建立了一个中间虚拟软件层Hypervisor,并利用物理机器的资源虚拟出多个虚拟硬件环境来共享宿主机的资源,其中的应用运行在虚拟机内核上。但是,虚拟机对硬件的利用率存在瓶颈,因为虚拟机很难根据当前业务量动态调整其占用的硬件资源,因此容器化技术得以流行。其中,Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上。Docker容器不使用硬件虚拟化,它的守护进程是...

ubuntu 17.10 安装docker-ce

官网目前的安装步骤在最新版本的Ubuntu17.10上会提示没有安装源,下面是针对17.10安装步骤:参考资料sudoapt-getupdatesudoapt-getinstallapt-transport-httpsca-certificatescurlsoftware-properties-commoncurl-fsSLhttps://download.docker.com/linux/ubuntu/gpg|sudoapt-keyadd-sudoapt-keyfingerprint0EBFCD88sudoadd-apt-repository"deb[arch=amd64]https://download.docker.com/linux/ubuntuzestystable"sudoapt-getupdatesudoapt-getinstalldocker-ce与目前官网不同的地方在这里:sudoadd-apt-repository"deb[arch=amd64]https://download.docker.com/linux/ubuntuzestystable" ...

centos7 安装docker-ce ,最新版本docker,docker阿里云加速

直接用yuminstalldocker-y安装的docker版本为1.12,但是docker发展很快,现在都17.06.2了。docker-ce是指docker的社区版卸载老版本的docker及其相关依赖sudoyumremovedockerdocker-commoncontainer-selinuxdocker-selinuxdocker-engine安装yum-utils,它提供了yum-config-manager,可用来管理yum源sudoyuminstall-yyum-utils添加yum源sudoyum-config-manager--add-repohttps://download.docker.com/linux/centos/docker-ce.repo更新yum索引sudoyummakecachefast安装docker-cesudoyuminstalldocker-ce启动dockersudosystemctlstartdocker验证是否安装成功sudodockerinfo如何使用Docker加速器针对Docker客户端版本大于1.10的用户您可以通过修改dae...

好久没玩docker了,温下手

好久没玩docker了,温下手安装DockerDocker软件包已经包括在默认的CentOS-Extras软件源里。因此想要安装docker,只需要运行下面的yum命令:yuminstalldocker-io-y 直接yum安装安装成功后查看版本docker-v 启动dockerservicedockerstart 设置开机启动chkconfigdockeron 配置Docker因为国内访问DockerHub较慢,可以使用腾讯云提供的国内镜像源,加速访问DockerHub依次执行以下命令echo"OPTIONS='--registry-mirror=https://mirror.ccs.tencentyun.com'">>/etc/sysconfig/dockersystemctldaemon-reloadservicedockerrestart下载镜像下载一个官方的CentOS镜像到本地dockerpullcentos 下载好的镜像就会出现在镜像列表里dockerimages 运行容器这时我们可以在刚才下载的C...
代码星球 代码星球·2021-02-11

Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

CannotconnecttotheDockerdaemonatunix:///var/run/docker.sock.Isthedockerdaemonrunning?是由于docker未启动造成的如果是centos下yum安装的那么使用如下命令servicedockerstart...

docker 更新内存限制步骤

停止容器:dockerstopid更新配额:dockerupdate-m80G id内存参数和大小容器ID重启容器:dockerstart id...

centos7 解决docker0: iptables: No chain/target/match by that name

解决步骤:1、查看iptables状态,查看是否正常docker需要依赖该服务  serviceiptablesstatus  注:我都服务就发现iptables服务的有问题2、查看iptables规则是否生效  iptables-L3、检查iptables文件中是否有docker项目nat:PREROUTINGACCEPT[27:11935]:INPUTACCEPT[0:0]:OUTPUTACCEPT[598:57368]:POSTROUTINGACCEPT[591:57092]:DOCKER-[0:0]-APREROUTING-maddrtype--dst-typeLOCAL-jDOCKER-AOUTPUT!-d127.0.0.0/8-maddrtype--dst-typeLOCAL-jDOCKER-APOSTROUTING-s172.17.0.0/16!-odocker0-jMASQUERADECOMMIT#CompletedonSunSep2017:35:312015#Generatedbyiptables-savev1.4.21onSunSep2017:35:312015*f...

docker 限制container容器使用内存大小,不限制swap

 dockerupdate--memory20g--memory-swap-196b14c546d98参考:https://my.oschina.net/Kanonpy/blog/2209207...

Centos7安装docker-compse踩过的坑

一、概要​本文,我们介绍如何在centos7环境下安装docker-compose,记录下安装过程步骤以及遇到的问题还有解决办法。二、安装方式sudocurl-Lhttps://github.com/docker/compose/releases/download/1.18.0/docker-compose-`uname-s`-`uname-m`-o/usr/local/bin/docker-composesudochmod+x/usr/local/bin/docker-compose#给docker-compose执行权限docker-compose--version#测试安装是否成功,成功的话打印出docker-compose的版本信息这种方式貌似需要FQ,能连接到外网才行。2.使用python-pip进行安装首先检查centos7中有没有安装过python-pip包,命令如下:pip-V没有python-pip包就执行如下命令安装epel-release依赖:yum-yinstallepel-release执行成功以后,接着执行如下命令安装python-pip:yum-yinst...

docker中安装ps命令

apt-getupdate&&apt-getinstall-yprocps...
代码星球 代码星球·2021-02-11
首页上一页...34567...下一页尾页