51dev.com IT技术开发者社区

51dev.com 技术开发者社区

分布式

分享二:架构设计分享一:关于API分布式服务提供方式

分享二:架构设计分享一:关于API分布式服务提供方式

一:基于HTTP协议的WebAPI1:RESTfulAPIhttp://www.ruanyifeng.com/blog/2011/09/restful 二:...

架构设计分享一:关于分布式系统的数据一致性问题(一)

架构设计分享一:关于分布式系统的数据一致性问题(一)

http://www.cnblogs.com/aigongsi/archive/2012/09/21/2696773.htmlhttp://www.cnblogs.com/aigongsi/archive/2012/09/22/2698055.html...

分享四:分布式事务设计-两段式提交

分享四:分布式事务设计-两段式提交

待续...

分布式缓存-Memcached

分布式缓存-Memcached

分布式缓存出于如下考虑,首先是缓存本身的水平线性扩展问题,其次是缓存大并发下的本身的性能问题,再次避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括首先是内存本身的管理问题,包括了内存的分配,管理和回收机制。其次是分布式管理和分布式算法,其次是缓存键值管理和路由。原文:http://wenku.ba...

NoSQL数据库的分布式算法&&memcache集群的实现

NoSQL数据库的分布式算法&&memcache集群的实现

一致性hash算法在memcache集群中的应用  http://alunblog.duapp.com/?p=14...

分布式架构中的 无状态 专题

分布式架构中的 无状态 专题

 服务的无状态性,即:=-服务端不保存任何客户端请求者信息-客户端的每次请求必须具备自描述信息,通过这些信息识别客户端身份带来的好处是什么呢?•客户端请求不依赖服务端的信息,任何多次请求不需要必须访问到同一台服务=-服务端的集群和状态对客户端透明=-服务端可以任意的迁移和伸缩=-减小服务端存储压力&...

浅谈分布式事务

浅谈分布式事务

现今互联网界,分布式系统和微服务架构盛行。一个简单操作,在服务端非常可能是由多个服务和数据库实例协同完成的。在一致性要求较高的场景下,多个独立操作之间的一致性问题显得格外棘手。基于水平扩容能力和成本考虑,传统的强一致的解决方案(e.g.单机事务)纷纷被抛弃。其理论依据就是响当当的CAP原理。往往为了可用性和分区容错性,...

scrapy爬虫-scrapy-redis分布式

scrapy爬虫-scrapy-redis分布式

1、如何将一个scrapy爬虫项目修改成为一个简单的分布式爬虫项目官方文档:https://scrapy-redis.readthedocs.io/en/stable/只用修改scrapy项目的两个文件就可以了一个是爬虫组件文件:#-*-coding:utf-8-*-importscrapyfromscrapy_red...

数据库原理及应用-分布式数据库

数据库原理及应用-分布式数据库

2018-02-2416:02:46分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库。每个被连接起来的数据库单元称为站点或节点。分布式数据库有一个统一的数据库管理系统来进行管理,称为分布式数据库管理系统(DDBMS)。分布式数据库的基本特点包括:物理分布性、逻辑整体性和站点自治...

python操作memcached以及分布式

python操作memcached以及分布式

memcached是以LiveJournal旗下DangaInteractive公司的BradFitzpatric为首开发的一款软件。现在已成为mixi、Facebook、LiveJournal等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中,应用服务器从中读取数据并在浏览器中显示。...

分布式与集群的区别

分布式与集群的区别

下面的这些回答来自知乎,上知乎上看了一下,感觉挺好的,摘写了一些个人感觉比较好的回答1知乎用户一蓑烟雨任平生2109人赞同3分布式:一个业务分拆多个子业务,部署在不同的服务器上4集群:同一个业务,部署在多个服务器上567WangXu后端码农,学过通信,做过点云计算啥的8116人赞同9集群是个物理形态,分布式是个工作方式...

ZooKeeper系列(9):ZooKeeper实现分布式Barrier和Queue

ZooKeeper系列(9):ZooKeeper实现分布式Barrier和Queue

1.快速开始1.1概述:Zookeeper是Hadoop的一个子项目,它是分布式系统中的协调系统,可提供的服务主要有:配置服务、名字服务、分布式同步、组服务等。1.2使用常见1.2.1统一配置把配置放在ZooKeeper的节点中维护,当配置变更时,客户端可以收到变更的通知,并应用最新的配置。1.2.2,集群管理集群中的...

ZooKeeper系列(5):管理分布式环境中的数据

ZooKeeper系列(5):管理分布式环境中的数据

本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法、Zab协议、通信协议等相关知识,理解起来比较抽象所以还需要借助一些应用场景,来帮我们理解。由于内容比较多,一口气吃不成胖子,得慢慢来一步一个脚印,因此我对后期ZooKeeper的学习规划如下:第一阶段:|---...

Hadoop 2.7.3 分布式集群安装

Hadoop 2.7.3 分布式集群安装

1.集群规划:192.168.1.252palo252Namenode+Datanode192.168.1.253palo253YarnManager+Datanode+SecondaryNameNode192.168.1.254palo254Datanode 2.设定固定IP地址vi/etc/sysconf...

springboot学习笔记:10.springboot+atomikos+mysql+mybatis+druid+分布式事务

springboot学习笔记:10.springboot+atomikos+mysql+mybatis+druid+分布式事务

上一篇文章我们整合了springboot+druid+mybatis+mysql+多数据源;本篇文章大家主要跟随你们涛兄在上一届基础上配置一下多数据源情况下的分布式事务;首先,到底啥是分布式事务呢,比如我们在执行一个业务逻辑的时候有两步分别操作A数据源和B数据源,当我们在A数据源执行数据更改后,在B数据源执行时出现运行...