51
Dev开发社区
首页
文章
问答
工具
搜索
登录
注册
文章频道
前端
css3
Javascript
html
Html5
Css
vue
网站优化
正则表达式
React
后端
C语言
C++
Java
.Net
PHP
Python
gis
Go语言
数据库
nosql
其他
Redis
sql
Mysql
Oracle
sqlserver
mongodb
移动
Flutter
Android
IOS
微信
微信小程序
支付宝小程序
快应用
开源
hadoop
资讯
经验
其他
工具
互联网络
代码编辑器
报表/图表
其他
算法
操作系统
linux
unix
windows
centos
mac
游戏开发
架构
微服务
网站架构
分布式系统
系统架构
软件工程
敏捷开发
软件工程
Python
Python爬虫笔记
本次学习的教学视频来自嵩天老师的网络爬虫教学,主要学习内容有requestsBeautifulSoupscrapye,目前除了scrapy其他刚好看完。并搬运实现了一些小项目如58同城租房信息爬取、淘宝搜索商品项目,现将从爬虫基本方法、实战和遇到的问题三个方面进行总结。 1.基本方法 首先就是requests库,是...
代码星球
·
2020-10-02
Python
爬虫
笔记
Python -- 限流 throttle
前言一个业务型的服务,被open接口后,遭遇并发扫数据,于是要做限流操作。一直固执的认为,业务API和OpenAPI要分开处理,或许因为起初接入其他企业ERP系统都是走较为规范的OpenAPI,始终对于这种开发系统业务API的做法感觉不好。窗口限流需求是要在Django的一个工程里做限流,倘若是rest_framewo...
代码星球
·
2020-10-02
Python
限流
throttle
python ratelimit使用
https://pypi.org/project/ratelimit/...
代码星球
·
2020-10-02
python
ratelimit
使用
python redis lua 脚本 实战一个限流或抢红包等业务
1.lua是什么2.redis,lua,python(java)三者的关系3.用lua承载业务逻辑减少网络开销。可以将多个请求通过脚本的形式一次发送,减少网络时延原子操作。redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。因此在编写脚本的过程中无需担心会出现竞态条件,无需使用事务。复用。客户端发送的脚步会...
代码星球
·
2020-10-02
python
redis
lua
脚本
实战
利用redis-lua+python实现接口限流
公司目前在市面上有大量的机器在运转。每天对接到服务器就有数百万的请求过来,无形中消耗了带宽和计算资源。可以通过一定的策略来过滤掉部分请求,保证服务器的稳定。扩展阅读:1.当然这层逻辑既可以落到接入层,也可以落到业务层。这里为了不影响线上其它业务,保证系统的稳定和代码可追溯。也方便实行最小验证,我把它落在业务层。2.限流...
代码星球
·
2020-10-02
利用
redis-lua+python
实现
接口
限流
Python 远程部署利器 Fabric 模块详解
简介入门使用fabric的命令行参数常用的对象和方法介绍 fabric中的envfabric提供的命令fabric的上下文管理器装饰器fabric的taskfabric的hostfabric的rolefabric的执行模型其他装饰器常用的功能函数封装taskutils函数带颜色的输出 确认信息使用Fabric源码安装r...
代码星球
·
2020-10-02
Python
远程
部署
利器
Fabric
Python自动化部署工具-Fabric
今天分享一个Python的自动化发布工具—Fabric。我在前面文章「Linux系列开坑记(一)-常用的3个命令」说了tar,rsync,supervisor这三个,从打包上传备份上线,进程管理工具。我相信细心的读者发现了,但是这里其实还缺一个工具。那就是衔接这三个步骤的工具,它可以通过SSH,让我们在远端...
代码星球
·
2020-10-02
Python
自动化
部署
工具
-Fabric
python中,用Redis构建分布式锁
在实际应用场景中,我们可能有多个worker,可能在一台机器,也可能分布在不同的机器,但只有一个worker可以同时持有一把锁,这个时候我们就需要用到分布式锁了。这里推荐python的实现库,Redlock-py(Python实现).正常情况下,worker获得锁后,处理自己的任务,完成后自动释放持有的锁,是不是感觉有...
代码星球
·
2020-10-02
python
Redis
构建
分布式
Python使用requests時遇到Failed to establish a new connection
再寫Zeppelin的CLI工具的時候https://github.com/del680202/zdairi遇到了開起太多connection這樣一個錯誤requests.exceptions.ConnectionError:HTTPConnectionPool(host='xxxxx',port=xxxxx):Max...
代码星球
·
2020-10-02
Python
使用
requests
遇到
Failed
python grpc+jwt+s3 对用户token进行验证
写在前面:用户信息是存储在aws的s3上,现在要做到用户登陆创建新token,访问api,验证token。目录结构:1.grpc部分:第一步,序列化,规定api方法及参数等。。syntax="proto3";packageauthsvc;"""InPython,thepackagedirectiveisignored,...
代码星球
·
2020-10-02
python
grpc+jwt+s3
用户
token
进行
在Python中使用gRPC的方法示例【h】
本文介绍了在Python中使用gRPC的方法示例,分享给大家,具体如下:使用ProtocolBuffers的跨平台RPC系统。安装使用pip?12pipinstallgrpciopipinstallgrpcio-toolsgoogleapis-common-protosgRPC由两个部分构成,grpcio和gRPC工具...
代码星球
·
2020-10-02
Python
使用
gRPC
方法
示例
grpc| python 实战 grpc【h】
title:grpc|python实战grpcdescription:只要代码可以跑起来,很多难题都会迎刃而解.so,keepcodingandstayhungry.之前用swoole写server时就接触过protobuf,本来以为基于protobuf的grpc,上手起来会轻轻松松,没想到结结实实的折腾了许久,从ph...
代码星球
·
2020-10-02
grpc
python
实战
gRPC Python 入门到生产环境
所有的代码在https://github.com/xsren/learning_record/tree/master/grpc,欢迎star。一、先了解几个概念RPCRPC(RemoteProcedureCall)—远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。g...
代码星球
·
2020-10-02
gRPC
Python
入门
生产
环境
python分布式环境下的限流器
项目中用到了限流,受限于一些实现方式上的东西,手撕了一个简单的服务端限流器。服务端限流和客户端限流的区别,简单来说就是:1)服务端限流对接口请求进行限流,限制的是单位时间内请求的数量,目的是通过有损来换取高可用。例如我们的场景是,有一个服务接收请求,处理之后,将数据bulk到Elasticsearch中进行索引存储,b...
代码星球
·
2020-10-02
python
分布式
环境
限流
Python flask 与 GO WEB服务器性能对比
测试环境:系统:CentOS7.1Mem:8GCPU:虚拟机16核Python版本:python3.6Flask版本:0.12.2Golang版本:1.6.31.首先写一个Flask的web程序,只返回一个Helloword!fromflaskimportFlask,render_templateapp=Flask(_...
代码星球
·
2020-10-02
Python
flask
GO
WEB
服务器
专栏
更多
老潘
关注
欢迎关注
建站高手
关注
兴趣:做网站
星空
关注
星空下的梦~
代码星球
关注
IT猿
关注
首页
上一页
...
3
4
5
6
7
下一页
尾页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他