Jonnyan的原创笔记
alpine
alpine里python安装mssql笔记
Alpine linux如何配置和管理自定义服务
windows
window server2012远程授权重置
window获取本机所有IP
window远程桌面RDP加速方案
远程监控 Win10 资源占用
windows 下 mysql 区分大小写敏感问题
window下navicat无限试用脚本
win11恢复win10右键菜单样式
永久禁止windows更新
强制本地账户安装win10/11
Linux
解决openvpn的CRL has expired笔记
centos7.x配置时间服务器(chrony)
centos7.x下安装wireguard
解决influxdb的log日志输出位置
保存 iptable 规则并开机自动加载 | SA-Logs
kafka笔记
kafka的server.properties 配置文件参数说明
CentOS 和 RedHat 下 8 个最常用的 YUM 库
外网IP查询网站
VirtualBox Ubuntu20/centos7 命令行如何扩容分区磁盘
如何备份sqlite数据库
yum 安装 redis5/mq/consul
centos7.x 安装 docker-ce
zabbix4.2 的 yum+mariadb 方式部署安装
如何在 Linux 中查找最大的 10 个文件
mongodb 备份与还原操作
Linux 高频工具快速教程
yum 安装 influxdb/telegraf
ubuntu 14.04/16.04/18.04 yum 安装 zabbix-agent 教程
逃不掉的 mysql 数据库安装方式大全 yum rpm 源码
VIM 配置入门
find 命令结合 cp bash mv 命令使用的 4 种方式
Tomcat nginx log 日志按天分割切割
linux 和 pycharm 下终端彩色打印输出
centos5/6/7 下 yum 安装 zabbix-agent(被控端)
shell 脚本头,#!/bin/sh 与 #!/bin/bash 的区别.
electerm/tabby在执行screen命令后不显示滚动条
aws ec2 安装caddy2
No usable version of libssl was found
python
python virtualenv笔记
python配置文件INI/TOML/YAML/ENV的区别
python限制函数的执行时间
python里and和or的理解
SQLite is not a toy database | Anton Zhiyanov
四行代码实现 Python 管道 - Aber's blog
systemd管理虚拟环境Django+uwsgi+nginx配置教程
Linux shell命令创建python django用户
nginx子路径下反代运行多个django
django web 应用 runserver 模式下 cpu 占用高解决办法
解决 pip 安装模块报错 Cannot fetch index base URL http://pypi.python.org/simple/
docker
仅在首次启动时在Docker容器中运行命令
Docker多平台架构镜像构建
解决cadvisor监控内存值与docker stats命令值不一致问题
docker 清理指定日期之前的镜像
docker 部署 graylog 使用教程
docker 一键搭建 zerotier-moon 节点
alpine的docker镜像安装mysql/mariadb/redis
dockerfile 多阶段构建参考
Warning: Stopping docker.service, but it can still be activated by: docker.socket
nginx
Nginx限制并发连接数与下载速度
nginx仅允许域名访问禁止IP访问
Nginx 强制跳转 Https
nginx强制跳转https无限301循环问题
万字总结,带你全面系统的认识 Nginx
linux 下编译安装 nginx 完整版
解决 nginx 同端口强制跳转 https 配置 ssl 证书问题
nginx 关闭日志功能 access_log 关闭
基于 nginx 的 token 认证
杂记
小米手机MIUI12安装Google服务
使用sphinx+markdown+readthedocs+github来编写文档
N1由armbian直刷openwrt
N1安装docker版本的openwrt做旁路由
NUC10 i3/i5/i7系列开启局域网wol唤醒
威联通qnap安装nginx
威联通qnap配置开机自启动项
telegram bot python使用示例教程
四款paste临时文本分享平台
docker部署微力同步(verysync)
Android和IOS自部署通知程序
苹果M1如何科学上网
M1 mac iterm2配置lrzsz命令
漫威轮播
网件XR500/R7800刷机
DIY 编译 openwrt 固件
苹果 mac 版微软官方远程连接工具下载 Microsoft Remote Desktop For Mac
wireguard 实现 peer 互联, NAT to NAT
学习本来的样子
解决 aws ec2 的 centos7 设置时区无效
redis 问题优化
N1 如何完美刷入 armbian 系统教程
v2rayN 的 pac 简单规则
博客园 markdown 使用折叠语法和颜色标签
十年感悟之 python 之路
在浏览器输入 URL 回车后发生了什么?
grafana 里 prometheus 查询语法
国内开源镜像站点汇总
解决阿里云部署 office web apps ApplicationFailedException 报错问题
解决 mac 休眠睡眠异常耗电方法
jira 集成 fisheye 代码深度查看工具安装绿色版
阿里云 ecs 开启 x11 图形化桌面
markdown 完整语法规范 3.0 + 编辑工具介绍
pycharm 重置设置,恢复默认设置
[已解决]window 下 Can't connect to MySQL server on'localhost' (10061) 与无法启动 MYSQL 服务”1067 进程意外终止”
解决 xshell6 评估过期, 需采购问题
[已解决]pycharm 报错: AttributeError: module 'pip' has no attribute 'main'
[已解决]windows 下 python3.x 与 python2.7 共存版本 pip 使用报错问题
局域网共享工具总结
云策文档think配置https教程
MIUI12百度输入法小米版使用森林集皮肤办法
Jenkins 构建后通知到飞书
简易的openvpn安装
keychron V1键盘改键教程
caddy2配置SSE单向websock(How to proxy Server Sent Events caddy2)
机器监控告警
zabbix
yum / 编译安装 Zabbix 5.0 LTS
zabbix 监控 AWS-SQS 队列
Zabbix-agent 端配置文件说明
Prometheus+grafana
prometheus+grafana安装和配置
node_exporter主机监控
cadvisor容器监控
redis_exporter监控
rabbitmq_exporter监控
consul_exporter监控
windows_exporter
Open-Falcon
falcon 数据丢失处理方法参考
日志监控告警
graylog
graylog 通过 python 实现钉钉 / 微信 / webhook 告警
loki+grafana
Loki简介
Loki安装
Loki查询语法
grafana面板pannel语法
内网穿透
frp
zerotier
zerotier充当网关实现内网互联,访问其它节点内网
一分钟自建zerotier-plant
nps
anylink
N2N
OmniEdge
本文档发布于https://mrdoc.fun
-
+
首页
四行代码实现 Python 管道 - Aber's blog
> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码, 原文地址 [aber.sh](https://aber.sh/articles/Python-Pipe/) 在我编写从 HBase 读取并分析数据的代码时候,遇到了一个问题——多重循环嵌套。 众所周知,HBase 本身是没有二级索引的,所有的数据分析都只能靠扫描 rowkey 读出一整个列表的数据,然后再自己提炼加工。而提炼加工的过程就是不断地循环数据列表,对每个数据项进行筛选、修改的过程。 这让我写的很痛苦,我不得不反复不断地嵌套循环。于是我想起了管道,然后我自己实现了一下 Python 没有在语言级别支持的管道运算。 下面这段代码,`F` 首先继承了 `partial`,这使得 `F(map, lambda x: x*x)` 的返回值是一个新的函数。与此同时 `F` 对象又被实现了 `__ror__` 这个魔法方法,这样一来就实现了 `other | F(...)` 这个运算,在这个运算里我们把左侧的值作为该函数剩余的参数传递给函数并调用它获取返回结果。 ``` from functools import partial class F(partial): def __ror__(self, other): return self(other) ``` 但这个 `F` 有一个缺点,它只能把左侧的值作为一个整体传递给被绑定的函数,不能传递多个参数。那么再实现一个 `FF`,使用 Python 解参语法来自动把可迭代对象变成多个参数传递给函数。同样也只有四行代码。 ``` from functools import partial class FF(partial): def __ror__(self, other): return self(*other) ``` 使用样例 ---- 看看管道的魅力! 以下代码均基于 Python3,你可以自行在 Python2 中编写代码进行实践。 求十以下所有奇数的合: ``` range(10) | F(filter, lambda x: x % 2) | F(sum) ``` 筛选字典中值为真的数据: ``` your_dict | F(lambda d: {k: v for k, v in d.items() if v}) ``` 接下来是一点实际应用,以下是一段满足需求的代码: ``` result = {} for method in view.__methods__: if method == "OPTIONS": continue method = method.lower() method_docs = self._generate_method( getattr(view, method), path, definitions ) if not method_docs: continue result[method] = method_docs ``` 由于这段 `for` 循环里的代码过多,无法使用推导式进行优化结构。看看完成相同的功能但使用管道的代码: ``` generate_method_docs = lambda method: ( method, self._generate_method(getattr(view, method), path, definitions), ) result = dict( view.__methods__ | F(map, lambda method: method.lower()) | F(filter, lambda method: method != "options") | F(map, generate_method_docs) | F(filter, lambda method_and_docs: bool(method_and_docs[1])) ) ``` 管道的好处 ----- 管道中每个函数完成自己的功能,并且不会出现类似于 `dict(filter(map(filter(map(...), ...), ...), ...))` 这种嵌套的不友好情况。 管道操作使得数据的流向和阅读、思考代码的顺序达成一致,虽然在性能上有微不足道的损耗。但,你都开始使用 Python 了,在自己的业务代码上扣那么 1μs 的性能(此数字经过 CPython3.7、3.8 的测试得到)似乎没有必要?可能你把 Python 版本从 3.6 升级到 3.9 就足够弥补这方面的损耗了(笑)。 更优雅的写法 ------ 实际上,在此文刚写出来的时候我曾经发送到某程序员居多的论坛。在大家的讨论里,我思考了更多的问题。比如有人提出 `| F(...)` 这种写法很麻烦,每次都需要写一个 `F`,能不能去掉,然后有人发出了一个不完全的解决方案。 但这个问题实际上是无法从运行时来解决的。因为在运行时解决这个问题的前提是需要代码自己知道它后面是不是还跟着一个 `|` 来进行管道运算,以便于它判断是该返回一个类似于 `F` 的对象还是真实的运算结果。这是一个不可能在运行时完成的任务。 在 Python 社区也曾经出现过类似的库,它的解决方案是 `PIPE | range(100) | sum | END`。通过 `PIPE` 来创建一个可以反复进行 `|` 运算的对象,直到这个对象与 `END` 这个对象进行了 `|` 运算,于是求值开始。这便失去了 `F` 的优点——你可以在任何一个管道运算之后停下来并放心的删掉后面所有的代码,你拿到的依旧是真实运算的结果。 最优雅的解决方案是把这件事放在编译期做,在 Python 代码编译到 Python 字节码的时候判断 `|` 并传参,既不需要额外的运行时负担,又可以做到管道的功能。
Jonny
April 11, 2021, 10:33 a.m.
517
0 条评论
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
【腾讯云】爆款2核2G4M云服务器一年45元,企业首购最高获赠300元京东卡
【腾讯云】爆款2核2G4M云服务器一年45元,企业首购最高获赠300元京东卡
Markdown文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码