技术文档收录
ASCII
Tcpdump
IPV4保留地址段
深入理解以太网网线原理 - 三帛的世界
Linux
WireGuard 一键安装脚本 | 秋水逸冰
SSH Config 那些你所知道和不知道的事 | Deepzz's Blog
Linux 让终端走代理的几种方法
ubuntu 20.04 server 版设置静态 IP 地址 - 链滴
Linux 挂载 Windows 共享磁盘的方法 - 技术学堂
将 SMB/CIFS 网络硬盘永久的挂载到 Ubuntu 上 - 简书
linux 获取当前脚本的绝对路径 | aimuke
[Linux] Linux 使用 / dev/urandom 生成随机数 - piaohua's blog
Linux 生成随机数的多种方法 | Just Do It
Linux 的 Centos7 版本下忘记 root 或者普通用户密码怎么办?
Git 强制拉取覆盖本地
SSH 安全加固指南 - FreeBuf 网络安全行业门户
Linux 系统安全强化指南 - FreeBuf 网络安全行业门户
Linux 入侵排查 - FreeBuf 网络安全行业门户
sshd_config 配置详解 - 简书
SSH 权限详解 - SegmentFault 思否
CentOS 安装 node.js 环境 - SegmentFault 思否
如何在 CentOS 7 上安装 Node.js 和 npm | myfreax
几款 ping tcping 工具总结
OpenVpn 搭建教程 | Jesse's home
openvpn 一键安装脚本 - 那片云
OpenVPN 解决 每小时断线一次 - 爱开源
OpenVPN 路由设置 – 凤曦的小窝
OpenVPN 设置非全局代理 - 镜子的记录簿
TinyProxy 使用帮助 - 简书
Ubuntu 下使用 TinyProxy 搭建代理 HTTP 服务器_Linux_运维开发网_运维开发技术经验分享
Linux 软件包管理工具 Snap 常用命令 - 简书
linux systemd 参数详解
Systemd 入门教程:命令篇 - 阮一峰的网络日志
记一次 Linux 木马清除过程
rtty:在任何地方通过 Web 访问您的终端
02 . Ansible 高级用法 (运维开发篇)
终于搞懂了服务器为啥产生大量的 TIME_WAIT!
巧妙的 Linux 命令,再来 6 个!
77% 的 Linux 运维都不懂的内核问题,这篇全告诉你了
运维工程师必备:请收好 Linux 网络命令集锦
一份阿里员工的 Java 问题排查工具单
肝了 15000 字性能调优系列专题(JVM、MySQL、Nginx and Tomcat),看不完先收
作业调度算法(FCFS,SJF,优先级调度,时间片轮转,多级反馈队列) | The Blog Of WaiterXiaoYY
看了这篇还不会 Linux 性能分析和优化,你来打我
2019 运维技能风向标
更安全的 rm 命令,保护重要数据
求你了,别再纠结线程池大小了!
Linux sudo 详解 | 失落的乐章
重启大法好!线上常见问题排查手册
sudo 使用 - 笨鸟教程的博客 | BY BenderFly
shell 在手分析服务器日志不愁? - SegmentFault 思否
sudo 与 visudo 的超细用法说明_陈发哥 007 的技术博客_51CTO 博客
ESXI 下无损扩展 Linux 硬盘空间 | Naonao Blog
Linux 学习记录:su 和 sudo | Juntao Tan 的个人博客
使用者身份切换 | Linux 系统教程(笔记)
你会使用 Linux 编辑器 vim 吗?
在 Windows、Linux 和 Mac 上查看 Wi-Fi 密码
linux 隐藏你的 crontab 后门 - 简书
Linux 定时任务详解 - Tr0y's Blog
linux 的 TCP 连接数量最大不能超过 65535 个吗,那服务器是如何应对百万千万的并发的?_一口 Linux 的博客 - CSDN 博客_tcp 连接数多少正常
万字长文 + 28 张图,一次性说清楚 TCP,运维必藏
为什么 p2p 模式的 tunnel 底层通常用 udp 而不是 tcp?
记一次服务器被入侵挖矿 - tlanyan
shell 判断一个变量是否为空方法总结 - 腾讯云开发者社区 - 腾讯云
系统安装包管理工具 | Escape
编译代码时动态地链接库 - 51CTO.COM
甲骨文 Oracle Cloud 添加新端口开放的方法 - WirelessLink 社区
腾讯云 Ubuntu 添加 swap 分区的方法_弓弧名家_玄真君的博客 - CSDN 博客
Oracle 开放全部端口并关闭防火墙 - 清~ 幽殇
谁再说不熟悉 Linux 命令, 就把这个给他扔过去!
即插即用,运维工程师必会正则表达式大全
Shell脚本编写及常见面试题
Samba 文件共享服务器
到底一台服务器上最多能创建多少个 TCP 连接 | plantegg
SSH 密钥登录 - SSH 教程 - 网道
在 Bash 中进行 encodeURIComponent/decodeURIComponent | Harttle Land
使用 Shell 脚本来处理 JSON - Tom CzHen's Blog
Docker
「Docker」 - 保存镜像 - 知乎
终于可以像使用 Docker 一样丝滑地使用 Containerd 了!
私有镜像仓库选型:Harbor VS Quay - 乐金明的博客 | Robin Blog
exec 与 entrypoint 使用脚本 | Mr.Cheng
Dockerfile 中的 CMD 与 ENTRYPOINT
使用 Docker 配置 MySQL 主从数据库 - 墨天轮
Alpine vs Distroless vs Busybox – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
再见,Docker!
docker save 与 docker export 的区别 - jingsam
如何优雅的关闭容器
docker 储存之 tmpfs 、bind-mounts、volume | 陌小路的个人博客
Dockerfile 中 VOLUME 与 docker -v 的区别是什么 - 开发技术 - 亿速云
理解 docker 容器的退出码 | Vermouth | 博客 | docker | k8s | python | go | 开发
【Docker 那些事儿】容器监控系统,来自 Docker 的暴击_飞向星的客机的博客 - CSDN 博客
【云原生】Docker 镜像详细讲解_微枫 Micromaple 的博客 - CSDN 博客_registry-mirrors
【云原生】Helm 架构和基础语法详解
CMD 和 Entrypoint 命令使用变量的用法
实时查看容器日志 - 苏洋博客
Traefik 2 使用指南,愉悦的开发体验 - 苏洋博客
为你的 Python 应用选择一个最好的 Docker 映像 | 亚马逊 AWS 官方博客
【云原生】镜像构建实战操作(Dockerfile)
Docker Compose 中的 links 和 depends_on 的区别 - 编程知识 - 白鹭情
Python
Pipenv:新一代Python项目环境与依赖管理工具 - 知乎
Python list 列表实现栈和队列
Python 各种排序 | Lesley's blog
Python 中使用 dateutil 模块解析时间 - SegmentFault 思否
一个小破网站,居然比 Python 官网还牛逼
Python 打包 exe 的王炸 - Nuitka
Django - - 基础 - - Django ORM 常用查询语法及进阶
[Python] 小知識:== 和 is 的差異 - Clay-Technology World
Window
批处理中分割字符串 | 网络进行时
Windows 批处理基础命令学习 - 简书
在Windows上设置WireGuard
Windows LTSC、LTSB、Server 安装 Windows Store 应用商店
windows 重启 rdpclip.exe 的脚本
中间件
Nginx 中的 Rewrite 的重定向配置与实践
RabbitMQ 的监控
RabbitMq 最全的性能调优笔记 - SegmentFault 思否
为什么不建议生产用 Redis 主从模式?
高性能消息中间件——NATS
详解:Nginx 反代实现 Kibana 登录认证功能
分布式系统关注点:仅需这一篇,吃透 “负载均衡” 妥妥的
仅需这一篇,妥妥的吃透” 负载均衡”
基于 nginx 实现上游服务器动态自动上下线——不需 reload
Nginx 学习书单整理
最常见的日志收集架构(ELK Stack)
分布式之 elk 日志架构的演进
CAT 3.0 开源发布,支持多语言客户端及多项性能提升
Kafka 如何做到 1 秒处理 1500 万条消息?
Grafana 与 Kibana
ELK 日志系统之通用应用程序日志接入方案
ELK 简易 Nginx 日志系统搭建: ElasticSearch+Kibana+Filebeat
记一次 Redis 连接池问题引发的 RST
把 Redis 当作队列来用,你好大的胆子……
Redis 最佳实践:业务层面和运维层面优化
Redis 为什么变慢了?常见延迟问题定位与分析
好饭不怕晚,扒一下 Redis 配置文件的底 Ku
rabbitmq 集群搭建以及万级并发下的性能调优
别再问我 Redis 内存满了该怎么办了
Nginx 状态监控及日志分析
uWSGI 的安装及配置详解
uwsgi 异常服务器内存 cpu 爆满优化思路
Uwsgi 内存占用过多 - 简书
Nginx 的 limit 模块
Nginx 内置模块简介
Redis 忽然变慢了如何排查并解决?_redis_码哥字节_InfoQ 写作社区
领导:谁再用 redis 过期监听实现关闭订单,立马滚蛋!
Nginx 限制 IP 访问频率以及白名单配置_问轩博客
Nginx $remote_addr 和 $proxy_add_x_forwarded_for 变量详解
Caddy 部署实践
一文搞定 Nginx 限流
数据库
SqlServer 将数据库中的表复制到另一个数据库_MsSql_脚本之家
SQL Server 数据库同步,订阅、发布、复制、跨服务器
sql server 无法删除本地发布 | 辉克's Blog
SQLite全文检索
SQL 重复记录查询的几种方法 - 简书
SQL SERVER 使用订阅发布同步数据库(转)
Mysql 查看用户连接数配置及每个 IP 的请求情况 - 墨天轮
优化 SQL 的 21 条方案
SQL Server 连接时好时坏的奇怪问题
MS SQL 执行大脚本文件时,提示 “内存不足” 的解决办法 - 阿里云开发者社区
防火墙-iptables
iptables 常用规则:屏蔽 IP 地址、禁用 ping、协议设置、NAT 与转发、负载平衡、自定义链
防火墙 iptables 企业防火墙之 iptables
Linux 防火墙 ufw 简介
在 Ubuntu 中用 UFW 配置防火墙
在 Ubuntu20.04 上怎样使用 UFW 配置防火墙 - 技术库存网
监控类
开箱即用的 Prometheus 告警规则集
prometheus☞搭建 | zyh
docker 部署 Prometheus 监控服务器及容器并发送告警 | chris'wang
PromQL 常用命令 | LRF 成长记
prometheus 中使用 python 手写 webhook 完成告警
持续集成CI/CD
GitHub Actions 的应用场景 | 记录干杯
GithubActions · Mr.li's Blog
工具类
GitHub 中的开源网络广告杀手,十分钟快速提升网络性能
SSH-Auditor:一款 SHH 弱密码探测工具
别再找了,Github 热门开源富文本编辑器,最实用的都在这里了 - srcmini
我最喜欢的 CLI 工具
推荐几款 Redis 可视化工具
内网代理工具与检测方法研究
环境篇:数据同步工具 DataX
全能系统监控工具 dstat
常用 Web 安全扫描工具合集
给你一款利器!轻松生成 Nginx 配置文件
教程类
Centos7 搭建神器 openvpn | 运维随笔
搭建 umami 收集个人网站统计数据 | Reorx’s Forge
openvpn安装教程
基于 gitea+drone 完成小团队的 CI/CD - 德国粗茶淡饭
将颜色应用于交替行或列
VMware Workstation 全系列合集 精简安装注册版 支持 SLIC2.6、MSDM、OSX 更新 16.2.3_虚拟机讨论区_安全区 卡饭论坛 - 互助分享 - 大气谦和!
在 OpenVPN 上启用 AD+Google Authenticator 认证 | 运维烂笔头
Github 进行 fork 后如何与原仓库同步:重新 fork 很省事,但不如反复练习版本合并 · Issue #67 · selfteaching/the-craft-of-selfteaching
卧槽,VPN 又断开了!!- 阿里云开发者社区
Grafana Loki 学习之踩坑记
zerotier 的 planet 服务器(根服务器)的搭建踩坑记。无需 zerotier 官网账号。
阿里云 qcow2 镜像转 vmdk,导入 ESXi - 唐际忠的博客
Caddy 入门 – 又见杜梨树
【Caddy2】最新 Caddy2 配置文件解析 - Billyme 的博客
Web 服务器 Caddy 2 | Haven200
手把手教你打造高效的 Kubernetes 命令行终端
Keras 作者:给软件开发者的 33 条黄金法则
超详细的网络抓包神器 Tcpdump 使用指南
使用 fail2ban 和 FirewallD 黑名单保护你的系统
linux 下 mysql 数据库单向同步配置方法分享 (Mysql)
MySQL 快速删除大量数据(千万级别)的几种实践方案
GitHub 上的优质 Linux 开源项目,真滴牛逼!
WireGuard 教程:使用 Netmaker 来管理 WireGuard 的配置 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Tailscale 基础教程:Headscale 的部署方法和使用教程 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Nebula Graph 的 Ansible 实践
改进你的 Ansible 剧本的 4 行代码
Caddy 2 快速简单安装配置教程 – 高玩梁的博客
切换至 Caddy2 | 某不科学的博客
Caddy2 简明教程 - bleem
树莓派安装 OpenWrt 突破校园网限制 | Asttear's Blog
OpenVPN 路由设置 – 凤曦的小窝
个性化编译 LEDE 固件
盘点各种 Windows/Office 激活工具
[VirtualBox] 1、NAT 模式下端口映射
VirtualBox 虚拟机安装 openwrt 供本机使用
NUC 折腾笔记 - 安装 ESXi 7 - 苏洋博客
锐捷、赛尔认证 MentoHUST - Ubuntu 中文
How Do I Use A Client Certificate And Private Key From The IOS Keychain? | OpenVPN
比特记事簿: 笔记: 使用电信 TR069 内网架设 WireGuard 隧道异地组网
利用 GitHub API 获取最新 Releases 的版本号 | 这是只兔子
docsify - 生成文档网站简单使用教程 - SegmentFault 思否
【干货】Chrome 插件 (扩展) 开发全攻略 - 好记的博客
一看就会的 GitHub 骚操作,让你看上去像一位开源大佬
【计算机网络】了解内网、外网、宽带、带宽、流量、网速_墩墩分墩 - CSDN 博客
mac-ssh 配置 | Sail
如何科学管理你的密码
VirtualBox NAT 端口映射实现宿主机与虚拟机相互通信 | Shao Guoliang 的博客
CentOS7 配置网卡为静态 IP,如果你还学不会那真的没有办法了!
laisky-blog: 近期折腾 tailscale 的一些心得
使用 acme.sh 给 Nginx 安装 Let’ s Encrypt 提供的免费 SSL 证书 · Ruby China
acme 申请 Let’s Encrypt 泛域名 SSL 证书
从 nginx 迁移到 caddy
使用 Caddy 替代 Nginx,全站升级 https,配置更加简单 - Diamond-Blog
http.proxy - Caddy 中文文档
动手撸个 Caddy(二)| Caddy 命令行参数最全教程 | 飞雪无情的总结
Caddy | 学习笔记 - ijayer
Caddy 代理 SpringBoot Fatjar 应用上传静态资源
使用 graylog3.0 收集 open××× 日志进行审计_年轻人,少吐槽,多搬砖的技术博客_51CTO 博客
提高国内访问 github 速度的 9 种方法! - SegmentFault 思否
VM16 安装 macOS 全网最详细
2022 目前三种有效加速国内 Github
How to install MariaDB on Alpine Linux | LibreByte
局域网内电脑 - ipad 文件共享的三种方法 | 岚
多机共享键鼠软件横向测评 - 尚弟的小笔记
VLOG | ESXI 如何升级到最新版,无论是 6.5 还是 6.7 版本都可以顺滑升级。 – Vedio Talk - VLOG、科技、生活、乐分享
远程修改 ESXi 6.7 管理 IP 地址 - 腾讯云开发者社区 - 腾讯云
几乎不要钱自制远程 PLC 路由器方案
traefik 简易入门 | 个人服务器运维指南 | 山月行
更完善的 Docker + Traefik 使用方案 - 苏洋博客
MicroSD·TF 卡终极探秘 ·MLC 颗粒之谜 1 三星篇_microSD 存储卡_什么值得买
macOS 绕过公证和应用签名方法 - 走客
MiscSecNotes / 内网端口转发及穿透. md at master · JnuSimba/MiscSecNotes
我有特别的 DNS 配置和使用技巧 | Sukka's Blog
SEO:初学者完整指南
通过 OpenVPN 实现流量审计
OpenVPN-HOWTO
OpenVPN Server · Devops Roadmap
Linux 运维必备的 13 款实用工具, 拿好了~
linux 平台下 Tomcat 的安装与优化
Linux 运维跳槽必备的 40 道面试精华题
Bash 脚本进阶,经典用法及其案例 - alonghub - 博客园
推荐几个非常不错的富文本编辑器 - 走看看
在 JS 文件中加载 JS 文件的方法 - 月光博客
#JavaScript 根据需要动态加载脚本并设置自定义参数
笔记本电脑 BIOS 修改及刷写教程
跨平台加密 DNS 和广告过滤 personalDNSfilter · LinuxTOY
AdGuard Home 安装及使用指北
通过 Amazon S3 协议挂载 OSS
记一次云主机如何挂载对象存储
本文档发布于https://mrdoc.fun
-
+
首页
我有特别的 DNS 配置和使用技巧 | Sukka's Blog
> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码, 原文地址 [blog.skk.moe](https://blog.skk.moe/post/i-have-my-unique-dns-setup/) 众所周知,DNS 的作用与电话簿类似,将人类可读的域名映射到机器可读 IP 地址、使人更方便地访问互联网。DNS 是非常重要的互联网基础设施,对于改善上网冲浪的体验中的重要程度不容小觑。 基础知识储备 ------ 如果没有相关的知识储备,你在阅读本文时可能会难以理解其中的一些观点。你可以阅读我之前写过的 [数篇关于 DNS 的文章](https://blog.skk.moe/tags/DNS/),本文不会再做详细赘述。 * [权威 DNS 自身的解析记录和 Glue Record 的关系](https://blog.skk.moe/post/authoritative-dns-record-glue/)。 * [浅谈在代理环境中的 DNS 解析行为](https://blog.skk.moe/post/what-happend-to-dns-in-proxy/)。 * [简析代理客户端导致的远端服务器流媒体 DNS 解锁失效的可能原因](https://blog.skk.moe/post/how-proxy-client-cause-netflix-unlock-to-fail/)。 避免不必要的 DNS 解析 ------------- 如果想要通过优化 DNS 来改善自己的网络体验,第一步其实是避免不必要的 DNS 解析。 ### 使用 Fake IP 避免本机 DNS 解析 正如我在 [浅谈在代理环境中的 DNS 解析行为](https://blog.skk.moe/post/what-happend-to-dns-in-proxy/) 一文中所提到的,对于不支持设置 SOCKS/HTTP(S) 代理的软件,Surge/Clash 等软件一般选择通过 TUN/TAP 或 转发 redir 透明网关接管网络请求,从而拿到原始的 TCP/IP 连接。 在 POSIX 规范下,执行网络请求需要先通过 `gethostbyname`、`getremoteaddr` 等操作系统提供的方法进行 DNS 解析,获取到 IP 地址以后发起连接;如果 DNS 解析不成功,网络请求就无从谈起了。因此绝大部分依赖 TUN 和 TAP 的某些软件都会接管系统 DNS 解析。接管 DNS 解析后随之而来的便是一系列问题: * DNS 污染:由于特殊的网络环境,通过你本机直接进行 DNS 解析得到的结果可能不可靠。 * CDN 优化:如果要访问的目标网站使用了 CDN,最理想的结果是 `距离代理服务器最近的 CDN 节点 - 代理服务器 - 你`。如果你通过本机直接进行 DNS 解析,获取到的 IP 地址可能并不是距离你 远端代理服务器 最近的 CDN 节点。 由于常见的某些协议都运行在 Layer 4 上、支持封装域名;因此 Surge/Clash 等软件在转发流量时,都是封装目标域名,而不是目标域名在本机解析到的 IP 地址,从而规避 DNS 污染和实现 CDN 优化。 如果软件一旦决定将某个域名转发给远端代理服务器,远端代理服务器也需要对拿到的域名进行一次解析,在本机解析的 IP 地址其实没有起任何作用,白白浪费一个 RTT。于是 2001 年四月,IETF 通过了 [RFC3089](https://www.rfc-editor.org/rfc/rfc3089),描述了一种网关通过接管 DNS、返回 Fake IP 来建立 TCP/IP 链接的方法。简单的流程如下: * 代理网关接管本机的 DNS 解析 * 一个软件意图对一个域名发起网络请求,于是先通过 DNS 解析获取域名对应的 IP * 代理网关收到 DNS 解析请求后,不做任何 DNS 解析,而是直接返回一个保留 IP 地址(Fake IP) * 发起网络请求的软件获取到 Fake IP 后,试图以 Fake IP 为目标发起网络请求 * 代理网关截获网络请求,通过目标的 Fake IP 反推出目标域名 * 代理网关将流量和目标域名使用某种协议重新封装后、转发给远端代理服务器 不过在日常使用中,即使有了 Fake IP 也不能完全避免本机进行 DNS 解析。Surge/Clash 使用 Fake IP 后,当且只当以下两种情况时 会在本机进行 DNS 解析: * 目标域名需要使用 DIRECT 策略(即直连)、此时 Surge/Clash 需要得到真实的目标 IP、不通过代理服务器直接发起连接 * Surge/Clash 遇到了基于 IP 分流的策略(如 IP-CIDR、IP-ASN、GEOIP、LAN 等),此时 Surge/Clash 需要得到一个 IP 用于匹配分流 关于上述两种情况的细节、需要本机 DNS 解析的原因,我在 [浅谈在代理环境中的 DNS 解析行为](https://blog.skk.moe/post/what-happend-to-dns-in-proxy/) 一文中已经介绍过,此处不再赘述。 也就是说,如果 Surge 和 Clash 能够匹配到了一条域名规则、指示网络请求需要被转发给远端代理服务器,Surge 和 Clash 便不会在本地进行 DNS 解析。因此在编写 Surge 和 Clash(以及同类软件 Shadowrocket、Quantumult (X)、Surfboard 等)的规则时,将 IP 相关规则(IP-CIDR、IP-ASN、GEOIP 等)放在其余的规则(DOMAIN、DST-PORT、SRC-PORT、PROTOCOL、URL-REGEX)的后面;除此以外,需要代理的域名的规则组越完善、Surge / Clash 匹配到 IP 类规则的概率也就越低,需要本机 DNS 解析的次数也就越少。 ### 使用域名分流规则直接拦截广告 不论是去广告 Hosts 还是 AdGuardHome 等解决方案,本质上都是在 DNS 解析环节拦截域名;由于 DNS 的局限性,这类解决方案只能拦截完整的广告域名,不能拦截某一个域名下的具体 URL,因此要么不够强力、要么误杀严重,不能取代专业的浏览器去广告插件(如 ADBlock Plus、AdGuard for Chrome)和去广告软件(如 AdGuard for Android)。 除此以外,由于 Surge/Clash 等支持使用域名规则进行分流的软件也都提供了对 REJECT 策略的支持(Surge 还额外支持两种特殊的 REJECT 策略:不回复任何数据包、任由链接自行超时的 REJECT-DROP,和返回空白 1 像素 GIF 图像文件的 TINY-GIF)。因此,我们可以编写域名规则拦截广告请求、彻底杜绝被拦截域名的 DNS 解析、加快阻断。 目前 Surge 支持 `DOMAIN-SET` 格式,可以在一个配置文件里记录数十万条域名,而不会内存泄漏或崩溃;Clash、Quantumult (X) 的域名规则可能不支持上万级别数量的域名、强行导入可能导致内存泄漏或 Panic;Surfboard 虽然完全兼容 Surge 的 `DOMAIN-SET` 格式,但是可能存在优化程度不够、达不到 Surge 同等速度和效率。 建议先对有关软件进行测试,如果不能很好的处理大量域名规则的,仍然可以使用 AdGuardHome 作为去广告的替代。 我使用的去广告域名规则可以在我 [个人自用 Surge 规则](https://github.com/SukkaW/Surge) GitHub 仓库中查看,我在其中也开源了我编写的自动抓取、解析 uBlock Origin、AdGuard、EasyList 等多个数据来源、剔除包含 URL 规则(仅保留纯域名规则)、汇总去重合并的工具 [`Build/build-reject-domainset.js`](https://github.com/SukkaW/Surge/blob/master/Build/build-reject-domainset.js) 。 我的去广告规则基本可以保证没有误杀;即使规则存在误杀,所有 AdGuard、uBlock Origin 的用户也一定都会受到影响,遇到这种情况只需要直接向 AdGuard、uBlock Origin 的规则维护者进行反馈。不过为了避免不必要的麻烦,我开源的 Surge 规则组都属于「个人自用」、**不接受任何反馈意见**。 中场休息:递归 DNS 是怎么知道哪个 CDN 节点距离我最近的? --------------------------------- 先暂时抛开对我的 DNS 配置的介绍,简单谈谈递归 DNS(Local DNS)是如何实现「CDN 优化」的。 假设你的宽带 IP 是 `114.5.1.4`,你现在试图访问一个使用了阿里云 CDN 的网站 `alicdn.example.skk.moe`、接入 CDN 的方式是 CNAME 到 `alicdn.example.skk.moe.w.alikunlun.com`。 注意,为了节省篇幅,在接下来的描述中,我刻意省去了 Local DNS 向 Root DNS 查询 `moe` 和 `skk.moe` 的权威 DNS 的过程。如果想要了解完整的 DNS 查询过程,可以阅读由 Cloudflare 编写的 [What is DNS? | How DNS works](https://www.cloudflare.com/learning/dns/what-is-dns/)。 ### 运营商 DNS 一开始,你使用的是由运营商下发给你的运营商 DNS,假设运营商的递归 DNS 的 IP 是 `1.2.3.4`,于是: * 你向 `1.2.3.4` 发起 DNS 查询:请问 `alicdn.example.skk.moe` 的解析结果是什么? * `1.2.3.4` 问 `skk.moe` 的权威 DNS 查询:`alicdn.example.skk.moe` 的解析结果是什么? * `skk.moe` 的权威 DNS 告诉 `1.2.3.4`:`alicdn.example.skk.moe` 用 CNAME 指向了 `alicdn.example.skk.moe.w.alikunlun.com`。 * 于是 `1.2.3.4` 把结果返回给你:`alicdn.example.skk.moe` 用 CNAME 指向了 `alicdn.example.skk.moe.w.alikunlun.com` * 你问 `1.2.3.4`:请问 `alicdn.example.skk.moe.w.alikunlun.com` 的解析结果是什么? * `1.2.3.4` 问 `alikunlun.com` 的权威 DNS:`alicdn.example.skk.moe.w.alikunlun.com` 的解析结果是什么? * `alikunlun.com` 是阿里云 CDN 的域名,阿里的权威 DNS 开始找:地理位置最接近 `1.2.3.4` 的 CDN 节点是哪些?有 `19.19.8.10`。 * `alikunlun.com` 告诉 `1.2.3.4`:`alicdn.example.skk.moe.w.alikunlun.com` 解析到了 `19.19.8.10`。 * `1.2.3.4` 把结果返回给你:`alicdn.example.skk.moe.w.alikunlun.com` 解析到了 `19.19.8.10`。 ![](data:image/svg+xml,%3csvg%20xmlns=%27http://www.w3.org/2000/svg%27%20version=%271.1%27%20width=%271626%27%20height=%27341%27/%3e) ![](https://g.alicdn.com/s.gif) 因此,阿里云 CDN 并不是返回「最适合你」的 CDN 节点 IP,而是返回「最适合这个运营商 DNS」的 CDN 节点 IP。只不过由于运营商 DNS 一般都距离你很近,所以也可以把这个结果当作是「最适合你」的 CDN 节点 IP。 ### 公共 DNS 再后来,你听说南京信风提供的公共递归 DNS `114.114.114.114` 很有名,于是你手动将你的 DNS 设置为 `114.114.114.114`。 `114.114.114.114` 是一个 Anycast IP,即一个 IP 能够对应不同区域、不同 ISP 的多个数据中心、多台服务器。截止到本文写就,南京信风仅在江苏南京的 电信、联通、移动 和 美国伊利诺伊州芝加哥的 Cogent 广播了 `114.114.114.114`,也就是说 `114.114.114.114` 仅对应到了这两地的服务器节点。一般的,国内的用户连接 `114.114.114.114`,都是访问位于江苏南京的节点。 你通过 `114.114.114.114` 和通过运营商 DNS 获取 `alicdn.example.skk.moe` 的解析结果的过程大同小异,区别在于这一次,`alikunlun.com` 并不会试图返回最适合 `1.2.3.4`(你的运营商 DNS)的 CDN 节点,而是试图返回最适合江苏南京的 CDN 节点。 由于中国复杂的互联网环境和封闭的网络基础设施建设,很难将 Anycast 覆盖到中国 30 余省市的十数个主流运营商、如上文所说,南京信风的 `114.114.114.114` 在国内甚至只有一个节点、只能覆盖三个运营商;即使是腾讯云 DNSPod 和阿里的公共 DNS,在国内也只有不到 10 个节点。 ![](data:image/svg+xml,%3csvg%20xmlns=%27http://www.w3.org/2000/svg%27%20version=%271.1%27%20width=%271930%27%20height=%27852%27/%3e) ![](https://g.alicdn.com/s.gif) 因此,在国内使用公共 DNS,不仅不能够优化 CDN,反而还会劣化 CDN。也是因为同一个原因,运营商要劫持你的 DNS 查询,避免因为你的 DNS 设置不当、反而投诉运营商的网络速度慢、差。 与此同时,公共 DNS 为了解决少数 Anycast 节点无法对应到全国 30 余省市数十个运营商的问题,另辟蹊径想出了一个新的方案: ### 多出口 IP 的公共 DNS 有的公共 DNS 除了在全国设立 Anycast 节点、负责接收 DNS 查询以外,还在全国 30 余省市均部署了额外的服务器(称作「DNS 出口服务器」)。这些 DNS 出口服务器不会直接接收来自终端用户的 DNS 查询,而是 Anycast 节点接收到终端用户的 DNS 查询后,转交给 DNS 出口服务器再进行解析: * 你(`114.5.1.4`)向 `233.5.5.5` 发起查询:请问 `alicdn.example.skk.moe` 的解析结果是什么? * `223.5.5.5` 的众多 Anycast 节点中的一个收到了你的查询、开始寻找:我在全国部署的上百个 DNS 出口服务器中,哪一个是距离 `114.5.1.4` 最近的? * `223.5.5.5` 将 DNS 查询转交给距离你最近的 DNS 出口服务器(称作「DNS 出口 A」)。 * DNS 出口 A 问 `alikunlun.com` 的权威 DNS:`alicdn.example.skk.moe.w.alikunlun.com` 的解析结果是什么? * 阿里云 CDN 开始找:地理位置最接近 A 的 CDN 节点都是哪些? * `alikunlun.com` 告诉 A:`alicdn.example.skk.moe.w.alikunlun.com` 解析到了这些 IP。 * A 告诉 `223.5.5.5`:`alicdn.example.skk.moe.w.alikunlun.com` 解析到了这些 IP。 * `223.5.5.5` 告诉你:`alicdn.example.skk.moe.w.alikunlun.com` 解析到了这些 IP。 ![](data:image/svg+xml,%3csvg%20xmlns=%27http://www.w3.org/2000/svg%27%20version=%271.1%27%20width=%272151%27%20height=%271200%27/%3e) ![](https://g.alicdn.com/s.gif) 这样,虽然接收到你查询的公共 DNS 的 Anycast 节点不一定距离你非常非常近,但是最终向权威 DNS 发起查询的,却是距离你尽可能近的「DNS 出口服务器」,因此得到的「最适合 DNS 出口服务器」的 CDN 节点 IP、也是最适合你的。 ### 支持 EDNS Client Subnet 的公共 DNS 为了解决权威 DNS 难以根据终端用户的真实 IP 返回最适合用户的 CDN 节点的问题,IETF 通过了 [RFC7871](https://datatracker.ietf.org/doc/html/rfc7871),即 EDNS Client Subnet(ECS)。RFC7871 定义了在 DNS 查询时,用户可以指定一个 IP 网段,权威 DNS 可以据此返回最适合这个 IP 网段的 CDN 节点: * 你(`114.5.1.4`)问支持 ECS 的公共 DNS `119.29.29.29`:我是 `114.5.1.0/24`,请问 `alicdn.example.skk.moe.w.alikunlun.com` 的解析结果是什么? * `119.29.29.29` 问 `alikunlun.com` 的权威 DNS:`114.5.1.0/24` 在问 `alicdn.example.skk.moe.w.alikunlun.com` 的解析结果是什么? * 阿里云 CDN 开始找:地理位置最接近 `114.5.1.0/24` 的 CDN 节点都是哪些? * `alikunlun.com` 告诉 `119.29.29.29`:`alicdn.example.skk.moe.w.alikunlun.com` 解析到了这些 IP。 * `119.29.29.29` 把结果返回给你:`alicdn.example.skk.moe.w.alikunlun.com` 解析到了这些 IP。 ![](data:image/svg+xml,%3csvg%20xmlns=%27http://www.w3.org/2000/svg%27%20version=%271.1%27%20width=%271930%27%20height=%27852%27/%3e) ![](https://g.alicdn.com/s.gif) 虽然 ECS 解决了权威 DNS 无法获取用户真实 IP 的问题,但是在实践中仍然存在一些困难: * 使用 ECS 有可能泄漏用户的隐私信息,一些公共 DNS(如 Cloudflare 的 `1.1.1.1` 和 `1.0.0.1`)因此拒绝提供 ECS 支持。 * 在 [RFC7871 的 11.2 章节](https://datatracker.ietf.org/doc/html/rfc7871#section-11.2) 中提到了一种针对 ECS 的攻击(即 Birthday Attack),因此当 DNS 请求 / 响应中的 ECS 信息不完整时、需要彻底忽略 ECS,降级回传统 DNS 查询。 * 使用 ECS 会降低递归 DNS 的性能、甚至可以被用于发动针对递归 DNS 的攻击:以前一个递归 DNS 可以为所有人缓存同一个 CDN 节点 IP,现在却需要为每个人缓存不同的 CDN 节点 IP。[RFC7871 的 11.3 章节](https://datatracker.ietf.org/doc/html/rfc7871#section-11.3) 也因此指出,并非所有的递归 DNS 都需要支持 ECS。 * ECS 需要从用户、到递归 DNS、到权威 DNS 全链路均提供支持才能生效。虽然在 [DNSFlagDay](https://dnsflagday.net/) 的大力推动下,绝大部分权威 DNS 已经支持 ECS,但在递归 DNS 中 ECS 的普及率仍然不容乐观。 在补充介绍了递归 DNS 是如何优化 CDN 结果后,不难得出结论: * 需要被代理的域名、**必须在远端代理服务器上进行解析**、才能得到最合适的解析结果。 * 在本地对需要代理的域名进行 DNS 解析,只不过是为了让 Surge/Clash 等软件能够基于 IP 分流(Surge/Clash 的 TUN/TAP 会直接返回 Fake IP、本地 DNS 解析的结果根本不会暴露给外部)罢了。本地 DNS 解析的结果不需要很精确,**建议牺牲准确度换更快的速度**。 * 为了能够让被代理的域名在远端服务器上解析,**在通过某种协议将代理请求发送给远端代理服务器时,必须直接封装该网络请求的域名**。 * 使用 Surge/Clash 等软件后,**完全无需使用 dnsproxy 或 dns2socks 转发本地 DNS 查询。代理此类 DNS 查询不仅没有必要,反而会导致延迟升高、影响上网体验**。 正确配置 SmartDNS ------------- SmartDNS 是一个运行在本地的 DNS 服务器,它接受来自本地客户端的 DNS 查询请求,然后从多个上游 DNS 服务器获取 DNS 查询结果,并将访问速度最快的结果返回给客户端,以此提高网络访问速度。 SmartDNS 同时支持指定特定域名 IP 地址,能够以极高的性能进行匹配,可用于过滤广告或分流。 由于 SmartDNS 的极致性能和强大特性,以及「提高网络访问速度」的功能,许多 YouTube 视频和教程文档都将其奉若神明、称为一切的解药。然而事实上,如果不经过仔细的配置,SmartDNS 不仅不能起到预期的效果,反而还会导致负优化。 正如我在前文与 [浅谈在代理环境中的 DNS 解析行为](https://blog.skk.moe/post/what-happend-to-dns-in-proxy/) 一文中所说,如果一个网络请求将会被封装转发给远端代理服务器、会在远端代理服务器进行 DNS 解析,因此在本机进行的 DNS 解析得到的结果是没有任何意义的。因此,需要被代理的域名,并不在乎能否得到延时最低的 IP,**只需要不干扰 Surge/Clash 等软件的 IP 分流规则即可,无需非常精确**。 因此,不需要对 SmartDNS 产生的 DNS 查询请求和测速握手进行代理。将 DNS 查询转发给远端代理服务器会大幅增加 DNS 解析用时、影响上网体验! 因此,需要被代理的域名不需要进行测速——测速不仅浪费一个 RTT,而且 ISP 和其它中间人可能会记录你的 ICMP 或 TCP 握手行为。除此以外,考虑到绝大部分递归 DNS(Local DNS)都可能存留日志用作各种用途(如下图所示的「中国科学技术大学 USTC 校园网 DNS 最近 10 分钟查询统计」),需要被代理的域名也最好不要选用位于国内的递归 DNS 作为上游。 ![](data:image/svg+xml,%3csvg%20xmlns=%27http://www.w3.org/2000/svg%27%20version=%271.1%27%20width=%27906%27%20height=%27938%27/%3e) ![](https://g.alicdn.com/s.gif) ### 中场休息:SmartDNS 是如何避免因测速导致 DNS 解析过慢的 第二个中场休息环节,这次简单讲讲 SmartDNS 的工作原理。 有一些人认为,SmartDNS 配置了数十个上游,需要对上游返回的每一个 IP 都进行测速,反而严重影响 DNS 解析速度。但是实际使用 SmartDNS 后,并没有出现 DNS 解析过慢的情况。这是因为 SmartDNS 早就考虑到了测速与延时的问题、并进行了相关的优化。SmartDNS 在首次 DNS 解析请求时,会同时向所有上游发起并发查询;一旦有一个上游返回了结果,SmartDNS 就会对这第一个返回的结果进行测速,得到其中延时最低的 IP,将其返回给用户、设置 TTL 为 10;与此同时,SmartDNS 仍然会等待剩余上游返回结果、异步进行测速,直到所有上游都返回了结果(或超时)、SmartDNS 将所有的 IP 都进行测速以后,才会得到最优 IP: * 假设我们向 SmartDNS 解析一个域名 `example.skk.moe`,由于没有命中 SmartDNS 的缓存,因此不得不向上游获取结果。 * SmartDNS 同时向上游 A、B、C 发起查询请求 * 假设上游 B 最先返回了查询结果,查询结果包含了三个 IP:`114.5.1.4`、`11.45.1.4` 和 `19.19.8.10`。 * SmartDNS 立刻开始对这三个 IP 进行测速。假设测得延时最低的 IP 是 `11.45.1.4` * SmartDNS 会立刻返回 `11.45.1.4` 给客户端,同时设置 TTL 为 10(即指示 `11.45.1.4` 只应该在客户端被缓存 10 秒中) * 在接下来 10 秒内,客户端都会使用都会使用 `11.45.1.4` 来处理发往 `example.skk.moe` 的网络连接;与此同时 SmartDNS 仍然在等待上游 A 和 C 的结果。 * 一旦上游 A 和 C 的查询结果也都返回,SmartDNS 会把上游 A、B、C 的结果进行汇总去重、重新测速,最终得到最快的那个 IP。 * 由于 SmartDNS 有着非常严格的超时设置,因此上述「等待剩余上游结果并分别进行测速」步骤不会超过 10 秒。 * 等到 10 秒过去、客户端再次向 SmartDNS 查询 `example.skk.moe` 时,SmartDNS 才会返回最快的 IP、并设置一个「正确」的 TTL。 总而言之,SmartDNS 首先会尽快返回一个「次优」的 IP、要求客户端仅在接下来 10 秒钟内使用「次优」的 IP,之后 SmartDNS 就能返回「最优」的 IP。 不过正如我在前文所说,Surge 支持针对 DNS 返回的多个 IP 同时进行握手、并使用最先完成握手的 TCP 进行后续请求(丢弃其余的 TCP 握手),因此 Surge 使用的 IP 一定是延时最低的、而且能够跳过出现故障的 IP;而且 Surge 复用了并发握手时的 TCP 连接进行后续请求,因此延时比 SmartDNS「先测速、后返回 IP」更低。 因此在搭配 Surge 使用时,上游 DNS 不需要自带测速;最好是能合并多个上游返回的结果,将多个上游返回的一大堆 IP 全部喂给 Surge、让其并发握手。我给 SmartDNS 开了 [对应的 Feature Request](https://github.com/pymumu/smartdns/issues/994),感兴趣的可以关注一下。 ### 在 SmartDNS 中使用 dnsmasq-china-list 进行分流 [felixonmars/dnsmasq-china-list](https://github.com/felixonmars/dnsmasq-china-list) 是一组开源的,覆盖了绝大部分中国大陆的域名的 dnsmasq 配置文件,也可以通过预定义的 `Makefile` 生成供 unbound、bind9、dnscrypt-proxy、SmartDNS、AdGuardHome、coredns 使用的配置文件。截至本文写就,`dnsmasq-china-list` 已经收录了 65743 个域名。满足以下任意两条规则之一的域名即会被收录到列表中: * 是 `.cn` 后缀的域名(包括 `.edu.cn`、`.gov.cn`、`.org.cn`、`.ac.cn` 等) * 满足以下两条规则中任意一条的、非 `.cn` 后缀的域名: * 域名使用的权威 DNS(Authoritative DNS)拥有位于中国大陆境内的节点 * 通过位于中国大陆境内的递归 DNS 解析时,解析得到的 IP 位于中国大陆境内 如果需要设置 SmartDNS 针对指定域名使用与默认配置不同的上游进行解析,可以使用 `nameserver`,如下所示: ``` nameserver /example.cn/domestic ``` 如果需要设置 SmartDNS 针对指定域名不使用默认配置的上游、且采用与默认不同的测速方式,需要使用 `domain-rules`,如下所示: ``` domain-rules /example.cn/ -speed-check-mode tcp:80 -nameserver domestic ``` `dnsmasq-china-list` 预定义的 `Makefile` 同时支持生成上述两种配置格式的文件。使用下述命令可以生成使用 `nameserver` 的配置条目: ``` make SERVER=domestic smartdns ``` 我给 `dnsmasq-china-list` 开了 PR([felixonmars/dnsmasq-china-list#381](https://github.com/felixonmars/dnsmasq-china-list/pull/381))且已经被合并,现在已经可以生成使用 `domain-rules` 的配置条目: ``` make SERVER=domestic SMARTDNS_SPEEDTEST_MODE=tcp:80 smartdns-domain-rules ``` 注意,你可能需要安装 `make` 才可以使用上述命令。在 macOS 上,`make` 包含在 Xcode Command Line Tools 之中。 ### 配置 SmartDNS 上游和仅测速国内域名 如前文所说,在本地解析需要被代理的域名时,不需要测速、也不一定要绝对准确,只需要解析得到的 IP 不会干扰 Surge/Clash 分流即可;只将国内的递归 DNS 作为上游解析国内直连域名,也只对其进行测速。因此,我们使用「白名单」策略,默认解析不测速、不使用国内递归 DNS 作为上游。 首先需要禁用 SmartDNS 全局的测速设置: ``` speed-check-mode none ``` 然后设置两组上游 DNS:默认的一组不位于中国大陆境内的递归 DNS;另一组位于中国大陆境内的递归 DNS,仅用于解析 `dnsmasq-china-list` 列表中的域名: ``` # ----- Default Group ----- # 默认使用的上游 DNS 组 # OpenDNS 非常规 443 端口、支持 TCP 查询 server-tcp 208.67.220.220:443 # OpenDNS 的 IP DoH server-https https://146.112.41.2/dns-query # TWNIC 的 IP DoH server-https https://101.101.101.101/dns-query # 你也可以配置其它 DNS 作为上游 # ----- Domestic Group: domestic ----- # 仅用于解析 dnsmasq-china-list 列表中的域名 # 腾讯 DNSPod IP DoT server-tls 1.12.12.12:853 -group domestic -exclude-default-group server-tls 120.53.53.53:853 -group domestic -exclude-default-group # 阿里 IP DoT server-tls 223.5.5.5:853 -group domestic -exclude-default-group server-tls 223.6.6.6:853 -group domestic -exclude-default-group # 114 DNS、使用 TCP 查询 server-tcp 114.114.114.114 -group domestic -exclude-default-group server-tcp 114.114.115.115 -group domestic -exclude-default-group # CNNIC 公共 DNS、仅支持 UDP 查询 server 1.2.4.8 -group domestic -exclude-default-group server 210.2.4.8 -group domestic -exclude-default-group ``` 其中,设置有 `-exclude-default-group` 的上游 DNS 默认不会被使用,仅当 `domain-rules` 或 `nameserver` 配置明确指定时使用。 你可能注意到,我的配置中添加了 CNNIC(中国互联网络信息中心)的公共 DNS。这是考虑到 CNNIC 的公共 DNS 节点质量较差、出口 IP 位置稀少、基本没有针对 CDN 做任何优化(截至本文写就,`1.2.4.8` 的 Anycast 仅在 浙江杭州阿里云 和 香港 Zenlayer 广播路由,`210.2.4.8` 的 Anycast 仅在 北京联通 广播路由)。所以,一般情况下,只有 CNNIC 的公共 DNS **一定不能** 返回距离我位置最近的 CDN 节点(其余的公共 DNS 基本都会返回给我最优的 CDN 节点)。 设想一下,除 CNNIC 外、大部分公共 DNS 都会尽可能返回距离我本地运营商最近的、最优的 CDN 节点;由于 SmartDNS 的测速和优选,CNNIC 返回的非最优 CDN 节点一般会被忽略。然而,假如距离我最近的 CDN 节点出现故障,只有 CNNIC 能够给我返回不一样的 CDN 节点、能够响应 SmartDNS 测速,因此我能够使用并非最优、但是可用的 CDN 节点「救急」、不至于直接「断网」。 简单来说,就是因为 CNNIC 公共 DNS **能够非常稳定地提供质量最差的递归 DNS 服务、不会间歇发生解析质量好转**,才得以入选。 最后,引入前文由 `dnsmasq-china-list` 生成的 `domain-rules` 配置文件: ``` conf-file /path/to/dnsmasq-china-list/accelerated-domains.china.domain.smartdns.conf conf-file /path/to/dnsmasq-china-list/apple.china.domain.smartdns.conf ``` 参考资料 ---- * [Surge 对网络体验的优化](https://community.nssurge.com/d/4-surge) * [RFC3809 - A SOCKS-based IPv6/IPv4 Gateway Mechanism](https://www.rfc-editor.org/rfc/rfc3089) * [使用公共 DNS 上网的弊端(一)](https://ephen.me/2017/PublicDns_1/) * [使用公共 DNS 上网的弊端(二)](https://ephen.me/2017/PublicDns_2/)
Jonny
2022年11月4日 15:07
1408
0 条评论
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
如遇文档失效,可评论告知,便后续更新!
【腾讯云】2核2G云服务器新老同享 99元/年,续费同价
【阿里云】2核2G云服务器新老同享 99元/年,续费同价(不要✓自动续费)
【腾讯云】2核2G云服务器新老同享 99元/年,续费同价
【阿里云】2核2G云服务器新老同享 99元/年,续费同价(不要✓自动续费)
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期