技术文档收录
ASCII
Tcpdump
IPV4保留地址段
深入理解以太网网线原理 - 三帛的世界
Linux
WireGuard 一键安装脚本 | 秋水逸冰
SSH Config 那些你所知道和不知道的事 | Deepzz's Blog
Linux 让终端走代理的几种方法
ubuntu 20.04 server 版设置静态 IP 地址 - 链滴
Linux 挂载 Windows 共享磁盘的方法 - 技术学堂
将 SMB/CIFS 网络硬盘永久的挂载到 Ubuntu 上 - 简书
linux 获取当前脚本的绝对路径 | aimuke
[Linux] Linux 使用 / dev/urandom 生成随机数 - piaohua's blog
Linux 生成随机数的多种方法 | Just Do It
Linux 的 Centos7 版本下忘记 root 或者普通用户密码怎么办?
Git 强制拉取覆盖本地
SSH 安全加固指南 - FreeBuf 网络安全行业门户
Linux 系统安全强化指南 - FreeBuf 网络安全行业门户
Linux 入侵排查 - FreeBuf 网络安全行业门户
sshd_config 配置详解 - 简书
SSH 权限详解 - SegmentFault 思否
CentOS 安装 node.js 环境 - SegmentFault 思否
如何在 CentOS 7 上安装 Node.js 和 npm | myfreax
几款 ping tcping 工具总结
OpenVpn 搭建教程 | Jesse's home
openvpn 一键安装脚本 - 那片云
OpenVPN 解决 每小时断线一次 - 爱开源
OpenVPN 路由设置 – 凤曦的小窝
OpenVPN 设置非全局代理 - 镜子的记录簿
TinyProxy 使用帮助 - 简书
Ubuntu 下使用 TinyProxy 搭建代理 HTTP 服务器_Linux_运维开发网_运维开发技术经验分享
Linux 软件包管理工具 Snap 常用命令 - 简书
linux systemd 参数详解
Systemd 入门教程:命令篇 - 阮一峰的网络日志
记一次 Linux 木马清除过程
rtty:在任何地方通过 Web 访问您的终端
02 . Ansible 高级用法 (运维开发篇)
终于搞懂了服务器为啥产生大量的 TIME_WAIT!
巧妙的 Linux 命令,再来 6 个!
77% 的 Linux 运维都不懂的内核问题,这篇全告诉你了
运维工程师必备:请收好 Linux 网络命令集锦
一份阿里员工的 Java 问题排查工具单
肝了 15000 字性能调优系列专题(JVM、MySQL、Nginx and Tomcat),看不完先收
作业调度算法(FCFS,SJF,优先级调度,时间片轮转,多级反馈队列) | The Blog Of WaiterXiaoYY
看了这篇还不会 Linux 性能分析和优化,你来打我
2019 运维技能风向标
更安全的 rm 命令,保护重要数据
求你了,别再纠结线程池大小了!
Linux sudo 详解 | 失落的乐章
重启大法好!线上常见问题排查手册
sudo 使用 - 笨鸟教程的博客 | BY BenderFly
shell 在手分析服务器日志不愁? - SegmentFault 思否
sudo 与 visudo 的超细用法说明_陈发哥 007 的技术博客_51CTO 博客
ESXI 下无损扩展 Linux 硬盘空间 | Naonao Blog
Linux 学习记录:su 和 sudo | Juntao Tan 的个人博客
使用者身份切换 | Linux 系统教程(笔记)
你会使用 Linux 编辑器 vim 吗?
在 Windows、Linux 和 Mac 上查看 Wi-Fi 密码
linux 隐藏你的 crontab 后门 - 简书
Linux 定时任务详解 - Tr0y's Blog
linux 的 TCP 连接数量最大不能超过 65535 个吗,那服务器是如何应对百万千万的并发的?_一口 Linux 的博客 - CSDN 博客_tcp 连接数多少正常
万字长文 + 28 张图,一次性说清楚 TCP,运维必藏
为什么 p2p 模式的 tunnel 底层通常用 udp 而不是 tcp?
记一次服务器被入侵挖矿 - tlanyan
shell 判断一个变量是否为空方法总结 - 腾讯云开发者社区 - 腾讯云
系统安装包管理工具 | Escape
编译代码时动态地链接库 - 51CTO.COM
甲骨文 Oracle Cloud 添加新端口开放的方法 - WirelessLink 社区
腾讯云 Ubuntu 添加 swap 分区的方法_弓弧名家_玄真君的博客 - CSDN 博客
Oracle 开放全部端口并关闭防火墙 - 清~ 幽殇
谁再说不熟悉 Linux 命令, 就把这个给他扔过去!
即插即用,运维工程师必会正则表达式大全
Shell脚本编写及常见面试题
Samba 文件共享服务器
到底一台服务器上最多能创建多少个 TCP 连接 | plantegg
SSH 密钥登录 - SSH 教程 - 网道
在 Bash 中进行 encodeURIComponent/decodeURIComponent | Harttle Land
使用 Shell 脚本来处理 JSON - Tom CzHen's Blog
Docker
「Docker」 - 保存镜像 - 知乎
终于可以像使用 Docker 一样丝滑地使用 Containerd 了!
私有镜像仓库选型:Harbor VS Quay - 乐金明的博客 | Robin Blog
exec 与 entrypoint 使用脚本 | Mr.Cheng
Dockerfile 中的 CMD 与 ENTRYPOINT
使用 Docker 配置 MySQL 主从数据库 - 墨天轮
Alpine vs Distroless vs Busybox – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
再见,Docker!
docker save 与 docker export 的区别 - jingsam
如何优雅的关闭容器
docker 储存之 tmpfs 、bind-mounts、volume | 陌小路的个人博客
Dockerfile 中 VOLUME 与 docker -v 的区别是什么 - 开发技术 - 亿速云
理解 docker 容器的退出码 | Vermouth | 博客 | docker | k8s | python | go | 开发
【Docker 那些事儿】容器监控系统,来自 Docker 的暴击_飞向星的客机的博客 - CSDN 博客
【云原生】Docker 镜像详细讲解_微枫 Micromaple 的博客 - CSDN 博客_registry-mirrors
【云原生】Helm 架构和基础语法详解
CMD 和 Entrypoint 命令使用变量的用法
实时查看容器日志 - 苏洋博客
Traefik 2 使用指南,愉悦的开发体验 - 苏洋博客
为你的 Python 应用选择一个最好的 Docker 映像 | 亚马逊 AWS 官方博客
【云原生】镜像构建实战操作(Dockerfile)
Docker Compose 中的 links 和 depends_on 的区别 - 编程知识 - 白鹭情
Python
Pipenv:新一代Python项目环境与依赖管理工具 - 知乎
Python list 列表实现栈和队列
Python 各种排序 | Lesley's blog
Python 中使用 dateutil 模块解析时间 - SegmentFault 思否
一个小破网站,居然比 Python 官网还牛逼
Python 打包 exe 的王炸 - Nuitka
Django - - 基础 - - Django ORM 常用查询语法及进阶
[Python] 小知識:== 和 is 的差異 - Clay-Technology World
Window
批处理中分割字符串 | 网络进行时
Windows 批处理基础命令学习 - 简书
在Windows上设置WireGuard
Windows LTSC、LTSB、Server 安装 Windows Store 应用商店
windows 重启 rdpclip.exe 的脚本
中间件
Nginx 中的 Rewrite 的重定向配置与实践
RabbitMQ 的监控
RabbitMq 最全的性能调优笔记 - SegmentFault 思否
为什么不建议生产用 Redis 主从模式?
高性能消息中间件——NATS
详解:Nginx 反代实现 Kibana 登录认证功能
分布式系统关注点:仅需这一篇,吃透 “负载均衡” 妥妥的
仅需这一篇,妥妥的吃透” 负载均衡”
基于 nginx 实现上游服务器动态自动上下线——不需 reload
Nginx 学习书单整理
最常见的日志收集架构(ELK Stack)
分布式之 elk 日志架构的演进
CAT 3.0 开源发布,支持多语言客户端及多项性能提升
Kafka 如何做到 1 秒处理 1500 万条消息?
Grafana 与 Kibana
ELK 日志系统之通用应用程序日志接入方案
ELK 简易 Nginx 日志系统搭建: ElasticSearch+Kibana+Filebeat
记一次 Redis 连接池问题引发的 RST
把 Redis 当作队列来用,你好大的胆子……
Redis 最佳实践:业务层面和运维层面优化
Redis 为什么变慢了?常见延迟问题定位与分析
好饭不怕晚,扒一下 Redis 配置文件的底 Ku
rabbitmq 集群搭建以及万级并发下的性能调优
别再问我 Redis 内存满了该怎么办了
Nginx 状态监控及日志分析
uWSGI 的安装及配置详解
uwsgi 异常服务器内存 cpu 爆满优化思路
Uwsgi 内存占用过多 - 简书
Nginx 的 limit 模块
Nginx 内置模块简介
Redis 忽然变慢了如何排查并解决?_redis_码哥字节_InfoQ 写作社区
领导:谁再用 redis 过期监听实现关闭订单,立马滚蛋!
Nginx 限制 IP 访问频率以及白名单配置_问轩博客
Nginx $remote_addr 和 $proxy_add_x_forwarded_for 变量详解
Caddy 部署实践
一文搞定 Nginx 限流
数据库
SqlServer 将数据库中的表复制到另一个数据库_MsSql_脚本之家
SQL Server 数据库同步,订阅、发布、复制、跨服务器
sql server 无法删除本地发布 | 辉克's Blog
SQLite全文检索
SQL 重复记录查询的几种方法 - 简书
SQL SERVER 使用订阅发布同步数据库(转)
Mysql 查看用户连接数配置及每个 IP 的请求情况 - 墨天轮
优化 SQL 的 21 条方案
SQL Server 连接时好时坏的奇怪问题
MS SQL 执行大脚本文件时,提示 “内存不足” 的解决办法 - 阿里云开发者社区
防火墙-iptables
iptables 常用规则:屏蔽 IP 地址、禁用 ping、协议设置、NAT 与转发、负载平衡、自定义链
防火墙 iptables 企业防火墙之 iptables
Linux 防火墙 ufw 简介
在 Ubuntu 中用 UFW 配置防火墙
在 Ubuntu20.04 上怎样使用 UFW 配置防火墙 - 技术库存网
监控类
开箱即用的 Prometheus 告警规则集
prometheus☞搭建 | zyh
docker 部署 Prometheus 监控服务器及容器并发送告警 | chris'wang
PromQL 常用命令 | LRF 成长记
prometheus 中使用 python 手写 webhook 完成告警
持续集成CI/CD
GitHub Actions 的应用场景 | 记录干杯
GithubActions · Mr.li's Blog
工具类
GitHub 中的开源网络广告杀手,十分钟快速提升网络性能
SSH-Auditor:一款 SHH 弱密码探测工具
别再找了,Github 热门开源富文本编辑器,最实用的都在这里了 - srcmini
我最喜欢的 CLI 工具
推荐几款 Redis 可视化工具
内网代理工具与检测方法研究
环境篇:数据同步工具 DataX
全能系统监控工具 dstat
常用 Web 安全扫描工具合集
给你一款利器!轻松生成 Nginx 配置文件
教程类
Centos7 搭建神器 openvpn | 运维随笔
搭建 umami 收集个人网站统计数据 | Reorx’s Forge
openvpn安装教程
基于 gitea+drone 完成小团队的 CI/CD - 德国粗茶淡饭
将颜色应用于交替行或列
VMware Workstation 全系列合集 精简安装注册版 支持 SLIC2.6、MSDM、OSX 更新 16.2.3_虚拟机讨论区_安全区 卡饭论坛 - 互助分享 - 大气谦和!
在 OpenVPN 上启用 AD+Google Authenticator 认证 | 运维烂笔头
Github 进行 fork 后如何与原仓库同步:重新 fork 很省事,但不如反复练习版本合并 · Issue #67 · selfteaching/the-craft-of-selfteaching
卧槽,VPN 又断开了!!- 阿里云开发者社区
Grafana Loki 学习之踩坑记
zerotier 的 planet 服务器(根服务器)的搭建踩坑记。无需 zerotier 官网账号。
阿里云 qcow2 镜像转 vmdk,导入 ESXi - 唐际忠的博客
Caddy 入门 – 又见杜梨树
【Caddy2】最新 Caddy2 配置文件解析 - Billyme 的博客
Web 服务器 Caddy 2 | Haven200
手把手教你打造高效的 Kubernetes 命令行终端
Keras 作者:给软件开发者的 33 条黄金法则
超详细的网络抓包神器 Tcpdump 使用指南
使用 fail2ban 和 FirewallD 黑名单保护你的系统
linux 下 mysql 数据库单向同步配置方法分享 (Mysql)
MySQL 快速删除大量数据(千万级别)的几种实践方案
GitHub 上的优质 Linux 开源项目,真滴牛逼!
WireGuard 教程:使用 Netmaker 来管理 WireGuard 的配置 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Tailscale 基础教程:Headscale 的部署方法和使用教程 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Nebula Graph 的 Ansible 实践
改进你的 Ansible 剧本的 4 行代码
Caddy 2 快速简单安装配置教程 – 高玩梁的博客
切换至 Caddy2 | 某不科学的博客
Caddy2 简明教程 - bleem
树莓派安装 OpenWrt 突破校园网限制 | Asttear's Blog
OpenVPN 路由设置 – 凤曦的小窝
个性化编译 LEDE 固件
盘点各种 Windows/Office 激活工具
[VirtualBox] 1、NAT 模式下端口映射
VirtualBox 虚拟机安装 openwrt 供本机使用
NUC 折腾笔记 - 安装 ESXi 7 - 苏洋博客
锐捷、赛尔认证 MentoHUST - Ubuntu 中文
How Do I Use A Client Certificate And Private Key From The IOS Keychain? | OpenVPN
比特记事簿: 笔记: 使用电信 TR069 内网架设 WireGuard 隧道异地组网
利用 GitHub API 获取最新 Releases 的版本号 | 这是只兔子
docsify - 生成文档网站简单使用教程 - SegmentFault 思否
【干货】Chrome 插件 (扩展) 开发全攻略 - 好记的博客
一看就会的 GitHub 骚操作,让你看上去像一位开源大佬
【计算机网络】了解内网、外网、宽带、带宽、流量、网速_墩墩分墩 - CSDN 博客
mac-ssh 配置 | Sail
如何科学管理你的密码
VirtualBox NAT 端口映射实现宿主机与虚拟机相互通信 | Shao Guoliang 的博客
CentOS7 配置网卡为静态 IP,如果你还学不会那真的没有办法了!
laisky-blog: 近期折腾 tailscale 的一些心得
使用 acme.sh 给 Nginx 安装 Let’ s Encrypt 提供的免费 SSL 证书 · Ruby China
acme 申请 Let’s Encrypt 泛域名 SSL 证书
从 nginx 迁移到 caddy
使用 Caddy 替代 Nginx,全站升级 https,配置更加简单 - Diamond-Blog
http.proxy - Caddy 中文文档
动手撸个 Caddy(二)| Caddy 命令行参数最全教程 | 飞雪无情的总结
Caddy | 学习笔记 - ijayer
Caddy 代理 SpringBoot Fatjar 应用上传静态资源
使用 graylog3.0 收集 open××× 日志进行审计_年轻人,少吐槽,多搬砖的技术博客_51CTO 博客
提高国内访问 github 速度的 9 种方法! - SegmentFault 思否
VM16 安装 macOS 全网最详细
2022 目前三种有效加速国内 Github
How to install MariaDB on Alpine Linux | LibreByte
局域网内电脑 - ipad 文件共享的三种方法 | 岚
多机共享键鼠软件横向测评 - 尚弟的小笔记
VLOG | ESXI 如何升级到最新版,无论是 6.5 还是 6.7 版本都可以顺滑升级。 – Vedio Talk - VLOG、科技、生活、乐分享
远程修改 ESXi 6.7 管理 IP 地址 - 腾讯云开发者社区 - 腾讯云
几乎不要钱自制远程 PLC 路由器方案
traefik 简易入门 | 个人服务器运维指南 | 山月行
更完善的 Docker + Traefik 使用方案 - 苏洋博客
MicroSD·TF 卡终极探秘 ·MLC 颗粒之谜 1 三星篇_microSD 存储卡_什么值得买
macOS 绕过公证和应用签名方法 - 走客
MiscSecNotes / 内网端口转发及穿透. md at master · JnuSimba/MiscSecNotes
我有特别的 DNS 配置和使用技巧 | Sukka's Blog
SEO:初学者完整指南
通过 OpenVPN 实现流量审计
OpenVPN-HOWTO
OpenVPN Server · Devops Roadmap
Linux 运维必备的 13 款实用工具, 拿好了~
linux 平台下 Tomcat 的安装与优化
Linux 运维跳槽必备的 40 道面试精华题
Bash 脚本进阶,经典用法及其案例 - alonghub - 博客园
推荐几个非常不错的富文本编辑器 - 走看看
在 JS 文件中加载 JS 文件的方法 - 月光博客
#JavaScript 根据需要动态加载脚本并设置自定义参数
笔记本电脑 BIOS 修改及刷写教程
跨平台加密 DNS 和广告过滤 personalDNSfilter · LinuxTOY
AdGuard Home 安装及使用指北
通过 Amazon S3 协议挂载 OSS
记一次云主机如何挂载对象存储
本文档发布于https://mrdoc.fun
-
+
首页
linux 的 TCP 连接数量最大不能超过 65535 个吗,那服务器是如何应对百万千万的并发的?_一口 Linux 的博客 - CSDN 博客_tcp 连接数多少正常
> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码, 原文地址 [blog.csdn.net](https://blog.csdn.net/daocaokafei/article/details/115410761) 首先,问题中描述的 65535 个连接指的是客户端连接数的限制。 在 tcp 应用中,server 事先在某个固定端口监听,client 主动发起连接,经过三路握手后建立 tcp 连接。那么对单机,其最大[并发](https://so.csdn.net/so/search?q=%E5%B9%B6%E5%8F%91&spm=1001.2101.3001.7020) tcp 连接数是多少呢? 如何标识一个 TCP 连接 ------------- 在确定最大连接数之前,先来看看系统如何标识一个 tcp 连接。系统用一个 4 四[元组](https://so.csdn.net/so/search?q=%E5%85%83%E7%BB%84&spm=1001.2101.3001.7020)来唯一标识一个 TCP 连接:{localip, localport,remoteip,remoteport}。 client 最大 tcp 连接数 ----------------- client 每次发起 tcp 连接请求时,除非绑定端口,通常会让系统选取一个空闲的本地端口(local port),该端口是独占的,不能和其他 tcp 连接共享。tcp 端口的数据类型是 unsigned short,因此本地端口个数最大只有 65536,端口 0 有特殊含义,不能使用,这样可用端口最多只有 65535,所以在全部作为 client 端的情况下,一个 client 最大 tcp 连接数为 65535,这些连接可以连到不同的 serverip。 server 最大 tcp 连接数 ----------------- server 通常固定在某个本地端口上监听,等待 client 的连接请求。不考虑地址重用(unix 的 SO_REUSEADDR 选项)的情况下,即使 server 端有多个 ip,本地监听端口也是独占的,因此 server 端 tcp 连接 4 元组中只有 remoteip(也就是 clientip)和 remote port(客户端 port)是可变的,因此最大 tcp 连接为客户端 ip 数 × 客户端 port 数,对 IPV4,不考虑 ip 地址分类等因素,最大 tcp 连接数约为 2 的 32 次方(ip 数)×2 的 16 次方(port 数),也就是 server 端单机最大 tcp 连接数约为 2 的 48 次方。 实际的 tcp 连接数 ----------- 上面给出的是理论上的单机最大连接数,在实际环境中,受到机器资源、操作系统等的限制,特别是 sever 端,其最大并发 tcp 连接数远不能达到理论上限。在 unix/linux 下限制连接数的主要因素是内存和允许的文件描述符个数(每个 tcp 连接都要占用一定内存,每个 socket 就是一个文件描述符),另外 1024 以下的端口通常为保留端口。 所以,对 server 端,通过增加内存、修改最大文件描述符个数等参数,单机最大并发 TCP 连接数超过 10 万, 甚至上百万是没问题的。 这明显是进入了思维的误区,65535 是指可用的端口总数,并不代表服务器同时只能接受 65535 个并发连接。 ------------------------------------------------------- 举个例子: 我们做了一个网站,绑定的是 TCP 的 80 端口,结果是所有访问这个网站的用户都是通过服务器的 80 端口访问,而不是其他端口。可见端口是可以复用的。 ![](https://img-blog.csdnimg.cn/img_convert/b701ad5db9ca0e9a1f6acbc69732e6f0.png) 即使 Linux 服务器只在 80 端口侦听服务, 也允许有 10 万、100 万个用户连接服务器。Linux 系统不会限制连接数至于服务器能不能承受住这么多的连接,取决于服务器的硬件配置、软件架构及优化。 01 -- 我们知道两个进程如果需要进行通讯最基本的一个前提是:能够唯一的标示一个进程。在本地进程通讯中我们可以使用 PID 来唯一标示一个进程,但 PID 只在本地唯一,网络中的两个进程 PID 冲突几率很大。 这时候就需要另辟它径了,IP 地址可以唯一标示主机,而 TCP 层协议和端口号可以唯一标示主机的一个进程,这样可以利用 IP 地址+协议+端口号唯一标示网络中的一个进程。 能够唯一标示网络中的进程后,它们就可以利用 socket 进行通信了。socket(套接字)是在应用层和传输层之间的一个抽象层,它把 TCP/IP 层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。 ![](https://img-blog.csdnimg.cn/img_convert/e90fa47b11c759f6755f58a3e58f8a2c.png) socket 源自 Unix,是一种 "打开—读 / 写—关闭" 模式的实现,服务器和客户端各自维护一个 "文件",在建立连接打开后,可以向自己文件写入内容供对方读取或者读取对方内容,通讯结束时关闭文件。 02 -- 唯一能够确定一个连接有 4 个东西: 1. 服务器的 IP 2. 服务器的 Port 3. 客户端的 IP 4. 客户端的 Port 服务器的 IP 和 Port 可以保持不变,只要客户端的 IP 和 Port 彼此不同就可以确定一个连接数。 ![](https://img-blog.csdnimg.cn/img_convert/565e5a056fd970d3450db529fded4987.png) 一个 socket 是可以建立多个连接的,一个 TCP 连接的标记为一个四元组 (source_ip, source_port, destination_ip, destination_port),即(源 IP,源端口,目的 IP,目的端口) 四个元素的组合。只要四个元素的组合中有一个元素不一样,那就可以区别不同的连接。 举个例子: -> 你的主机 IP 地址是 1.1.1.1, 在 8080 端口监听 -> 当一个来自 2.2.2.2 发来一条连接请求,端口为 5555。这条连接的四元组为 (1.1.1.1, 8080, 2.2.2.2, 5555) -> 这时 2.2.2.2 又发来第二条连接请求,端口为 6666。新连接的四元组为 (1.1.1.1, 8080, 2.2.2.2, 6666) **那么,你主机的 8080 端口建立了两条连接;** ->(2.2.2.2)发来的第三条连接请求, 端口为 5555(或 6666)。第三条连接的请求就无法建立,因为没有办法区分于上面两条连接。 **同理,可以****在同一个端口号和 IP 地址上绑定一个 TCP** **socket** **和一个 UDP** **socket** 因为端口号虽然一样,但由于协议不一样,所以端口是完全独立的。 **TCP/UDP 一般采用五元组来定位一个连接:** source_ip, source_port, destination_ip, destination_port, protocol_type 即(源 IP,源端口,目的 IP,目的端口,协议号) 综上所述,服务器的并发数并不是由 TCP 的 65535 个端口决定的。服务器同时能够承受的并发数是由带宽、硬件、程序设计等多方面因素决定的。 ----------------------------------------------------------------------- 所以也就能理解淘宝、腾讯、头条、百度、新浪、哔哔哔哔等为什么能够承受住每秒种几亿次的并发访问,是因为他们采用的是服务器集群。服务器集群分布在全国各地的大型机房,当访问量小的时候会关闭一些服务器,当访问量大的时候回不断的开启新的服务器。 ![](https://img-blog.csdnimg.cn/img_convert/a3eadf7acd2e18ae6beddf7be5a364af.png) 以上个人浅见,欢迎批评指正。 认同我的看法,请点个赞再走,感谢! 你这个提问中有一些逻辑的错误,我来一一给你解释一下。 ![](https://img-blog.csdnimg.cn/img_convert/1fd491107a20d6029d400a87f416b415.png) 第一个错误的地方是,TCP 连接数量和 Linux 没有关系。不管是 Windows 还是 Linux,只要使用 TCP/IP,那么单个 IP 地址连接相同互联网服务的 TCP 连接数,就不会超过 65535 个,甚至在一般情况下,我们认为不会超过 4 万个(注意,这里指相同互联网服务,即相同目的地址和端口)。 这个原因是因为,TCP/IP 中,一个 TCP 连接,就要耗费源 IP 地址一个 TCP 端口,而 TCP 的端口数量也就是 65535 个,因为协议规定了 TCP 端口的长度也就是 16 位(二进制),所以换成十进制也就是 1~65535. ![](https://img-blog.csdnimg.cn/img_convert/b6294848acc7a3db9c34be99b57619ef.png) 这也就意味着,如果你的电脑要访问一个网站,那么你的电脑只能和这个网站建立 65535 个连接,一个连接消耗一个 TCP 端口。当然这是理想的情况,实际的情况是,有很多端口被一些知名的协议占据了,或者做了预留,例如 80 端口就属于 HTTP 的,所以一般认为能使用的端口就是 4 万个左右。 第二个错误是,TCP 的端口数量和服务器没有关系。因为这里所说的 4 万个 TCP 的端口,是指源端口,也就是你访问网站时使用的个人电脑使用的端口,而对于目的端口,也就是网站的端口,使用的 TCP 端口也就是相同的 23 端口。这个意思也就意味着,4 万个连接都连的是这个网站的 23 端口,换一个用户又可以用 4 万个连接连接服务器的 23 端口。 ![](https://img-blog.csdnimg.cn/img_convert/aacf5bc58c419db9863b4d19577acb68.png) 所以我们可以粗略估算一下,如果是 100 万个并发连接,在 1 个用户 4 万个访问的情况下,也就是 25 个并发的用户。当然,实际使用时,你的 PC 机不会有 4 万个连接访问相同的网站,假设我们按照一个 PC 机 4 个连接访问网站计算,100 万个并发也就是 25 万个用户访问。 最后回答一下你的问题,服务器如何撑住百万千万个 TCP 连接呢?这个和服务器的资源有关。实际上单个服务器支持的 TCP 连接数的确是有限的,单个服务器所支持的 TCP 连接不可能到达理论值,服务连接一多,CPU 撑不住内存也顶不住,所以每个服务器都有规格限制,硬件性能越强,服务器支持的 TCP 连接数越大。 但是一个网站可以有多个服务器啊,可以有集群服务器啊,服务器的规模越大,支持的访问能力就越强,所以这个也不是问题。 ![](https://img-blog.csdnimg.cn/img_convert/e03c6ef8b6e7b49cb091e18de1d191bb.png) 比如阿里巴巴是如何撑过双 11 的?阿里云在北上广深等很多地方都有服务器,而且每个地方的服务器都是弹性集群,这些服务器实时同步保障淘宝上的数据一致。所以双 11 访问淘宝时,有的访问的是北京的服务器,有的访问的是上海的服务器,这样通过分布式服务分布式的存储,网站可以应对的并发自然就很大了。 楼主所理解的 65535(端口数量)与连接数是一个东西,这个是错的。具体原因前面已经有不少同行小伙伴描述的非常清楚了,我就不再阐述了。 下面我具体来回答一下楼主的后半部分:服务器是如何支撑百万并发的。 下面阐述的观点是:**通过优化系统架构提升系统负载能力,即提高系统并发量。** 一、什么是高并发 -------- ![](https://img-blog.csdnimg.cn/img_convert/d54162f0e9b7a1a4392d64a4d4c618fc.png) 高并发是互联网系统所面临的普通问题,也是系统架构时考虑的重要因素之一。 【**并发与负载**】是相对的两个词。 想实现高并发,就要提高系统负载能力。系统负载能力强了,自然可以处理高并发请求。 所以,实现高并发,本质就是提高系统的负载能力。 一般对于系统负载能力的评估参数有:响应时间 、吞吐量、每秒请求数 QPS、并发用户数。 * 响应时间:系统对请求做出响应的时间。例如系统处理一个 HTTP 请求需要 200ms,这个 200ms 就是系统的响应时间。 * 吞吐量:单位时间内处理的请求数量。 * QPS:每秒响应请求数,与吞吐量概念类似。 * 并发用户数:同时使用系统功能的用户数量。 二、如何提高并发处理能力(并发数) ----------------- 需要说明的是:以下内容不考虑【带宽】和【硬件配置】这两个因素。 很显然,带宽高、硬件配置高,系统负载能力就强,能处理的并发用户数就多。 那么如何提高并发处理能力呢? 答案就是:**通过优化系统架构来提高并发处理能力。** 并且系统架构设计是一个复杂的过程,不仅涉及到技术层面,还包括业务层面。 三、通过业务拆分提高并发处理能力(微服务架构) ----------------------- ![](https://img-blog.csdnimg.cn/img_convert/f72fbca66658b45bca89c32f176b68b3.png) 将一个系统拆分为多个子系统,每个子系统负责一个单独的服务,这就是常说的【服务治理】 拆分为多个子系统后,每个子系统(服务)独立运行,每个服务之间通过 REST/RPC 方式调用,用户也可以直接调用这些服务接口。 这种设计将大化小,这种架构也称为【微服务架构】。 举例:商城系统中,可拆分为【订单服务】【用户服务】【产品服务】等多个服务接口。 四、通过水平扩展提高并发处理能力 ---------------- 这一块要分开来讲。 **1. 前端部分** ![](https://img-blog.csdnimg.cn/img_convert/18c6af9d8ae285cdff5c8f65194f27fa.png) 使用 nginx 反向代理软件提高并发处理量 nginx 进行水平扩展:DNS 轮询等 **2. 应用服务器部分** ![](https://img-blog.csdnimg.cn/img_convert/74a09e51132c5e3171bddb982c34745f.png) java 中常见的应用服务器 tomcat 为例,它可以实现集群和负载均衡。集群配置成功后,相当于提供了一个 “服务器池”,如果想要再提高处理能力,只需要向“池” 中继续添加应用服务器即可。另外,集群也实现了系统高可用。 **3. 数据库层面** 常见的分库分表,读写分离都是解决数据库压力大的方法之一。 数据库瓶颈是系统在运行中最先碰到、最常碰到的问题之一。 经常见到的问题就是磁盘 IO 高,导致处理缓慢。 刚才所说方法都可以解决这一问题。 常见的分表原则有:按范围分,按哈希值分。 **4. 缓存层面** ![](https://img-blog.csdnimg.cn/img_convert/40d3ae768ef1cbe835b94ef1917809ed.png) 在系统中添加缓存是当前必选的方案。 添加缓存的主要目标是减少磁盘 IO。 可以缓存的内容很多,例如缓存页面内容 (HTML,CSS, 图片),缓存应用服务器中数据对象等。 通过设计多级缓存,实现数据的快速获取、请求的快速响应。 在分布式架构中,还要注意分布式缓存的更新一致性问题。(不再详述) 五、最后 ---- 其实很多系统的并发数都不到百万级,只有少量头部网站才会有,例如淘宝。 但我们之所以研究如何解决百万级并发架构,是从中学会和掌握【**系统架构演变过程】**。 系统架构设计的原则是:**适合的就是最好的**。不能刚开始架构就要满足百万级,因为这样设计会提高成本,造成资源浪费。 所以,我们要明白:**系统架构是演进的。** 题主有一个概念上的误解,错误的把 TCP 端口号的上限 65535 理解成了 TCP 连接数的上限,进而认为 Linux 无法实现超过 65,535 个的并发任务,实际上端口号数量和 TCP 连接数确实有关联,但并非一一对应的关系。 65,535 从哪来的,干啥的? ---------------- ![](https://img-blog.csdnimg.cn/img_convert/2704f5f18e929a2f0946eff90fc0c88d.png) 要解释好这个问题,就要先说清楚 65,535 的含义。在 Linux 系统中,如果两个机器要通信,那么相互之间需要建立 TCP 连接,为了让双方互相认识,Linux 系统用一个四元组来唯一标识一个 TCP 连接: {local ip, local port, remote ip, remote port},即本机 IP、本机端口、远程 IP、远程端口,IP 和端口就相当于小区地址和门牌号,只有拿到这些信息,通信的双方才能互相认知。在 Linux 系统中,表示端口号(port)的变量占 16 位,这就决定了端口号最多有 2 的 16 次方个,即 65,536 个,另外端口 0 有特殊含义不给使用,这样每个服务器最多就有 65,535 个端口可用。因此,65,535 代表 Linux 系统支持的 TCP 端口号数量,在 TCP 建立连接时会使用。 TCP 怎么建立连接,与端口号是什么关系? --------------------- ![](https://img-blog.csdnimg.cn/img_convert/1d3270cb9a71fad2b957c89fb216e21a.png) Linux 服务器在交互时,一般有两种身份:客户端或者服务器端。典型的交互场景是: (1)服务器端主动创建监听的 socket,并绑定对外服务端口 port,然后开始监听 (2)客户端想跟服务器端通信时,就开始连接服务器的端口 port (3)服务端接受客户端的请求,然后再生成新的 socket (4)服务器和客户端在新的 socket 里进行通信 可以看到,端口 port 主要用在服务器和客户端的 “握手认识” 过程,一旦互相认识了,就会生成的的 socket 进行通信,这时候 port 就不再需要了,可以给别的 socket 通信去使用,所以很明显 TCP 连接的数量可以大于 TCP 端口号的数量 65,535。 考虑一下两个极端场景,即某台 Linux 服务器只作为客户端或者服务器端 ------------------------------------ (1)Linux 服务器只作为客户端 这时候每发起一个 TCP 请求,系统就会指定一个空间的本地端口给你用,而且是独占式的,不会被别的 TCP 连接抢走,这样最多可以建立 65535 个连接,每个连接都与不同的服务器进行交互。这种场景,就是题主所描述的样子,但是由于条件过于苛刻,属于小概率事件,所以更多的还是理论上的可能,现实的环境中几乎不会出现。 (2)Linux 服务器只作为服务端 这种场景下,服务端就会固定的监听本地端口 port,等着客户端来向它发起请求。为了计算简单,我们假设服务器端的 IP 跟端口是多对一的,这样 TCP 四元组里面就有 remote ip 和 remote port 是可变的,因此最大支持创建 TCP 个数为 2 的 32 次方(IP 地址是 32 位的)乘以 2 的 16 次方(port 是 16 位的)等于 2 的 48 次方。 现实中单台 Linux 服务器支持的 TCP 连接数量 --------------------------- 通过前面的分析我们知道,在现实场景中,由于存在端口 port 复用的情况,服务器可同时支持的 TCP 连接数跟 65,535 没有一一对应关系,事实上,真正影响 TCP 连接数量的,是服务器的内存以及允许单一进程同时打开文件的数量,因为每创建一个 TCP 连接都要创建一个 socket 句柄,每个 socket 句柄都占用一部分系统内存,当系统内存被占用殆尽,允许的 TCP 并发连接数也就到了上限。一般来讲,通过增加服务器内存、修改最大文件描述符个数等,可以做到单台服务器支持 10 万 + 的 TCP 并发。 ![](https://img-blog.csdnimg.cn/img_convert/4a6b661b78bdd91e7696eb64e27472e4.png) 当然,在真实的商用场景下,单台服务器都会编入分布式集群,通过负载均衡算法动态的调度不同用户的请求给最空闲的服务器,如果服务器平均内存使用超过 80% 的警戒线,那么就会及时采用限流或者扩展集群的方式来保证服务,绝对不会出现服务器的内存被耗尽的情况,那样就算事故了。 总之,65,535 只是 Linux 系统中可使用端口 port 数量的上限,端口 port 数量与 TCP 连接数量并非完全一一对应的关系,服务器支持的 TCP 并发连接数量主要跟服务器的内存以及允许单个进程同时打开的文件数量有关系,通过端口复用及调整服务器参数等手段,单台服务器支持的 TCP 并发连接数是可以高于 65,535 的。
Jonny
July 3, 2022, 9:28 a.m.
685
0 条评论
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
如遇文档失效,可评论告知,便后续更新!
【腾讯云】2核2G云服务器新老同享 99元/年,续费同价
【阿里云】2核2G云服务器新老同享 99元/年,续费同价(不要✓自动续费)
【腾讯云】2核2G云服务器新老同享 99元/年,续费同价
【阿里云】2核2G云服务器新老同享 99元/年,续费同价(不要✓自动续费)
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期