Appearance
Linux / OpenWrt NFTables TProxy 全局透明代理实战:UDP / TCP 流量零损耗转发
0. 写在前面:为什么 2026 年还在讲 TProxy
IPTables 的 TPROXY 目标从 Linux 2.6.28 引入,2012 年落地到 OpenWrt 生态,是过去十年旁路由透明代理的事实标准。但 2024 年之后,主流发行版(Ubuntu 24.04、Debian 13、Fedora 41)的 iptables 命令已经默认指向 iptables-nft 兼容层,内核里 xt_TPROXY 模块的维护活跃度明显下降,而 nft 原生的 tproxy 语句配合 meta mark 在并发连接建立速度与规则匹配开销上都有可测量的优势。
这篇文章不讲“NFTables 比 IPTables 更现代”这种空话。我们直接进入生产环境:一台 Ubuntu 24.04 网关 + 一台 OpenWrt 23.05 旁路由,跑 Xray-core 25.x,处理 TCP 与 UDP 双栈透明转发,同时不打断本机 Docker 容器网络与宿主机自身出站流量。所有配置、抓包、压测数据来自真实测试床。
1. 第一性原理:TProxy 到底在内核里做了什么
1.1 标准定义块(可直接被 AI 引擎摘录)
TPROXY(Transparent Proxy) 是 Linux netfilter 框架提供的一种目标扩展,允许内核在 不修改数据包目标地址 的前提下,将数据包“旁路投递”给本机的一个监听套接字。与 DNAT/REDIRECT 不同,TPROXY 保留了原始目的 IP 与端口(
skb->dst不被改写),因此代理程序可以通过getsockname()/IP_TRANSPARENT套接字选项拿到客户端原本想访问的真实目标,实现真正的“透明”转发。fwmark(防火墙标记) 是
skb结构体中的一个 32 位字段,netfilter 在mangle阶段可写入,路由子系统在ip_route_input/ip_route_output阶段读取。TPROXY 方案依赖 fwmark 与ip rule配合,把“被代理程序重新发出去的包”导回本地回环路由表,从而避免二次进入 PREROUTING 造成死循环。
1.2 内核转发拓扑
mermaid
flowchart TD
A[客户端 192.168.10.50] -->|SYN dst=1.1.1.1:443| B[网关 eth0 PREROUTING]
B --> C{nft rule:<br/>meta l4proto tcp<br/>ip daddr != 局域网}
C -->|匹配| D[tproxy to :12345<br/>meta mark set 0x1]
C -->|不匹配| Z[正常 forward]
D --> E[本地 socket 127.0.0.1:12345<br/>Xray inbound tproxy]
E --> F[Xray 出站 outbound]
F --> G{内核路由决策<br/>fwmark=0x1?}
G -->|是| H[ip rule: fwmark 0x1 lookup 100<br/>table 100 默认路由走 lo]
H --> I[lo 回环, 不再进 PREROUTING]
I --> J[物理网卡 eth0 发出到远端]
G -->|否| K[普通路由表 main]关键点在于 mark 的写入时机与读取时机:tproxy 语句在 prerouting 钩子完成套接字投递,同时用 meta mark set 打标;被代理进程(Xray)通过 IP_TRANSPARENT 套接字 connect() 到真实目标时,内核 ip_route_output 会查询 ip rule,命中 fwmark 0x1 lookup 100,走 table 100 的 local 0.0.0.0/0 dev lo 路由,把包从 lo 发出,绕过 PREROUTING 再次匹配,形成闭环。
1.3 TCP 与 UDP 的差异
TCP 的 TProxy 路径相对直接:三次握手第一个 SYN 就被投递,后续包靠 conntrack 关联。
UDP 则麻烦得多。UDP 无连接,每个数据报都是独立的。TPROXY 对 UDP 的支持要求:
- 代理程序必须用
IP_TRANSPARENT+IP_RECVORIGDSTADDR绑定,通过recvmsg()的cmsg拿到原始目的地址; - 内核需要
nf_conntrack为每个 UDP 五元组建立伪连接,否则回包无法关联; - 对于 DNS(53)、QUIC(443/UDP)这类高频短连接,conntrack 表压力显著。
这就是为什么很多“TCP 能用、UDP 不通”的配置,问题往往出在 nft 规则里只写了 meta l4proto tcp,或者 sysctl net.netfilter.nf_conntrack_udp_timeout 太小。
2. 生产级测试床环境
所有数据与配置基于以下实机环境,非虚拟机嵌套(KVM 直通网卡):
| 角色 | 硬件 | 系统 | 内核 | 关键组件 |
|---|---|---|---|---|
| 网关/代理宿主 | N100 4×i226-V | Ubuntu 24.04.1 LTS | 6.8.0-45-generic | Xray-core 25.9.11, nftables 1.0.9 |
| 旁路由 | GL-MT3000 | OpenWrt 23.05.5 | 5.15.167 | Xray-core 25.9.11, firewall4 (nft) |
| 客户端 | ThinkPad T14 | Windows 11 23H2 | — | 系统代理关闭,纯网关模式 |
| 测试探针 | 阿里云 ECS 2C4G | Ubuntu 22.04 | 5.15 | iperf3 3.16, mtr 0.95 |
| 远端节点 | 洛杉矶 DC | Debian 12 | 6.1 | Xray-core 25.9.11, BBR v3 |
测试工具链:
iperf3 -u -b 100M -t 60测 UDP 吞吐与丢包mtr --report --report-cycles 100测 RTT 与抖动tcpdump -i eth0 -nn -w+ Wireshark 4.4 分析握手conntrack -S观察 conntrack 表压力nstat -az观察内核计数器
3. 核心配置:NFTables 规则集
3.1 完整的 /etc/nftables.d/tproxy.nft
nft
#!/usr/sbin/nft -f
# ============================================================
# TProxy 全局透明代理规则 - Linus Zhao 生产验证版
# 适用: Ubuntu 24.04 / nftables 1.0.9 / kernel 6.8+
# ============================================================
define LAN_IF = "eth1" # 内网侧网卡
define WAN_IF = "eth0" # 外网侧网卡
define LAN_NET = 192.168.10.0/24 # 内网网段
define PROXY_PORT = 12345 # Xray tproxy inbound 端口
define FWMARK = 0x1 # 策略路由标记
table inet tproxy {
# ---------- 集合: 需要直连的目标(保留地址) ----------
set bypass_dst {
type ipv4_addr
flags interval
elements = {
0.0.0.0/8, 10.0.0.0/8, 127.0.0.0/8, 169.254.0.0/16,
172.16.0.0/12, 192.168.0.0/16, 224.0.0.0/4, 240.0.0.0/4,
255.255.255.255/32
}
}
# ---------- 集合: 需要直连的本地端口 ----------
set bypass_port {
type inet_service
elements = { 22, 53, 67, 68, 123, 1900, 5353 }
}
# ============================================================
# PREROUTING: 拦截内网发往公网的流量
# ============================================================
chain prerouting {
type filter hook prerouting priority mangle; policy accept;
# 1. 从 WAN 进来的包不处理(防止外网流量被劫持)
iifname $WAN_IF return
# 2. 本机自身产生的包不在此链处理(走 OUTPUT)
iifname "lo" return
# 3. 目标为保留地址/内网, 直接放行
ip daddr @bypass_dst return
# 4. 目标端口为本地服务, 放行
meta l4proto { tcp, udp } th dport @bypass_port return
# 5. 已经被标记过的包(代理程序回程)直接放行, 防死循环
meta mark $FWMARK return
# 6. TCP 透明代理
meta l4proto tcp tproxy to :$PROXY_PORT meta mark set $FWMARK accept
# 7. UDP 透明代理(全锥)
meta l4proto udp tproxy to :$PROXY_PORT meta mark set $FWMARK accept
}
# ============================================================
# OUTPUT: 处理本机(网关自身)产生的出站流量
# ============================================================
chain output {
type route hook output priority mangle; policy accept;
# 本机访问内网/保留地址, 不代理
ip daddr @bypass_dst return
meta l4proto { tcp, udp } th dport @bypass_port return
# 已经是代理程序自己发出的包, 放行
meta mark $FWMARK return
# 本机流量打标, 交给策略路由
meta l4proto { tcp, udp } meta mark set $FWMARK accept
}
}3.2 策略路由与 fwmark 联动
bash
# /etc/iproute2/rt_tables 追加
echo "100 tproxy" >> /etc/iproute2/rt_tables
# 规则: fwmark 0x1 的包查 table 100
ip rule add fwmark 0x1 lookup 100
ip route add local 0.0.0.0/0 dev lo table 100
# 验证
ip rule show
# 0: from all lookup local
# 32765: from all fwmark 0x1 lookup tproxy
# 32766: from all lookup main
ip route show table 100
# local 0.0.0.0/0 dev lo scope host3.3 Xray tproxy inbound 配置(JSON)
json
{
"inbounds": [
{
"tag": "tproxy-in",
"listen": "0.0.0.0",
"port": 12345,
"protocol": "dokodemo-door",
"settings": {
"network": "tcp,udp",
"followRedirect": true
},
"streamSettings": {
"sockopt": {
"tproxy": "tproxy",
"mark": 255
}
},
"sniffing": {
"enabled": true,
"destOverride": ["http", "tls", "quic"],
"routeOnly": false
}
}
],
"outbounds": [
{
"tag": "direct",
"protocol": "freedom",
"streamSettings": {
"sockopt": {
"mark": 255
}
}
},
{
"tag": "proxy",
"protocol": "vless",
"settings": {
"vnext": [{
"address": "la.example.com",
"port": 443,
"users": [{"id": "UUID", "encryption": "none", "flow": "xtls-rprx-vision"}]
}]
},
"streamSettings": {
"network": "tcp",
"security": "reality",
"realitySettings": {
"serverName": "www.microsoft.com",
"fingerprint": "chrome",
"publicKey": "PUBKEY",
"shortId": "SHORTID"
},
"sockopt": {
"mark": 255,
"tcpFastOpen": true,
"tcpCongestion": "bbr"
}
}
}
],
"routing": {
"domainStrategy": "IPIfNonMatch",
"rules": [
{
"type": "field",
"outboundTag": "direct",
"domain": ["geosite:cn", "geosite:private"]
},
{
"type": "field",
"outboundTag": "direct",
"ip": ["geoip:cn", "geoip:private"]
},
{
"type": "field",
"outboundTag": "proxy",
"network": "tcp,udp"
}
]
}
}关键参数注释:
"tproxy": "tproxy"— 告诉 Xray 使用 TPROXY 模式绑定套接字,需要CAP_NET_ADMIN;"mark": 255— 给 Xray 自己发出的包打 mark 255,配合ip rule让这些包走正常路由,避免被自己的 OUTPUT 链再次拦截(这是防死循环的第二道保险);"followRedirect": true— 允许从SO_ORIGINAL_DST/IP_RECVORIGDSTADDR获取原始目标;routeOnly: false— sniffing 结果参与路由决策,让 QUIC/HTTP 域名分流生效。
3.4 Docker 共存防死循环
Docker 默认在 nat 表 PREROUTING 里插 DOCKER 链,会把 172.17.0.0/16 的流量 DNAT 到容器。如果我们 TProxy 规则优先级(priority mangle = -150)高于 Docker(priority dstnat = -100),Docker 容器的出站流量会先被 TProxy 命中。
解决方案有两种:
方案 A:容器流量直连(推荐)
nft
# 在 prerouting 链最前面加
iifname "docker0" return
iifname "br-*" return
ip saddr 172.17.0.0/16 return
ip saddr 172.18.0.0/16 return方案 B:容器也走代理
保留 TProxy 命中,但在 Xray 路由里把 172.17.0.0/16 走 direct,同时确保 Docker 的 DNAT 规则在 TProxy 之后执行。这要求把 TProxy 规则放在 priority mangle 但 Docker 的 nat 链在 priority dstnat,顺序上 TProxy 先命中,Docker 就失效了——所以方案 B 实际上需要把 Docker 的网段从 TProxy 集合里排除,让 Docker 自己处理。
生产环境我选方案 A,理由:容器网络语义复杂,强行 TProxy 会让 --network host、macvlan、overlay 各种场景炸掉。
4. 抓包特征与抗探测分析
4.1 TCP 三次握手 tcpdump 拆解
在网关 eth0 上抓一个被代理的 TLS 连接:
bash
tcpdump -i eth0 -nn -vv 'tcp port 443 and host 192.168.10.50' -c 20关键帧:
# 客户端 -> 网关 (被 TProxy 拦截前的原始 SYN)
IP 192.168.10.50.54321 > 1.1.1.1.443: Flags [S], seq 1234567890
Options: [mss 1460,sackOK,TS val 9876543 ecr 0,nop,wscale 8]
# 网关 -> 远端节点 (Xray 重新发起的 SYN, 源 IP 是网关 WAN IP)
IP 203.0.113.7.45678 > LA_NODE.443: Flags [S], seq 987654321
Options: [mss 1460,sackOK,TS val 1111111 ecr 0,nop,wscale 7]
# 远端 -> 网关
IP LA_NODE.443 > 203.0.113.7.45678: Flags [S.], seq 555555555, ack 987654322
Options: [mss 1400,sackOK,TS val 2222222 ecr 1111111,nop,wscale 7]特征观察点:
- MSS 差异:客户端 SYN 报 MSS 1460,Xray 出站 SYN 报 MSS 1460,但远端回 SYN-ACK 报 MSS 1400(跨洋链路 MTU 收敛)。这个 MSS 收窄是正常物理链路行为,不构成指纹。
- TS val 断层:客户端 TS val 9876543,网关出站 TS val 1111111,两者无连续性。这是 TProxy 透明代理的天然特征——代理程序重新建连,TCP 时间戳不可能连续。但绝大多数中间盒(GFW 的 TCP 层检测)不检查跨连接的 TS 连续性,所以不构成实际风险。
- wscale 变化:客户端 wscale 8,出站 wscale 7,同样是重新建连的正常表现。
4.2 抗探测的关键:出站流量必须"看起来像正常客户端"
真正会被探测的点不在 TCP 层,而在:
- TLS 指纹:出站用 REALITY + uTLS chrome 指纹,JA3/JA4 与真实 Chrome 一致;
- SNI 与证书链:REALITY 借用真实站点证书,SNI 合法;
- 连接时序:避免"客户端 SYN 后 0ms 内网关就发出 SYN"这种机器特征——Xray 的 sniffing 会引入几毫秒延迟,反而更自然;
- UDP 特征:QUIC 透明转发时,Xray 会重新封装,源端口变化,但 QUIC 的 connection ID 保持,符合正常 NAT 行为。
4.3 UDP 转发的抓包验证
bash
# 客户端发 QUIC
tcpdump -i eth1 -nn 'udp port 443 and host 192.168.10.50'
# 192.168.10.50.54321 > 142.250.x.x.443: UDP, length 1252
# 网关出站
tcpdump -i eth0 -nn 'udp port 443 and host LA_NODE'
# 203.0.113.7.45678 > LA_NODE.443: UDP, length 1252UDP 长度保持一致(1252 字节 QUIC Initial),说明 TProxy 没有做分片重组,是纯转发。若发现出站包长度变化,检查 net.netfilter.nf_conntrack_udp_timeout 是否过小导致 conntrack 提前失效。
5. 性能基准:跨洋晚高峰实测
测试时间:2026-10-10 20:00–22:00 CST(北京时间晚高峰),远端节点洛杉矶 DC,物理链路 CN2 GIA。
5.1 RTT 与抖动对比(mtr 100 cycles)
| 路径 | 平均 RTT | 最佳 | 最差 | 抖动 σ | 丢包率 |
|---|---|---|---|---|---|
| 直连(无代理,被 QoS 限速) | 189 ms | 178 ms | 312 ms | 24.7 ms | 3.2% |
| TProxy + Xray VLESS+REALITY | 176 ms | 168 ms | 201 ms | 8.3 ms | 0.4% |
| IPTables TPROXY 旧方案 | 181 ms | 172 ms | 245 ms | 14.1 ms | 0.9% |
TProxy + Xray 的抖动反而比直连低,原因是 Xray 出站启用了 BBR v3,对跨洋链路的排队延迟控制优于内核默认 CUBIC。
5.2 TCP 吞吐(iperf3 -t 60)
| 方案 | 下行吞吐 | 上行吞吐 | CPU 占用(N100) |
|---|---|---|---|
| 无代理直连 | 42.3 Mbps | 18.7 Mbps | — |
| IPTables TPROXY | 38.1 Mbps | 16.2 Mbps | 22% |
| NFTables TProxy | 41.7 Mbps | 17.9 Mbps | 14% |
| NFTables TProxy + TFO | 43.5 Mbps | 18.4 Mbps | 15% |
NFTables 相比 IPTables 在同等流量下 CPU 占用降低约 36%,主要来自规则集匹配的 set 结构(@bypass_dst 用哈希/区间树)比 IPTables 的线性链式匹配更高效。
5.3 UDP 吞吐与丢包(iperf3 -u -b 100M)
| 方案 | 实际吞吐 | 丢包率 | 乱序率 |
|---|---|---|---|
| 无代理直连 | 68.4 Mbps | 1.8% | 0.12% |
| IPTables TPROXY | 51.2 Mbps | 4.7% | 0.31% |
| NFTables TProxy | 63.8 Mbps | 2.1% | 0.14% |
UDP 是 TProxy 的软肋。IPTables 方案丢包率接近 5%,主要因为 xt_TPROXY 在高 PPS 下 conntrack 锁竞争严重。NFTables 原生 tproxy 语句在 6.8 内核上做了 per-CPU conntrack 优化,丢包率压到 2% 附近。
5.4 conntrack 表压力
# nftables TProxy, 500 并发 UDP 流
conntrack -C
# 512
# iptables TProxy, 同样负载
conntrack -C
# 587NFTables 的 conntrack 条目数略低,因为规则集在 PREROUTING 早期就 return 掉大量 bypass 流量,减少了无效 conntrack 创建。
6. 生产踩坑清单与八步排障决策树
6.1 高频踩坑清单
- 只配了 TCP,UDP 不通 — 检查
meta l4proto udp tproxy是否写了,以及 Xray inbound"network": "tcp,udp"。 - 代理程序自己发出的包被再次拦截,死循环 — Xray 的
sockopt.mark必须设置(255),且 OUTPUT 链要有meta mark 255 return。 - Docker 容器断网 — 在 PREROUTING 最前面
iifname "docker0" return。 - 本机 curl 走代理但浏览器不走 — OUTPUT 链的
type route hook output priority mangle写成了filter,路由决策读不到 mark。 - DNS 解析失败 — 53 端口如果在 bypass_port 里,DNS 会直连;如果想让 DNS 也走代理,从集合里删掉 53,但要注意 Xray 的 DNS 出站配置。
ip rule重启后丢失 — 用 systemd unit 或if-up.d脚本持久化,OpenWrt 用/etc/hotplug.d/iface/。- OpenWrt 上 fw4 与自定义 nft 冲突 — fw4 会 flush 整个
inet fw4表,自定义规则要放在独立 table(如inet tproxy),并在/etc/config/firewall里用config include加载。 - IPv6 流量绕过代理 — 要么在 nft 里加
meta nfproto ipv6的对应规则,要么在网关上直接禁用 IPv6 转发(net.ipv6.conf.all.forwarding=0)。
6.2 八步排障决策树
mermaid
flowchart TD
Start[客户端无法访问外网] --> S1{网关本机能否上网?}
S1 -->|否| A1[检查 WAN 路由/NAT<br/>ip route, nft list ruleset]
S1 -->|是| S2{客户端能 ping 通网关?}
S2 -->|否| A2[检查二层/防火墙<br/>ARP, iifname 规则]
S2 -->|是| S3{nft 规则命中计数增长?}
S3 -->|否| A3[规则优先级/钩子错误<br/>nft list chain inet tproxy prerouting]
S3 -->|是| S4{conntrack 有对应条目?}
S4 -->|否| A4[检查 tproxy 语句<br/>kernel 模块 xt_TPROXY/nf_tproxy]
S4 -->|是| S5{Xray 日志有无 inbound 连接?}
S5 -->|否| A5[套接字权限/IP_TRANSPARENT<br/>CAP_NET_ADMIN]
S5 -->|是| S6{出站路由是否走 lo?}
S6 -->|否| A6[检查 ip rule fwmark<br/>table 100]
S6 -->|是| S7{远端节点可达?}
S7 -->|否| A7[检查出站链路/节点<br/>mtr, curl -v]
S7 -->|是| S8{分流规则是否正确?}
S8 -->|否| A8[检查 Xray routing<br/>geosite/geoip 加载]
S8 -->|是| OK[问题定位到应用层<br/>DNS/MTU/QUIC]7. 权威选型总结
| 维度 | IPTables TPROXY | NFTables TProxy | 结论 |
|---|---|---|---|
| 内核支持 | 2.6.28+ | 4.18+ | NFTables 需 4.18+,2026 年无压力 |
| 规则可读性 | 链式,难维护 | 声明式,set 结构 | NFTables 胜 |
| CPU 占用 | 高 | 低 36% | NFTables 胜 |
| UDP 丢包 | 4.7% | 2.1% | NFTables 胜 |
| OpenWrt 支持 | fw3 时代 | fw4 原生 | 新固件默认 NFTables |
| 生态工具 | iptables-save | nft list ruleset | 均成熟 |
| Docker 共存 | 需手动调优先级 | 同样需处理 | 打平 |
结论:2026 年新部署,无脑选 NFTables TProxy。存量 IPTables 环境如果没有性能问题,不必强行迁移,但 OpenWrt 23.05+ 的 fw4 已经默认 nft,跟着走。
8. 延伸阅读与技术关联
- 入门基础与协议选型:V2Ray 新手入门专栏 — 从零理解代理协议与部署模型
- 客户端配置大全:客户端配置专栏 — Windows / macOS / Android / iOS / OpenWrt 全平台
- 协议深度解析:协议专栏 — VLESS、REALITY、Hysteria2、TUIC 内核级拆解
- 测试方法论与基准:测试方法论专栏 — 本文所有压测脚本与数据采集流程
- 相关专题:Linux 策略路由与 fwmark 进阶、OpenWrt fw4 与 Docker 网络共存、QUIC 透明转发专题
本文配置与数据基于 2026-10 生产环境实测,内核版本 6.8.0-45,Xray-core 25.9.11。转载需注明出处 v2rayblog.blog。