使用 eBPF 技术实现更快的网络数据包传输
使用 eBPF 技术实现更快的网络数据包传输
作者:张晓辉 2023-03-27 00:17:21网络 通信技术 通过 eBPF 的引入,我们缩短了同节点通信数据包的 datapath,跳过了内核网络栈直接连接两个对端的 socket。这种设计适用于同 pod 两个应用的通信以及同节点上两个 pod 的通信。在上篇文章用了整篇的内容来描述网络数据包在 Kubernetes 网络中的轨迹,文章末尾,我们提出了一种假设:同一个内核空间中的两个 socket 可以直接传输数据,是不是就可以省掉内核网络协议栈处理带来的延迟?
不论是同 pod 中的两个不同容器,或者同节点的两个 pod 间的网络通信,实际上都发生在同一个内核空间中,互为对端的两个 socket 也都位于同一个内存中。而在上篇文章的开头也总结了数据包的传输轨迹实际上是 socket 的寻址过程,可以进一步将问题展开:同一节点上的两个 socket 间的通信,如果可以快速定位到对端的 socket-- 找到其在内存中的地址,我们就可以省掉网络协议栈处理带来的延迟。
互为对端的两个 socket 也就是建立起连接的客户端 socket 和服务端 socket,他们可以通过 IP 地址和端口进行关联。客户端 socket 的本地地址和端口,是服务端 socket 的远端地址和端口;客户端 socket 的远端地址和端口,则是服务端 socket 的本地地址和端口。
当客户端和服务端的完成连接的建立之后,如果可以使用本地地址 + 端口和远端地址 + 端口端口的组合指向socket 的话,仅需调换本地和远端的地址 + 端口,即可定位到对端的 socket,然后将数据直接写到对端 socket(实际是写入 socket 的接收队列 RXQ,这里不做展开),就可以避开内核网络栈(包括 netfilter/iptables)以及 NIC 的处理。
如何实现?看标题应该也猜出来了,这里借助 eBPF 技术。
eBPF 是什么?
Linux 内核一直是实现监控/可观测性、网络和安全功能的理想地方。不过很多情况下这并非易事,因为这些工作需要修改内核源码或加载内核模块, 最终实现形式是在已有的层层抽象之上叠加新的抽象。eBPF 是一项革命性技术,它能在内核中运行沙箱程序(sandbox programs), 而无需修改内核源码或者加载内核模块。
将 Linux 内核变成可编程之后,就能基于现有的(而非增加新的)抽象层来打造更加智能、 功能更加丰富的基础设施软件,而不会增加系统的复杂度,也不会牺牲执行效率和安全性。
应用场景
下面截取了eBPF.io[1]网站的介绍。
在网络方面,在不离开内核空间的情况下使用 eBPF 可以加快数据包处理速度。添加额外的协议解析器并轻松编写任何转发逻辑以满足不断变化的需求。
在可观测性方面,使用 eBPF 可以自定义指标的收集和内核聚合,以及从众多来源生成可见性事件和数据结构,而无需导出样本。
在链路跟踪与分析方面,将 eBPF 程序附加到跟踪点以及内核和用户应用程序探测点,可以提供强大的检查能力和独特的洞察力来解决系统性能问题。
在安全方面,将查看和理解所有系统调用与所有网络的数据包和套接字级别视图相结合,来创建在更多上下文中运行并具有更好控制级别的安全系统。
事件驱动
eBPF 程序是事件驱动的,当内核或应用程序通过某个 hook(钩子) 点时运行。预定义的钩子类型包括系统调用、函数进入/退出、内核跟踪点、网络事件等。
Linux 的内核在系统调用和网络栈上提供了一组 BPF 钩子,通过这些钩子可以触发 BPF 程序的执行,下面就介绍常见的几种钩子。
XDP:这是网络驱动中接收网络包时就可以触发 BPF 程序的钩子,也是最早的点。由于此时还没有进入内核网络协议栈,也未执行高成本的操作,比如为网络包分配`sk_buff`[2],所以它非常适合运行删除恶意或意外流量的过滤程序,以及其他常见的 DDOS 保护机制。Traffic Control Ingress/Egress:附加到流量控制(traffic control,简称 tc)ingress 钩子上的 BPF 程序,可以被附加到网络接口上。这种钩子在网络栈的 L3 之前执行,并可以访问网络包的大部分元数据。可以处理同节点的操作,比如应用 L3/L4 的端点策略、转发流量到端点。CNI 通常使用虚拟机以太接口对veth将容器连接到主机的网络命名空间。使用附加到主机端veth的 tc ingress 钩子,可以监控离开容器的所有流量(当然也可以附加到容器的eth0接口上)。也可以用于处理跨节点的操作。同时将另一个 BPF 程序附加到 tc egress 钩子,Cilium 可以监控所有进出节点的流量并执行策略。上面两种属于网络事件类型的钩子,下面介绍同样是网络相关的,套接字的系统调用。
Socket operations:套接字操作钩子附加到特定的 cgroup 并在套接字的操作上运行。比如将 BPF 套接字操作程序附加到cgroup/sock_ops,使用它来监控 socket 的状态变化(从`bpf_sock_ops`[3]获取信息),特别是 ESTABLISHED 状态。当套接字状态变为 ESTABLISHED 时,如果 TCP 套接字的对端也在当前节点(也可能是本地代理),然后进行信息的存储。或者将程序附加到cgroup/connect4操作,可以在使用 ipv4 地址初始化连接时执行程序,对地址和端口进行修改。Socket send:这个钩子在套接字执行的每个发送操作上运行。此时钩子可以检查消息并丢弃消息、将消息发送到内核网络协议栈,或者将消息重定向到另一个套接字。这里,我们可以使用其完成 socket 的快速寻址。Map
eBPF 程序的一个重要方面是共享收集的信息和存储状态的能力。为此,eBPF 程序可以利用 eBPF Map 的概念存储和检索数据。eBPF Map 可以从 eBPF 程序访问,也可以通过系统调用从用户空间中的应用程序访问。
Map 有多种类型:哈希表、数组、LRU(最近最少使用)哈希表、环形缓冲区、堆栈调用跟踪等等。
比如上面附加到 socket 套接字上用来在每次发送消息时执行的程序,实际上是附加在 socket 哈希表上,socket 就是键值对中的值。
辅助函数
eBPF 程序不能调用任意内核函数。如果这样做会将 eBPF 程序绑定到特定的内核版本,并会使程序的兼容性复杂化。相反,eBPF 程序可以对辅助函数进行函数调用,辅助函数是内核提供的众所周知且稳定的 API。
这些辅助函数[4]提供了不同的功能:
生成随机数获取当前时间和日期访问 eBPF Map获取进程/cgroup 上下文操纵网络数据包和转发逻辑实现
讲完 eBPF 的内容,对实现应该会有一个大概的思路了。这里我们需要两个 eBPF 程序分别维护 socket map 和将消息直通对端的 socket。这里感谢Idan Zach 的示例代码 ebpf-sockops[5],我将代码做了简单的修改[6],让可读性更好一点。
原来代码用使用了16777343表示地址127.0.0.1,4135表示端口10000,二者是网络 字节序列转换后的值。
socket map 维护:sockops
附加到sock_ops的程序:监控 socket 状态,当状态为BPF_SOCK_OPS_PASSIVE_ESTABLISHED_CB或者BPF_SOCK_OPS_ACTIVE_ESTABLISHED_CB时,使用辅助函数bpf_sock_hash_update[^1] 将 socket 作为value保存到 socket map 中,key
__section("sockops")int bpf_sockmap(struct bpf_sock_ops *skops){ __u32 family, op; family = skops->family; op = skops->op; //printk("<<< op %d, port = %d --> %d\n", op, skops->local_port, skops->remote_port); switch (op) {case BPF_SOCK_OPS_PASSIVE_ESTABLISHED_CB:case BPF_SOCK_OPS_ACTIVE_ESTABLISHED_CB:if (family == AF_INET6)bpf_sock_ops_ipv6(skops);else if (family == AF_INET)bpf_sock_ops_ipv4(skops);break;default:break;} return 0;}// 127.0.0.1static const __u32 lo_ip = 127 + (1 << 24);static inline void bpf_sock_ops_ipv4(struct bpf_sock_ops *skops){ struct sock_key key = {}; sk_extract4_key(skops, &key); if (key.dip4 == loopback_ip || key.sip4 == loopback_ip ) {if (key.dport == bpf_htons(SERVER_PORT) || key.sport == bpf_htons(SERVER_PORT)) { int ret = sock_hash_update(skops, &sock_ops_map, &key, BPF_NOEXIST); printk("<<< ipv4 op = %d, port %d --> %d\n", skops->op, key.sport, key.dport); if (ret != 0)printk("*** FAILED %d ***\n", ret);} }}消息直通:sk_msg
附加到 socket map 的程序:在每次发送消息时触发该程序,使用当前 socket 的远端地址 + 端口和本地地址 + 端口作为 key 从 map 中定位对端的 socket。如果定位成功,说明客户端和服务端位于同一节点上,使用辅助函数bpf_msg_redirect_hash[^2] 将数据直接写入到对端 socket。
这里没有直接使用bpf_msg_redirect_hash,而是通过自定义的msg_redirect_hash来访问。因为前者无法直接访问,否则校验会不通过。
__section("sk_msg")int bpf_redir(struct sk_msg_md *msg){ __u64 flags = BPF_F_INGRESS; struct sock_key key = {}; sk_msg_extract4_key(msg, &key); // See whether the source or destination IP is local host if (key.dip4 == loopback_ip || key.sip4 == loopback_ip ) {// See whether the source or destination port is 10000if (key.dport == bpf_htons(SERVER_PORT) || key.sport == bpf_htons(SERVER_PORT)) { //int len1 = (__u64)msg->data_end - (__u64)msg->data; //printk("<<< redir_proxy port %d --> %d (%d)\n", key.sport, key.dport, len1); msg_redirect_hash(msg, &sock_ops_map, &key, flags);} } return SK_PASS;}测试
环境
Ubuntu 20.04Kernel 5.15.0-1034安装依赖。
sudo apt update && sudo apt install make clang llvm gcc-multilib linux-tools-$(uname -r) linux-cloud-tools-$(uname -r) linux-tools-generic克隆代码。
git clone https://github.com/addozhang/ebpf-sockopscd ebpf-sockops编译并加载 BPF 程序。
sudo ./load.sh安装iperf3。
sudo apt install iperf3启动 iperf3 服务端。
iperf3 -s -p 10000运行 iperf3 客户端。
iperf3 -c 127.0.0.1 -t 10 -l 64k -p 10000运行trace.sh脚本查看打印的日志,可以看到 4 条日志:创建了 2 个连接。
./trace.shiperf3-7744[001] d...1 838.985683: bpf_trace_printk: <<< ipv4 op = 4, port 45189 --> 4135iperf3-7744[001] d.s11 838.985733: bpf_trace_printk: <<< ipv4 op = 5, port 4135 --> 45189iperf3-7744[001] d...1 838.986033: bpf_trace_printk: <<< ipv4 op = 4, port 45701 --> 4135iperf3-7744[001] d.s11 838.986078: bpf_trace_printk: <<< ipv4 op = 5, port 4135 -->45701如何确定跳过了内核网络栈了,使用 tcpdump 抓包看一下。从抓包的结果来看,只有握手和挥手的流量,后续消息的发送完全跳过了内核网络栈。
sudo tcpdump -i lo port 10000 -vvvtcpdump: listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes13:23:31.761317 IP (tos 0x0, ttl 64, id 50214, offset 0, flags [DF], proto TCP (6), length 60)localhost.34224 > localhost.webmin: Flags [S], cksum 0xfe30 (incorrect -> 0x5ca1), seq 2753408235, win 65495, options [mss 65495,sackOK,TS val 166914980 ecr 0,nop,wscale 7], length 013:23:31.761333 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 60)localhost.webmin > localhost.34224: Flags [S.], cksum 0xfe30 (incorrect -> 0x169a), seq 3960628312, ack 2753408236, win 65483, options [mss 65495,sackOK,TS val 166914980 ecr 166914980,nop,wscale 7], length 013:23:31.761385 IP (tos 0x0, ttl 64, id 50215, offset 0, flags [DF], proto TCP (6), length 52)localhost.34224 > localhost.webmin: Flags [.], cksum 0xfe28 (incorrect -> 0x3d56), seq 1, ack 1, win 512, options [nop,nop,TS val 166914980 ecr 166914980], length 013:23:31.761678 IP (tos 0x0, ttl 64, id 59057, offset 0, flags [DF], proto TCP (6), length 60)localhost.34226 > localhost.webmin: Flags [S], cksum 0xfe30 (incorrect -> 0x4eb8), seq 3068504073, win 65495, options [mss 65495,sackOK,TS val 166914981 ecr 0,nop,wscale 7], length 013:23:31.761689 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 60)localhost.webmin > localhost.34226: Flags [S.], cksum 0xfe30 (incorrect -> 0x195d), seq 874449823, ack 3068504074, win 65483, options [mss 65495,sackOK,TS val 166914981 ecr 166914981,nop,wscale 7], length 013:23:31.761734 IP (tos 0x0, ttl 64, id 59058, offset 0, flags [DF], proto TCP (6), length 52)localhost.34226 > localhost.webmin: Flags [.], cksum 0xfe28 (incorrect -> 0x4019), seq 1, ack 1, win 512, options [nop,nop,TS val 166914981 ecr 166914981], length 013:23:41.762819 IP (tos 0x0, ttl 64, id 43056, offset 0, flags [DF], proto TCP (6), length 52)localhost.webmin > localhost.34226: Flags [F.], cksum 0xfe28 (incorrect -> 0x1907), seq 1, ack 1, win 512, options [nop,nop,TS val 166924982 ecr 166914981], length 013:23:41.763334 IP (tos 0x0, ttl 64, id 59059, offset 0, flags [DF], proto TCP (6), length 52)localhost.34226 > localhost.webmin: Flags [F.], cksum 0xfe28 (incorrect -> 0xf1f4), seq 1, ack 2, win 512, options [nop,nop,TS val 166924982 ecr 166924982], length 013:23:41.763348 IP (tos 0x0, ttl 64, id 43057, offset 0, flags [DF], proto TCP (6), length 52)localhost.webmin > localhost.34226: Flags [.], cksum 0xfe28 (incorrect -> 0xf1f4), seq 2, ack 2, win 512, options [nop,nop,TS val 166924982 ecr 166924982], length 013:23:41.763588 IP (tos 0x0, ttl 64, id 50216, offset 0, flags [DF], proto TCP (6), length 52)localhost.34224 > localhost.webmin: Flags [F.], cksum 0xfe28 (incorrect -> 0x1643), seq 1, ack 1, win 512, options [nop,nop,TS val 166924982 ecr 166914980], length 013:23:41.763940 IP (tos 0x0, ttl 64, id 14090, offset 0, flags [DF], proto TCP (6), length 52)localhost.webmin > localhost.34224: Flags [F.], cksum 0xfe28 (incorrect -> 0xef2e), seq 1, ack 2, win 512, options [nop,nop,TS val 166924983 ecr 166924982], length 013:23:41.763952 IP (tos 0x0, ttl 64, id 50217, offset 0, flags [DF], proto TCP (6), length 52)localhost.34224 > localhost.webmin: Flags [.], cksum 0xfe28 (incorrect -> 0xef2d), seq 2, ack 2, win 512, options [nop,nop,TS val 166924983 ecr 166924983], length 0总结
通过 eBPF 的引入,我们缩短了同节点通信数据包的 datapath,跳过了内核网络栈直接连接两个对端的 socket。
这种设计适用于同 pod 两个应用的通信以及同节点上两个 pod 的通信。
[^1]: 该辅助函数将引用的 socket 添加或者更新到 sockethashmap中,程序的输入bpf_sock_ops作为键值对的值。详细信息可参考 https://man7.org/linux/man-pages/man7/bpf-helpers.7.html 中的bpf_sock_hash_update。
[^2]: 该辅助函数将msg转发到 socket map 中key
参考资料
[1]eBPF.io:https://ebpf.io
[2]sk_buff:https://atbug.com/tracing-network-packets-in-kubernetes/#sk_buff
[3]bpf_sock_ops:https://elixir.bootlin.com/linux/latest/source/include/uapi/linux/bpf.h#L6377
[4]辅助函数:https://man7.org/linux/man-pages/man7/bpf-helpers.7.html
[5]Idan Zach 的示例代码 ebpf-sockops:https://github.com/zachidan/ebpf-sockops
[6]简单的修改:https://github.com/zachidan/ebpf-sockops/pull/3/commits/be09ac4fffa64f4a74afa630ba608fd09c10fe2a
责任编辑:武晓燕 来源:云原生指北 eBPF技术网络推荐系统
微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载
语言:中文版系统大小:5.13GB系统类型:Win11微软Win11原版22H2下载_Win11GHOST 免 激活密钥 22H2正式版64位免费下载系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Win11 64位 Office办公版(免费)优化 1、保留 Edge浏览器。 2、隐藏“操作中心”托盘图标。 3、保留常用组件(微软商店,计算器,图片查看器等)。 5、关闭天气资讯。
Win11 21H2 官方正式版下载_Win11 21H2最新系统免激活下载
语言:中文版系统大小:4.75GB系统类型:Win11Ghost Win11 21H2是微软在系统方面技术积累雄厚深耕多年,Ghost Win11 21H2系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。Ghost Win11 21H2是微软最新发布的KB5019961补丁升级而来的最新版的21H2系统,以Windows 11 21H2 22000 1219 专业版为基础进行优化,保持原汁原味,系统流畅稳定,保留常用组件
windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载
语言:中文版系统大小:5.31GB系统类型:Win11windows11中文版镜像 微软win11正式版简体中文GHOST ISO镜像64位系统下载,微软win11发布快大半年了,其中做了很多次补丁和修复一些BUG,比之前的版本有一些功能上的调整,目前已经升级到最新版本的镜像系统,并且优化了自动激活,永久使用。windows11中文版镜像国内镜像下载地址微软windows11正式版镜像 介绍:1、对函数算法进行了一定程度的简化和优化
微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载
语言:中文版系统大小:5.31GB系统类型:Win11微软windows11正式版GHOST ISO镜像 win11下载 国内最新版渠道下载,微软2022年正式推出了win11系统,很多人迫不及待的要体验,本站提供了最新版的微软Windows11正式版系统下载,微软windows11正式版镜像 是一款功能超级强大的装机系统,是微软方面全新推出的装机系统,这款系统可以通过pe直接的完成安装,对此系统感兴趣,想要使用的用户们就快来下载
微软windows11系统下载 微软原版 Ghost win11 X64 正式版ISO镜像文件
语言:中文版系统大小:0MB系统类型:Win11微软Ghost win11 正式版镜像文件是一款由微软方面推出的优秀全新装机系统,这款系统的新功能非常多,用户们能够在这里体验到最富有人性化的设计等,且全新的柔软界面,看起来非常的舒服~微软Ghost win11 正式版镜像文件介绍:1、与各种硬件设备兼容。 更好地完成用户安装并有效地使用。2、稳定使用蓝屏,系统不再兼容,更能享受无缝的系统服务。3、为
雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载
语言:中文版系统大小:4.75GB系统类型:雨林木风Windows11专业版 Ghost Win11官方正式版 (22H2) 系统下载在系统方面技术积累雄厚深耕多年,打造了国内重装系统行业的雨林木风品牌,其系统口碑得到许多人认可,积累了广大的用户群体,雨林木风是一款稳定流畅的系统,一直以来都以用户为中心,是由雨林木风团队推出的Windows11国内镜像版,基于国内用户的习惯,做了系统性能的优化,采用了新的系统
雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO
语言:中文版系统大小:5.91GB系统类型:Win7雨林木风win7旗舰版系统下载 win7 32位旗舰版 GHOST 免激活镜像ISO在系统方面技术积累雄厚深耕多年,加固了系统安全策略,雨林木风win7旗舰版系统在家用办公上跑分表现都是非常优秀,完美的兼容各种硬件和软件,运行环境安全可靠稳定。win7 32位旗舰装机版 v2019 05能够帮助用户们进行系统的一键安装、快速装机等,系统中的内容全面,能够为广大用户
番茄花园Ghost Win7 x64 SP1稳定装机版2022年7月(64位) 高速下载
语言:中文版系统大小:3.91GB系统类型:Win7欢迎使用 番茄花园 Ghost Win7 x64 SP1 2022.07 极速装机版 专业装机版具有更安全、更稳定、更人性化等特点。集成最常用的装机软件,集成最全面的硬件驱动,精心挑选的系统维护工具,加上独有人性化的设计。是电脑城、个人、公司快速装机之首选!拥有此系统
相关文章
- Ubuntu开启.htaccess的支持配置方法分享
- Win10系统提示该指纹与已设置的其他指纹非常类似请尝试其他手指的解决方法
- Win10 Mobile红石2预览版14905.1001本周晚些时候推送
- 用Win7的实用功能详细记录问题发生的步骤
- Win7升级到Win10专业版无法联网的解决方法
- win2008系统安全不是说说而已(强大的安全设置!)
- Win7系统不一样的小功能汇总
- win10无法打开office的解决方法
- Linux命令删除指定日期以前的文件
- win10 Build 10130的Wi-Fi连接失效的BUG已解决
- Win7如何关闭卸载Windows Search服务功能
- vmware虚拟机安装韩文xp系统的详细教程
- 使用Git管理二进制大对象的方法
- 手把手教你安装win8系统(最详细的图文教程)
- win10 build 10120系统Edge截图曝光 现代感十足
- win7 C盘空间缩水的有效处理方法
- Win10 10102预览版怎么卸载应用程序和添加功能?
- Linux怎么开启tomcat中日志的gc设置?
热门系统
- 1华硕笔记本&台式机专用系统 GhostWin7 32位正式旗舰版2018年8月(32位)ISO镜像下载
- 2深度技术 Windows 10 x86 企业版 电脑城装机版2018年10月(32位) ISO镜像免费下载
- 3电脑公司 装机专用系统Windows10 x86喜迎国庆 企业版2020年10月(32位) ISO镜像快速下载
- 4雨林木风 Ghost Win7 SP1 装机版 2020年4月(32位) 提供下载
- 5深度技术 Windows 10 x86 企业版 六一节 电脑城装机版 版本1903 2022年6月(32位) ISO镜像免费下载
- 6深度技术 Windows 10 x64 企业版 电脑城装机版2021年1月(64位) 高速下载
- 7新萝卜家园电脑城专用系统 Windows10 x64 企业版2019年10月(64位) ISO镜像免费下载
- 8新萝卜家园 GhostWin7 SP1 最新电脑城极速装机版2018年8月(32位)ISO镜像下载
- 9电脑公司Ghost Win8.1 x32 精选纯净版2022年5月(免激活) ISO镜像高速下载
- 10新萝卜家园Ghost Win8.1 X32 最新纯净版2018年05(自动激活) ISO镜像免费下载
热门文章
常用系统
- 1Win10办公版系统下载_技术员联盟 Ghost Win10 64位 专业办公版下载V2022.03
- 2深度技术 GHOST XP SP3 万能装机版 V2015.01 下载
- 3Win10完美装机版下载_Win10 64位完美装机版镜像下载
- 4Win10企业版LTSC 64位最新版镜像下载_Win10企业版LTSC镜像下载2022
- 5win7低配精简版32位 v2023下载
- 6电脑公司Ghost Win7 Sp1 装机万能版2020年8月(32位) 提供下载
- 7Win10 2004版本下载_Win10 2004 64位iso镜像下载
- 8Win10极速精简版下载_Windows10系统极速精简版64位最新镜像下载
- 9番茄花园Win7纯净版下载_番茄花园Ghost Win7 32位极速稳定版下载
- 10电脑公司Ghost win10 2016长期服务版32位 v2023.12免费最新下载