k8s 网络转发问题记录

问题概述

环境:内网服务器k8s上部署了服务端、openresty前端,通过公网服务器转发到内网的nginx对应端口。

问题:公网ip进行发送请求,后端拿取请求头源IP地址丢失。

思考:考虑是k8s 自带负载均衡进行了转发到不同的Node。

对于NodePort 类型的 service 而言,有一个参数是 externalTrafficPolicy=Local

附: 官方文档

service.spec.externalTrafficPolicy=Local

刚好最近机缘巧合之下对这个参数了解了一下,于是把我的个人理解写在这里,分享给大家

前言

对于Service, 如果指定类型为 NodePort, 那么这个端口会在集群的所有 Node 上打开,即使这个Node 上面没有这个pod
(很好理解,和守护进程集不一样,对于Deployment 来说,很少会在每个节点上都启动pod,所以必定有一些节点上没有这个pod)

引出一个问题,当某个节点上没有pod的时候,又去访问ta的这个NodePort,能访问到吗?

答案是可以的。

流程1:(使用cluster)

          client
              \ ^
               \ \
                v \
   node 1 <--- node 2
    | ^   SNAT
    | |   --->
    v |
 endpoint

externalTrafficPolicy使用Cluster 网络流程:

Client 发送TCP 包到node2:nodeport

node2 将Client 源IP 地址进行替换为node2 的IP 地址

node2 将请求目的地ip替换为podIP

tcp包被路由到node1,然后到达endpoint

pod实际响应被路由到node2

node2把pod的响应在转发给客户端

在中间相当于在node2中进行了网络转换,源ip信息被遗失掉了。

流程2:(使用Local)

在k8s 中,提供了保留源IP 信息的功能,即设置externalTrafficPolicy=Local

为Local时的网络流程

        client
        ^ /   \
       / /     \
      / v       X
   node 1     node 2
    ^ |
    | |
    | v
 endpoint

client sends packet to node2:nodePort, which doesn’t have any endpoints
客户端发送tcp包到 node2:nodePort, 但是 node2 并没有 这个pod

packet is dropped
tcp包被丢弃client sends packet to node1:nodePort, which does have endpoints
客户端发送数据包到 node1:nodePort, node1有pod

node1 routes packet to endpoint with the correct source IP
node1 把包路由到对应的pod,那么pod 就可以拿到正确的客户端源IP地址

总结

即使用Local模式,在请求过来的时候,如果node没有对应pod,则会将tcp的包丢弃掉。

而Cluster模式则会进行内部路由,内部转发请求到对应node 的pod 上。

评论

  1. 腾讯云开发者社区
    2 年前
    2022-10-20 17:03:53

    您好~我是腾讯云开发者社区运营,关注了您分享的技术文章,觉得内容很棒,我们诚挚邀请您加入腾讯云自媒体分享计划。完整福利和申请地址请见:https://cloud.tencent.com/developer/support-plan
    作者申请此计划后将作者的文章进行搬迁同步到社区的专栏下,你只需要简单填写一下表单申请即可,我们会给作者提供包括流量、云服务器等,另外还有些周边礼物。٩(ˊᗜˋ*)و

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇