VPC から Backbone の awsnat アドレス宛に通信してもパケット戻ってこない

[hanazuki]

bastionから

• dig @10.33.152.53 dnssec-failed.org これはレスポンスが返るけど
• dig @192.50.220.165 dnssec-failed.org これが返らない

unboundまでクエリは届いているので，nlbからの戻りパケットがどこかで落ちてそう

natgw outerのNATは問題なく動いてる

rk@ip-10-33-128-10:~$ dig +short @10.33.152.53 txt o-o.myaddr.l.google.com
"192.50.220.159"
rk@ip-10-33-128-10:~$ dig +short @10.33.136.53 txt o-o.myaddr.l.google.com
"192.50.220.158"

オンプレ側からは問題なし:

rk@br-01-hnd> show configuration system name-server
192.50.220.164;
192.50.220.165;

rk@br-01-hnd> ping br-01.nrt.rubykaigi.net
PING br-01.nrt.rubykaigi.net (10.33.0.2): 56 data bytes
64 bytes from 10.33.0.2: icmp_seq=0 ttl=64 time=4.707 ms
64 bytes from 10.33.0.2: icmp_seq=1 ttl=64 time=6.670 ms
^C
--- br-01.nrt.rubykaigi.net ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max/stddev = 4.707/5.688/6.670/0.982 ms

[hanazuki]

onpremises natgw発/AWS宛のパケットがtunを経由せずにDXに戻されているのがおかしそうに見える

rk@br-01-hnd> show route table awsnat-in.inet.0

awsnat-in.inet.0: 4 destinations, 4 routes (4 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both

0.0.0.0/0          *[BGP/100] 18w1d 08:12:10, localpref 100
                      AS path: 65151 65402 65001 23456 59128 I, validation-state: unverified
                    >  to 10.33.22.69 via ge-0/0/1.31
10.33.22.68/31     *[Direct/0] 45w6d 21:39:19
                    >  via ge-0/0/1.31
10.33.22.68/32     *[Local/0] 45w6d 21:39:19
                       Local via ge-0/0/1.31
10.33.128.0/18     *[BGP/100] 2d 01:36:10, localpref 100, from 10.33.22.2  <-----**
                      AS path: 65001 64512 I, validation-state: unverified
                       to 10.33.22.2 via ge-0/0/3.3062
                    >  to 10.33.22.6 via ge-0/0/4.3162

[sorah]

これ以前は動いてた?

[hanazuki]

覚えてないけど，去年気づかなかっただけだと思う（一昨年はそもそもなかった）

[sorah]

1. src=Bastion dst=PA
2. src=Bastion dst=NLB
3. src=Bastion dst=Pod

となり、

1. src=Pod dst=Bastion
2. src=NLB dst=Bastion

となるので VPC route table の local route として処理されるのでどうしようもないかも

NLBのclient IP preservation 切ってもNLBからdst=Bastionにどのみちなるのでやはりどうしようもない

[hanazuki]

たしかに…