有了Openvswitch和Docker,终于可以做《TCP/IP详解》的实验了!

2020-06-01 00:00:00 路由 网卡 网络 访问 二层

所有做过网络编程的程序员,想必都会看《TCP/IP详解》卷一:协议



后来出了第二版,但是由于版才是Rechard Stevens的原版,本人还是多次看了版。


对这一版印象深的就是下面这个拓扑图



书上的很多实验,都是基于这个图做的,看了实验结果,很多理论才有真实的感觉。


看这本书的时候,不尽感慨Rechard Stevens的天赋英才,他能够利用工作中当时少于的实验环境,做了大量的实验,写出了普惠程序员的这本书。


可是除了看书中的实验结果,如何能够模拟这么一个环境,也动手测试一下呢?


可是对于大部分的同学来讲,是几乎不可能的事情,除非能够真的管理实验室或者机房。


后来有了Docker和Openvswitch,发现这个拓扑图在一个虚拟机里面就能够模拟完成。


接下来我们就看这个过程。


一、创建一个Ubuntu的VirtualBox虚拟机


里面有两张网卡,一个是NAT,用于访问公网,一个是Host-only,用于ssh进去配置。


二、安装Docker


apt-get remove docker docker-engine docker.io

apt-get update

apt-get install     apt-transport-https     ca-certificates     curl     software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg > gpg

apt-key add gpg

apt-key fingerprint 0EBFCD88

add-apt-repository    "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

apt-get update

apt-cache madison docker-ce

apt-get install docker-ce=17.03.2~ce-0~ubuntu-xenial


三、安装Openvswitch


apt-get install openvswitch-common openvswitch-dbg openvswitch-switch python-openvswitch openvswitch-ipsec openvswitch-pki openvswitch-vtep


安装网桥

apt-get install bridge-utils


apt-get install arping


四、创建br-ex,用于gateway连接外网


在虚拟机里面找到NAT的那张网卡

2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

link/ether 08:00:27:77:d9:16 brd ff:ff:ff:ff:ff:ff

inet 10.0.2.15/24 brd 10.0.2.255 scope global enp0s3

valid_lft forever preferred_lft forever


创建br-ex,将NAT网卡连接到br-ex,然后将IP地址放在br-ex上


brctl addbr br-ex

brctl addif br-ex enp0s3

ifconfig enp0s3 0

ifconfig br-ex 10.0.2.15/24

ip route add default via 10.0.2.2 dev br-ex


五、准备一个Ubuntu容器镜像


准备一个Dockerfile


FROM hub.c.163.com/public/ubuntu:14.04

RUN apt-get -y update && apt-get install -y iproute2 iputils-arping net-tools arping tcpdump curl telnet iputils-tracepath traceroute

ENTRYPOINT /usr/sbin/sshd -D


编译这个Dockerfile


docker build -f Dockerfile -t hub.c.163.com/liuchao110119163/ubuntu:1 .


六、创建图中所有的节点,每个一个容器


docker run --privileged=true --net none --name aix -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name solaris -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name gemini -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name gateway -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name netb -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name sun -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name svr4 -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name bsdi -d hub.c.163.com/liuchao110119163/ubuntu:1

docker run --privileged=true --net none --name slip -d hub.c.163.com/liuchao110119163/ubuntu:1


七、创建两个网桥,代表两个二层网络


ovs-vsctl add-br net1

ovs-vsctl add-br net2


八、将所有的节点连接到两个网络


在这里我们使用pipework


./pipework net1 aix 140.252.1.92/24

./pipework net1 solaris 140.252.1.32/24

./pipework net1 gemini 140.252.1.11/24

./pipework net1 gateway 140.252.1.4/24

./pipework net1 netb 140.252.1.183/24


./pipework net2 bsdi 140.252.13.35/27

./pipework net2 sun 140.252.13.33/27

./pipework net2 svr4 140.252.13.34/27


九、添加从slip到bsdi的p2p网络


创建一个peer的两个网卡

ip link add name slipside mtu 1500 type veth peer name bsdiside mtu 1500


把其中一个塞到slip的网络namespace里面

root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' slip

14521

ln -s /proc/14521/ns/net /var/run/netns/14521

ip link set slipside netns 14521


把另一个塞到bsdi的网络的namespace里面

root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' bsdi

14478

ln -s /proc/14478/ns/net /var/run/netns/14478

ip link set bsdiside netns 14478


给slip这面的网卡添加IP地址

docker exec -it slip ip addr add 140.252.13.65/27 dev slipside

docker exec -it slip ip link set slipside up


给bsdi这面的网卡添加IP地址

docker exec -it bsdi ip addr add 140.252.13.66/27 dev bsdiside

docker exec -it bsdi ip link set bsdiside up


如果我们仔细分析,p2p网络和下面的二层网络不是同一个网络。


p2p网络的cidr是140.252.13.64/27,而下面的二层网络的cidr是140.252.13.32/27


所以对于slip来讲,对外访问的默认网关是13.66

docker exec -it slip ip route add default via 140.252.13.66 dev slipside


而对于bsdi来讲,对外访问的默认网关13.33

docker exec -it bsdi ip route add default via 140.252.13.33 dev eth1


对于sun来讲,要想访问p2p网络,需要添加下面的路由表

docker exec -it sun ip route add 140.252.13.64/27 via 140.252.13.35 dev eth1


对于svr4来讲,对外访问的默认网关是13.33

docker exec -it svr4 ip route add default via 140.252.13.33 dev eth1


对于svr4来讲,要访问p2p网关,需要添加下面的路由表

docker exec -it svr4 ip route add 140.252.13.64/27 via 140.252.13.35 dev eth1


这个时候,从slip是可以ping的通下面的所有的节点的。


十、添加从sun到netb的点对点网络


创建一个peer的网卡对

ip link add name sunside mtu 1500 type veth peer name netbside mtu 1500


一面塞到sun的网络namespace里面

root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' sun

14384

ln -s /proc/14384/ns/net /var/run/netns/14384

ip link set sunside netns 14384


另一面塞到netb的网络的namespace里面

root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' netb

14336

ln -s /proc/14336/ns/net /var/run/netns/14336

ip link set netbside netns 14336


给sun里面的网卡添加地址

docker exec -it sun ip addr add 140.252.1.29/24 dev sunside

docker exec -it sun ip link set sunside up


在sun里面,对外访问的默认路由是1.4

docker exec -it sun ip route add default via 140.252.1.4 dev sunside


在netb里面,对外访问的默认路由是1.4

docker exec -it netb ip route add default via 140.252.1.4 dev eth1


在netb里面,p2p这面可以没有IP地址,但是需要配置路由规则,访问到下面的二层网络

docker exec -it netb ip link set netbside up

docker exec -it netb ip route add 140.252.1.29/32 dev netbside

docker exec -it netb ip route add 140.252.13.32/27 via 140.252.1.29 dev netbside

docker exec -it netb ip route add 140.252.13.64/27 via 140.252.1.29 dev netbside


十一、对于netb,配置arp proxy


对于netb来讲,不是一个普通的路由器,因为netb两边是同一个二层网络,所以需要配置arp proxy,将同一个二层网络隔离称为两个。


配置proxy_arp为1


docker exec -it netb bash -c "echo 1 > /proc/sys/net/ipv4/conf/eth1/proxy_arp"

docker exec -it netb bash -c "echo 1 > /proc/sys/net/ipv4/conf/netbside/proxy_arp"


通过一个脚本proxy-arp脚本设置arp响应


设置proxy-arp.conf

eth1 140.252.1.29

netbside 140.252.1.92

netbside 140.252.1.32

netbside 140.252.1.11

netbside 140.252.1.4


将配置文件添加到docker里面

docker cp proxy-arp.conf netb:/etc/proxy-arp.conf

docker cp proxy-arp netb:/root/proxy-arp


在docker里面执行脚本proxy-arp

docker exec -it netb bash

chmod +x proxy-arp

./proxy-arp start


十二、配置上面的二层网络里面所有机器的路由


在aix里面,默认外网访问路由是1.4

docker exec -it aix ip route add default via 140.252.1.4 dev eth1


在aix里面,可以通过下面的路由访问下面的二层网络

docker exec -it aix ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1

docker exec -it aix ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1


同理配置solaris

docker exec -it solaris ip route add default via 140.252.1.4 dev eth1

docker exec -it solaris ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1

docker exec -it solaris ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1


同理配置gemini

docker exec -it gemini ip route add default via 140.252.1.4 dev eth1

docker exec -it gemini ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1

docker exec -it gemini ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1


十三、在gateway里面创建一个网卡连接到br-ex


连接到br-ex用于连接外网

./pipework br-ex gateway 10.0.2.88/24@10.0.2.2


通过配置路由可以连接到下面的二层网络

docker exec -it gateway ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1

docker exec -it gateway ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1


到此为止,上下的二层网络都能相互访问了,并且可以访问外网。


脚本在这里https://github.com/popsuper1982/tcpipillustrated


相关文章