如何在私有网络上运行Dataflow Python？

问题描述

ApacheBeam2.1.0添加了对在专用子网络上没有公共IP的数据流运行器上提交作业的支持，这是我们满足防火墙规则所需的。我计划使用Squid代理访问apt-get、pip等来安装python依赖项；一个代理实例已经在运行，并且我们在setup.py脚本中设置了代理。

python $DIR/submit.py 
       --runner DataflowRunner 
       --no_use_public_ips 
       --subnetwork regions/us-central1/subnetworks/$PRIVATESUBNET 
       --staging_location $BUCKET/staging 
       --temp_location $BUCKET/temp 
       --project $PROJECT 
       --setup_file $DIR/setup.py 
       --job_name $JOB_NAME

当我尝试通过pythonAPI运行时，在我有机会启用代理之前，在Worker启动期间出错。在我看来，每个工作人员都会首先尝试安装数据流SDK：

在此期间，它尝试更新requests，但无法连接到pip：

目前还没有执行我的任何代码，因此在设置代理之前，我看不到避免此错误的方法。有没有办法在专用子网上启动数据流Python工作进程？

---

解决方案

我设法用NAT网关而不是代理解决了这个问题。按照special configurations下的说明-我必须编辑其中一个步骤，以通过网关自动路由数据流工作实例：

gcloud compute routes create no-ip-internet-route --network my-network 
    --destination-range 0.0.0.0/0 
    --next-hop-instance nat-gateway 
    --next-hop-instance-zone us-central1-a 
    --tags dataflow --priority 800

我使用了标记dataflow而不是no-ip，后者是所有数据流工作进程的网络标记。

在这种情况下，NAT网关似乎比代理更容易解决问题，因为它无需配置工作进程即可路由流量。