使用Pandas AWS Glue Python外壳作业

问题描述

AWS文档 https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html

提到

运行Python外壳作业的环境支持以下各项 库：

...

pandas (需要通过python setupTools安装 配置，setup.py)

但没有提到如何进行安装。

如何在AWS Glue Python外壳作业中使用 pandas ？

---

解决方案

1. 转到https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html#create-python-extra-library。检查部分 为"如何为Python外壳作业创建安装文件"创建一个Python.egg或.whl文件
2. 在setup.py文件中，添加install_requires=['pandas==0.25.1']行：

setup(name="<module name>",
        version="0.1",
        packages=['<package name if any or ignore>'],
        install_requires=['pandas==0.25.1']
    )

我还编写了一个小的外壳脚本来部署Python外壳作业，而不需要手动创建鸡蛋文件，并通过CloudForms上传到S3和部署。脚本会自动完成所有操作。 您可以在https://github.com/fatangare/aws-python-shell-deploy

找到代码