使用mc往/从AWS Snowball迁移数据

随着数据的增长，与移动数据相关的挑战也随之增加。确实，将PB数据从AWS迁移出来所需的带宽成本要比将数据保留在那里多年还要多。尽管如此，客户仍然经常需要以一定的频率转移大量数据（从TB到PB）。

亚马逊知道这一点，并以其高度关注客户的方式在亚马逊中提出了一个聪明的解决方案Snowball。Snowball价格合理，并且可以移动大量数据。在他们的“常见问题”页面中，此便捷表格提供了一些上下文。在这些速度下，FedEx和UPS是更好的选择。

但是，有一个问题值得注意，那就是Amazon的CLI（用于提取数据）非常有限。将数据移出Snowball之前，需要一个等效容量的暂存区域，然后才能将其移至另一个对象存储系统。暂存区域必须是NAS或文件系统。

为了促进将数据从AWS的Snowball直接移到另一个与S3兼容的对象存储中，我们使用了流行的MinIO Client（MC）工具。

Snowball支持S3，但我们注意到它仅比较受限制。

通过增强mc以将Snowball识别为S3兼容对象存储服务器，可以获得所有mc命令来管理Snowball上的数据。通过添加我们的网关（如Azure，HDFS，NAS，GCS，阿里巴巴），用户甚至可以将数据从Snowball迁移到不兼容的S3对象存储，或从不兼容的S3对象存储迁移。

随意镜像，迁移和移动。

新版本提供了此增强功能，对于数据/开发人员/基础架构专业人员而言，将大量数据移入和移出AWS确实非常简单。

下载新的MC：

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help

虽然这肯定会加快那些希望将其部分或全部数据返还的人们的工作，但如果客户需要的话，它也将使将数据轻松存储到 AWS S3 上变得更加容易。

以下是为AWS Snowball 配置mc的说明。如前所述，Amazon Snowball实现了受限制的S3 API。

新版本的mc将自动检测到Snowball并相应地运行。

在开始之前，用户必须按此处所述获取AWS Snowball凭证。

有两种移动数据的方法，安全的和不安全的。虽然我们建议使用安全方法，但我们在此处详细介绍了两者。

安全（推荐）

在将mc配置为使用HTTPs终结点之前，请确保获取Snowball Edge证书。

获得证书后，其外观应类似于以下证书：

~ mkdir -p ${HOME}/.mc/certs/CAs
~ snowballEdge get-certificate --certificate-arn arn:aws:snowball-device:::certificate/78EXAMPLE516EXAMPLEf538EXAMPLEa7 > ${HOME}/.mc/certs/CAs/snowball.pem

保存证书。下一步是使用获得的凭据创建别名，如下所示：

~ mc config host add mysnowball https://<YOUR-SNOWBALL-IP>:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY

不安全的

Snowball还暴露了一个不安全的端点，没有证书。

~ mc config host add mysnowball https://<YOUR-SNOWBALL-IP>:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY

完成后，我们现在将注意力转向MinIO端点。

开始镜像

假设您已将MinIO服务器配置为“ myminio”，请启动镜像以将Amazon Snowball上的所有存储桶和所有对象复制到MinIO。

~ mc mirror mysnowball/ myminio/

瞧！

现在，从mc的角度来看，您的Snowball是的对象存储服务器。

来源 https://www.modb.pro/db/380487