如何使用TensorFlow 2.0处理两个笨拙的数据集？

问题描述

我希望在TensorFlow 2.0中编写一个函数，然后在每次训练迭代之前打乱数据及其目标标签。

假设我有两个无用的数据集，X和Y，它们表示用于分类的数据和标签。如何同时对它们进行置乱？

使用sklearn非常简单：

from sklearn.utils import shuffle
X, y = shuffle(X, y)

如何在TensorFlow 2.0中执行相同的操作？我在文档中找到的唯一工具是tf.random.shuffle，但它一次只接受一个对象，我需要提供两个对象。

---

解决方案

不是洗牌x和y，而是更容易洗牌它们的索引，因此首先生成一个索引列表

indices = tf.range(start=0, limit=tf.shape(x_data)[0], dtype=tf.int32)

然后将这些索引置乱

idx = tf.random.shuffle(indices)

并使用这些索引对数据进行置乱

x_data = tf.gather(x_data, idx)
y_data = tf.gather(y_data, idx)

这样您就可以对数据进行混洗