TensorFlow编程人员指南 导入数据

导入数据通过tf.data API，您可以根据简单的可重用片段构建复杂的输入管道。

例如，图片模型的管道可能会汇聚分布式文件系统中的文件中的数据、对每个图片应用随机扰动，并将随机选择的图片合并成用于训练的批次。

文本模型的管道可能包括从原始文本数据中提取符号、根据对照表将其转换为嵌入标识符，以及将不同长度的序列组合成批次数据。

使用tf.data API 可以轻松处理大量数据、不同的数据格式以及复杂的转换。

tf.data API 在TensorFlow 中引入了两个新的抽象类：∙tf.data.Dataset表示一系列元素，其中每个元素包含一个或多个Tensor对象。

例如，在图片管道中，元素可能是单个训练样本，具有一对表示图片数据和标签的张量。

可以通过两种不同的方式来创建数据集：∙创建来源（例如Dataset.from_tensor_slices()），以通过一个或多个tf.Tensor对象构建数据集。

∙应用转换（例如Dataset.batch()），以通过一个或多个tf.data.Dataset对象构建数据集。

∙tf.data.Iterator提供了从数据集中提取元素的主要方法。

Iterator.get_next()返回的操作会在执行时生成Dataset的下一个元素，并且此操作通常充当输入管道代码和模型之间的接口。

最简单的迭代器是“单次迭代器”，它与特定的Dataset相关联，并对其进行一次迭代。

要实现更复杂的用途，您可以通过Iterator.initializer操作使用不同的数据集重新初始化和参数化迭代器，这样一来，您就可以在同一个程序中对训练和验证数据进行多次迭代（举例而言）。

基本机制本指南的这一部分介绍了创建不同种类的Dataset和Iterator对象的基础知识，以及如何从这些对象中提取数据。

要启动输入管道，您必须定义来源。

例如，要通过内存中的某些张量构建Dataset，您可以使用tf.data.Dataset.from_tensors()或tf.data.Dataset.from_tensor _slices()。

或者，如果您的输入数据以推荐的TFRecord格式存储在磁盘上，那么您可以构建tf.data.TFRecordDataset。

有了Dataset对象后，您可以通过链接tf.data.Dataset对象上的方法调用将其转换为新的Dataset。

例如，您可以应用单元素转换，例如Dataset.map()（为每个元素应用一个函数），也可以应用多元素转换（例如Dataset.batch()）。

要了解转换的完整列表，请参阅tf.data.Dataset的文档。

消耗中值的最常见方法是构建迭代器对象。

通过此对象，可以一次访用Dataset.make_one_shot_iterator()）。

tf.data.Iterator提供了两个操作：Iterator.initializer，您可以通过此操作（重新）初始化迭代器的状态；以及Iterator.get_next()，此操作返回对应于有符号下一个元素的tf.Tensor对象。

根据您的使用情形，您可以选择不同类型的迭代器，下文介绍了具体选项。

数据集结构一个数据集包含多个元素，每个元素的结构都相同。

一个元素包含一个或多个tf.Tensor对象，这些对象称为组件。

每个组件都有一个tf.DType，表示张量中元素的类型；以及一个tf.TensorShape，表示每个元素（可能部分指定）的静态形状。

您可以通过Dataset.output_types和Dataset.output_shapes属性检查数据集元素各个组件的推理类型和形状。

这些属性的嵌套结构映射到元素的结构，此元素可以是单个张量、张量元组，也可以是张量的嵌套元组。

例如：dataset1 = tf.data.Dataset.from_tensor_slices(tf.random_uniform([4, 10]))print(dataset1.output_types) # ==> "tf.float32"print(dataset1.output_shapes) # ==> "(10,)"dataset2 = tf.data.Dataset.from_tensor_slices((tf.random_uniform([4]),tf.random_uniform([4, 100], maxval=100, dtype=tf.int32)))print(dataset2.output_types) # ==> "(tf.float32, tf.int32)"print(dataset2.output_shapes) # ==> "((), (100,))"dataset3 = tf.data.Dataset.zip((dataset1, dataset2))print(dataset3.output_types) # ==> (tf.float32, (tf.float32,tf.int32))print(dataset3.output_shapes) # ==> "(10, ((), (100,)))"为元素的每个组件命名通常会带来便利性，例如，如果它们表示训练样本的不同特征。

除了元组之外，还可以使用dtuple或将字符串映射到张量的字典来表示Dataset的单个元素。

dataset = tf.data.Dataset.from_tensor_slices({"a": tf.random_uniform([4]),"b": tf.random_uniform([4, 100], maxval=100, dtype=tf.int32)}) print(dataset.output_types) # ==> "{'a': tf.float32, 'b':tf.int32}"print(dataset.output_shapes) # ==> "{'a': (), 'b': (100,)}"Dataset转换支持任何结构的数据集。

在使用Dataset.map()、Dataset.flat_map()和Dataset.filter()转换时（这些转换会对每个元素应用一个函数），元素结构决定了函数的参数：dataset1 = dataset1.map(lambda x: ...)dataset2 = dataset2.flat_map(lambda x, y: ...)# Note: Argument destructuring is not available in Python 3.dataset3 = dataset3.filter(lambda x, (y, z): ...)创建迭代器构建了表示输入数据的Dataset后，下一步就是创建Iterator来访问该数据集中的元素。

tf.data API 目前支持下列迭代器，复杂程度逐渐增大：∙单次，∙可初始化，∙可重新初始化，以及∙可馈送。

单次迭代器是最简单的迭代器形式，仅支持对数据集进行一次迭代，不需要显式初始化。

单次迭代器可以处理基于队列的现有输入管道支持的几乎所有情况，但它们不支持参数化。

以Dataset.range()为例：dataset = tf.data.Dataset.range(100)iterator = dataset.make_one_shot_iterator()next_element = iterator.get_next()for i in range(100):value = sess.run(next_element)assert i == value注意：目前，单次迭代器是唯一可轻松与Estimator配合使用的类型。

您需要先运行显式iterator.initializer操作，然后才能使用可初始化迭代器。

虽然有些不便，但它允许您使用一个或多个tf.placeholder()张量（可在初始化迭代器时馈送）参数化数据集的定义。

继续以Dataset.range()为例：max_value = tf.placeholder(tf.int64, shape=[])dataset = tf.data.Dataset.range(max_value)iterator = dataset.make_initializable_iterator()next_element = iterator.get_next()# Initialize an iterator over a dataset with 10 elements.sess.run(iterator.initializer, feed_dict={max_value: 10})for i in range(10):value = sess.run(next_element)assert i == value# Initialize the same iterator over a dataset with 100 elements. sess.run(iterator.initializer, feed_dict={max_value: 100})for i in range(100):value = sess.run(next_element)assert i == value可重新初始化迭代器可以通过多个不同的Dataset对象进行初始化。

例如，您可能有一个训练输入管道，它会对输入图片进行随机扰动来改善泛化；还有一个验证输入管道，它会评估对未修改数据的预测。

这些管道通常会使用不同的Dataset对象，这些对象具有相同的结构（即每个组件具有相同类型和兼容形状）。

# Define training and validation datasets with the same structure. training_dataset = tf.data.Dataset.range(100).map(lambda x: x + tf.random_uniform([], -10, 10, tf.int64)) validation_dataset = tf.data.Dataset.range(50)# A reinitializable iterator is defined by its structure. We could use the# `output_types` and `output_shapes` properties of either`training_dataset`# or `validation_dataset` here, because they are compatible.iterator =tf.data.Iterator.from_structure(training_dataset.output_types,training_dataset.output_sh apes)next_element = iterator.get_next()training_init_op = iterator.make_initializer(training_dataset) validation_init_op = iterator.make_initializer(validation_dataset)# Run 20 epochs in which the training dataset is traversed, followed by the# validation dataset.for _ in range(20):# Initialize an iterator over the training dataset.sess.run(training_init_op)for _ in range(100):sess.run(next_element)# Initialize an iterator over the validation dataset.sess.run(validation_init_op)for _ in range(50):sess.run(next_element)可馈送迭代器可以与tf.placeholder一起使用，通过熟悉的feed_dict机制选择每次调用tf.Session.run时所使用的Iterator。