tensorflow文档（tensorflow中如何将文本文档划分为训练集文件和测试集文件）

本文目录

• tensorflow中如何将文本文档划分为训练集文件和测试集文件
• tensorflow装好后里面那么多文件包，包中有包，好多函数藏得深，你怎么处理的，运行就报没函数
• TensorFlow制作TFRecord文件方式的数据集的完整程序，最好标明怎么输入输出地址
• 在Windows10下能用pip方式给python2.7添加tensorflow支持库吗求wheel文件！
• 如何理解tensorflow中的dimension

tensorflow中如何将文本文档划分为训练集文件和测试集文件

没用过tensorflow，我从数据的角度想想
1、导入后随机看几个节点的权重参数，看看网络是不是正常保存了
2、是不是在数据归一化的时候第一次你归一化用的是test+train数据而第二次只用了test数据
3、网络里面可以用了一些有随机性的方法在比如随机采样之类的
4、用到了在线更新

tensorflow装好后里面那么多文件包，包中有包，好多函数藏得深，你怎么处理的，运行就报没函数

由于我之前已经安装好了anaconda，可能导致终端的python调用的是anaconda路径中的python，由此引发了一些后面的问题
我是按照tensorflow英文文档中的按照方式，为了安装最新的tensorflow版本，目前的中文文档更新有点落后于官网，部分代码有改动
我最初是选择pip安装方式，简单便捷，原以为安装完成以后就可以在终端直接使用，却发现在运行代码
import tensorflow as tf的时候提示没有tensorflow模块
在之后，我又选择了Anaconda安装方式，安装过程一切顺利，在终端创建source activate tensorflow中可以完美运行tensorflow。但是在spyder界面和终端直接运行python的情况下都无法导入tensorflow模块

TensorFlow制作TFRecord文件方式的数据集的完整程序，最好标明怎么输入输出地址

# 将图片转换为TFrecord 格式并读取
import os
import tensorflow as tf
from PIL import Image
# 源数据地址
cwd = ’C:\\Users\\xiaodeng\\Desktop\\UCMerced_LandUse\\Images’
# 生成record路径及文件名
train_record_path = r"C:\\Users\\xiaodeng\\Desktop\\train.tfrecords"
test_record_path = r"C:\\Users\\xiaodeng\\Desktop\\test.tfrecords"
# 分类
classes = {’agricultural’,’airplane’,’baseballdiamond’,
’beach’,’buildings’,’chaparral’,’denseresidential’,
’forest’,’freeway’,’golfcourse’,’harbor’,
’intersection’,’mediumresidential’,’mobilehomepark’,’overpass’,
’parkinglot’,’river’,’runway’,’sparseresidential’,’storagetanks’,’tenniscourt’}
def _byteslist(value):
"""二进制属性"""
return tf.train.Feature(bytes_list = tf.train.BytesList(value = ))
def _int64list(value):
"""整数属性"""
return tf.train.Feature(int64_list = tf.train.Int64List(value = ))
#def create_train_record(cwd,classes):
"""创建训练集tfrecord"""
writer = tf.python_io.TFRecordWriter(train_record_path) # 创建一个writer
NUM = 1 # 显示创建过程（计数）
for index, name in enumerate(classes):
class_path = cwd + "/" + name + ’/’
l = int(len(os.listdir(class_path)) * 0.7) # 取前70%创建训练集
for img_name in os.listdir(class_path):
img_path = class_path + img_name
img = Image.open(img_path)
img = img.resize((256, 256)) # resize图片大小
img_raw = img.tobytes() # 将图片转化为原生bytes
example = tf.train.Example( # 封装到Example中
features=tf.train.Features(feature={
"label":_int64list(index), # label必须为整数类型属性
’img_raw’:_byteslist(img_raw) # 图片必须为二进制属性
}))
writer.write(example.SerializeToString())
print(’Creating train record in ’,NUM)
NUM += 1
writer.close() # 关闭writer
print("Create train_record successful!")
#def create_test_record(cwd,classes):
"""创建测试tfrecord"""
writer = tf.python_io.TFRecordWriter(test_record_path)
NUM = 1
for index, name in enumerate(classes):
class_path = cwd + ’/’ + name + ’/’
l = int(len(os.listdir(class_path)) * 0.7)
for img_name in os.listdir(class_path): # 剩余30%作为测试集
img_path = class_path + img_name
img = Image.open(img_path)
img = img.resize((256, 256))
img_raw = img.tobytes() # 将图片转化为原生bytes
# print(index,img_raw)
example = tf.train.Example(
features=tf.train.Features(feature={
"label":_int64list(index),
’img_raw’:_byteslist(img_raw)
}))
writer.write(example.SerializeToString())
print(’Creating test record in ’,NUM)
NUM += 1
writer.close()

在Windows10下能用pip方式给python2.7添加tensorflow支持库吗求wheel文件！

在Windows10下能用pip方式给python2.7添加tensorflow支持库。

操作步骤：

1、在命令行下切换到python目录，一般为c:\python27，pip在python安装目录的Scripts目录下，命令如下：
cd c:\python27\scripts

2、切换到目录之后直接使用命令安装即可，命令如下，例如要安装flask，则使用：
pip insatll flask

3、如果在windows下安装失败提示：Unable to find vcvarsall.bat，则说明这个包需要编译，则要在WINDOWS系统中安装visual studio 2008。

4、、linux下pip安装package与WINDOWS的语法相同，使用pip install SomePackage即可，linux下需要注意的是权限问题，应当使用root用户执行命令。

TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从图象的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

如何理解tensorflow中的dimension

基本使用
使用 TensorFlow, 你必须明白 TensorFlow:
使用图 （graph） 来表示计算任务。
在被称之为 会话 （Session） 的上下文 （context） 中执行图。
使用 tensor 表示数据。
通过 变量 （Variable） 维护状态。
使用 feed 和 fetch 可以为任意的操作（arbitrary operation） 赋值或者从其中获取数据。
综述
TensorFlow 是一个编程系统， 使用图来表示计算任务。 图中的节点被称之为 op
（operation 的缩写）。 一个 op 获得 0 个或多个 Tensor, 执行计算，
产生 0 个或多个 Tensor. 每个 Tensor 是一个类型化的多维数组。
例如， 你可以将一小组图像集表示为一个四维浮点数数组，
这四个维度分别是 .
一个 TensorFlow 图描述了计算的过程。 为了进行计算， 图必须在 会话 里被启动。
会话 将图的 op 分发到诸如 CPU 或 GPU 之类的 设备 上， 同时提供执行 op 的方法。
这些方法执行后， 将产生的 tensor 返回。 在 Python 语言中， 返回的 tensor 是
numpy ndarray 对象； 在 C 和 C++ 语言中， 返回的 tensor 是
tensorflow::Tensor 实例。
计算图
TensorFlow 程序通常被组织成一个构建阶段和一个执行阶段。 在构建阶段， op 的执行步骤
被描述成一个图。 在执行阶段， 使用会话执行执行图中的 op.
例如， 通常在构建阶段创建一个图来表示和训练神经网络， 然后在执行阶段反复执行图中的训练 op.
TensorFlow 支持 C, C++, Python 编程语言。 目前， TensorFlow 的 Python 库更加易用，
它提供了大量的辅助函数来简化构建图的工作， 这些函数尚未被 C 和 C++ 库支持。
三种语言的会话库 （session libraries） 是一致的。
构建图
构建图的第一步， 是创建源 op （source op）。 源 op 不需要任何输入， 例如 常量 （Constant）。 源 op 的输出被传递给其它 op 做运算。
Python 库中， op 构造器的返回值代表被构造出的 op 的输出， 这些返回值可以传递给其它
op 构造器作为输入。
TensorFlow Python 库有一个默认图 （default graph）， op 构造器可以为其增加节点。 这个默认图对
许多程序来说已经足够用了。 阅读 Graph 类 文档