不怕美国封锁了！强大又简单的百度自研深度学习神器学习指南

引言

本文是转自百度深度学习神器padlepadle的学习课后总结材料。如有侵权请联系撤销。

本节课作为PaddlePaddle的快速入门章节，希望可以开启您的下一步深度学习之门。

#因为本次实验除了代码还有许多知识点讲解。

#知识点是以markdown形式展现的，含有许多图片。

#运行完这条命令，并刷新一下本页面，本实验中的图片就可以展现出来了。

#这条命令只需要运行一遍就可以了。

!DATA_PATH=data/data9803/ && NEW_NAME=$(find -name *[0-9].ipynb) && NEW_NAME=${NEW_NAME%.*} && NEW_NAME=${NEW_NAME#./} && unzip -o ${DATA_PATH}images.zip && cp -rf images/. .

Archive: data/data9803/images.zip

inflating: images/FC.png

inflating: images/ML_process.png

inflating: images/gradient_descent.png

PaddlePaddle实现线性回归

欢迎大家来到这次实验！在本次实验中我们将使用PaddlePaddle深度学习框架来搭建一个简单的线性回归模型，并利用这一模型来解决一个大家都关心的实际问题————预测你的储蓄（也就是money）（在某地区）可以购买多大面积的房子。并且在学习本次实验课的过程中，我还会带领大家学习到机器学习的若干重要概念，掌握一个机器学习预测案例的基本流程。当然了，有机器学习基础的同学就是回忆喽！

本节实验课你将学会

· 机器学习的基本概念：假设函数、损失函数、优化算法

· 数据怎么进行归一化处理

· paddlepaddle深度学习框架的一些基本知识

· 如何用paddlepaddle深度学习框架搭建全连接神经网络，实现线性回归（你将会发现用paddlepaddle搭建神经网络是多么的简单）

大家期待不期待？

在实验开始之前，我们先对机器学习的相关概念进行学习、复习和回顾！

知识点回顾

机器学习是怎么一个工作过程呢？是这样的：我们首先输入训练数据集，利用特定的机器学习方法建立估计函数，并进行训练。训练后得到一个模型。然后向这一模型输入测试数据集，函数有能力对没有见过的数据进行正确估计，这就是机器学习的过程。

线性回归的基本概念再来回顾一下线性回归的一些知识：线性回归是机器学习中最简单也是最重要的模型之一，其模型建立同样遵循上图流程：获取数据、数据预处理、训练模型、应用模型。

回归模型可以理解为：存在一个点集，用一条曲线去拟合它分布的过程。如果拟合曲线是一条直线，则称为线性回归。如果是一条二次曲线，则被称为二次回归。线性回归是回归模型中最简单的一种。

在线性回归中有几个基本的概念需要掌握：

· 假设函数（Hypothesis Function）

· 损失函数（Loss Function）

· 优化算法（Optimization Algorithm）

假设函数：

假设函数是指，用数学的方法描述自变量和因变量之间的关系，它们之间可以是一个线性函数或非线性函数。在本次线性回顾模型中，我们的假设函数为 Y^=aX1+bhat{Y}= aX_1+bY^=aX1+b ，其中，Y^hat{Y}Y^表示模型的预测结果（预测房价），用来和真实的Y区分。模型要学习的参数即：a,b。

损失函数：

损失函数是指，用数学的方法衡量假设函数预测结果与真实值之间的误差。这个差距越小预测越准确，而算法的任务就是使这个差距越来越小。

建立模型后，我们需要给模型一个优化目标，使得学到的参数能够让预测值Y^hat{Y}Y^尽可能地接近真实值Y。输入任意一个数据样本的目标值yiy_iyi和模型给出的预测值Yi^hat{Y_i}Yi^，损失函数输出一个非负的实值。这个实值通常用来反映模型误差的大小。

对于线性模型来讲，最常用的损失函数就是均方误差（Mean Squared Error， MSE）。

MSE=1n∑i=1n(Yi^−Yi)2MSE=frac{1}{n}sum_{i=1}^{n}(hat{Y_i}-Y_i)^2MSE=n1i=1∑n(Yi^−Yi)2

即对于一个大小为n的测试集，MSE是n个数据预测结果误差平方的均值。

优化算法：

在模型训练中优化算法也是至关重要的，它决定了一个模型的精度和运算速度。本章的线性回归实例中主要使用了梯度下降法进行优化。

梯度下降是深度学习中非常重要的概念，值得庆幸的是它也十分容易理解。损失函数J(w,b)J(w,b)J(w,b)可以理解为变量www和bbb的函数。观察下图，垂直轴表示损失函数的值，两个水平轴分别表示变量www和bbb。实际上，可能是更高维的向量，但是为了方便说明，在这里假设www和bbb都是一个实数。算法的最终目标是找到损失函数的最小值。而这个寻找过程就是不断地微调变量www和bbb的值，一步一步地试出这个最小值。而试的方法就是沿着梯度方向逐步移动。本例中让图中的圆点表示损失函数的某个值，那么梯度下降就是让圆点沿着曲面下降，直到取到最小值或逼近最小值。

因为是凸函数，所以无论初始化在曲面上的哪一点，最终都会收敛到同一点或者相近的点。

现在，让我们正式进入实验吧！

第一阶段：训练阶段

1 – 引用库

首先载入需要用到的库，它们分别是：

· paddle.fluid：引入PaddlePaddle深度学习框架的fluid版本库；

· numpy：NumPy是Python语言的一个扩展程序库。支持高端大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy的核心功能是”ndarray”(即n-dimensional array，多维数组)数据结构。

· os: python的模块，可使用该模块对操作系统、目录、文件等进行操作

· matplotlib.pyplot：用于生成图，在验证模型准确率和展示成本变化趋势时会使用到

In[4]

import paddle

import paddle.fluid as fluid

import numpy as np

import os

import matplotlib.pyplot as plt

2 – 数据集介绍

· 本次所用数据集已经集成在paddle.dataset中了，并且已经为我们拆分成了训练集和测试集；我们可以通过调用paddle.dataset.uci_housing.train()和paddle.dataset.uci_housing.test()两个接口来获取训练集和测试集，非常的方便。

· 数据集共506行,每行14列。前13列用来描述房屋的各种信息，最后一列为该类房屋价格中位数。

3 – 数据提供器

· 接下来我们通过paddle.batch这个接口，来定义数据提供器：train_reader和test_reader。分别向我们的网络提供训练数据和测试数据。

· 提供器每次读入一个大小为BATCH_SIZE的数据批次。如果用户希望加一些随机性，它可以同时定义一个批次大小和一个缓存大小。这样的话，每次数据提供器会从缓存中随机读取批次大小那么多的数据。我们都可以通过batch_size进行设置，这个大小一般是2的N次方。

关于参数的解释如下：

· paddle.reader.shuffle(train(), buf_size=500)表示trainer从train()这个reader中读取了buf_size=500大小的数据并打乱顺序

· paddle.batch(reader(), batch_size=BATCH_SIZE)表示从打乱的数据中再取出BATCH_SIZE=20大小的数据进行一次迭代训练

如果buf_size设置的数值大于数据集本身，就直接把整个数据集打乱顺序；如果buf_size设置的数值小于数据集本身，就按照buf_size的大小打乱顺序。

In[5]

BUF_SIZE=500

BATCH_SIZE=20

#用于训练的数据提供器，每次从缓存中随机读取批次大小的数据

train_reader = paddle.batch(

paddle.reader.shuffle(paddle.dataset.uci_housing.train(), buf_size=BUF_SIZE), batch_size=BATCH_SIZE)

#用于测试的数据提供器，每次从缓存中随机读取批次大小的数据

test_reader = paddle.batch(

paddle.reader.shuffle(paddle.dataset.uci_housing.test(),buf_size=BUF_SIZE),batch_size=BATCH_SIZE)

4 – 配置网络结构和设置参数

配置网络结构:

线性回归的模型其实就是一个采用线性激活函数（linear activation）的全连接层（fully-connected layer，fc_layer），因此在Peddlepeddle中利用全连接层模型构造线性回归，这样一个全连接层就可以看做是一个简单的神经网络，只包含输入层和输出层即可。本次的模型由于只有一个影响参数，因此输入只含一个X0X_0X0。

接下来就让我们利用PaddlePaddle提供的接口，搭建我们自己的网络吧！

输入层:我们可以用 x = fluid.layers.data(name=’x’, shape=[13], dtype=’float32′)来表示数据的一个输入层，其中name属性的名称为”x”，数据的shape为13维向量，这是因为本次所用的房价数据集的每条数据有13个属性，所以shape=13。

输出层:用y_predict = fluid.layers.fc(input=x, size=1, act=None)来表示输出层：其中paddle.layer.fc表示全连接层，input=x表示该层输入数据为x，size=1表示该层有一个神经元，在Fluid版本中使用的激活函数不再是调用一个函数了，而是传入一个字符串就可以，比如：act=’relu’就表示使用relu激活函数。act=None表示激活函数为线性激活函数。

标签层:

用y = fluid.layers.data(name=’y’, shape=[1], dtype=’float32′)来表示标签数据，名称为y，有时我们名称不用y而用label。数据类型为一维向量。

In[6]

#定义张量变量x，表示13维的特征值

x = fluid.layers.data(name=’x’, shape=[13], dtype=’float32′)

#定义张量y,表示目标值

y = fluid.layers.data(name=’y’, shape=[1], dtype=’float32′)

#定义一个简单的线性网络,连接输入和输出的全连接层

#input:输入tensor;

#size:该层输出单元的数目

#act:激活函数

y_predict=fluid.layers.fc(input=x,size=1,act=None)

5 – 定义损失函数

PaddlePaddle提供了很多的损失函数的接口，比如交叉熵损失函数(cross_entropy)。因为本项目是一个线性回归任务，所以我们使用的是均方差损失函数。可以调用fluid.layers.square_error_cost(input= ,laybel= )实现方差计算。因为fluid.layers.square_error_cost(input= ,laybel= )求的是一个Batch的损失值，所以我们还要通过调用fluid.layers.mean(loss)对方差求平均。

将输入定义为房价预测值，label定义为标签数据。进而计算损失值。

In[7]

cost = fluid.layers.square_error_cost(input=y_predict, label=y) #求一个batch的损失值

avg_cost = fluid.layers.mean(cost) #对损失值求平均值

6 – 优化方法

损失函数定义确定后，需要定义参数优化方法。为了改善模型的训练速度以及效果，学术界先后提出了很多优化算法，包括： Momentum、RMSProp、Adam 等，已经被封装在fluid内部，读者可直接调用。本次可以用 fluid.optimizer.SGD(learning_rate= ) 使用随机梯度下降的方法优化，其中learning_rate表示学习率，大家可以自己尝试修改。

In[8]

optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001)

opts = optimizer.minimize(avg_cost)

· fluid有两个program，一个是default_main_program，一个是default_startup_program;

· fluid.default_main_program()用于获取默认或全局main program(主程序)。该主程序用于训练和测试模型。fluid.layers 中的所有layer函数可以向 default_main_program 中添加算子和变量。

· 参数初始化操作会被写入fluid.default_startup_program();

· 使用fluid.default_main_program().clone(for_test=True)语句，我们可以克隆一个default_main_program，以备将来测试时使用。

In[9]

test_program = fluid.default_main_program().clone(for_test=True)

7 – 设置训练场所+创建执行器+参数初始化

设置训练场所：首先进行设置训练使用的设备。也就是选择是在CPU上进行训练，还是在GPU上进行训练。在复杂量较低的时候使用 CPU 就可以完成任务，但是对于大规模计算就需要使用 GPU 训练。目前 GPU 训练都是基于 CUDA 工具之上的。

代码实现也很简单，我们使用两行代码就可以实现，如下面所示：

· use_cuda=False 表示不使用 GPU 进行训练

创建执行器：为了能够运行开发者定义的网络拓扑结构和优化器，需要定义执行器。由执行器来真正的执行参数的初始化和网络的训练过程。fulid使用了一个C++类Executor用于运行一个程序，Executor类似一个解释器，Fluid将会使用这样一个解析器来训练和测试模型。

之后我们run一下，初始化执行器；用户配置完模型后，参数初始化操作会被写入到 fluid.default_startup_program() 中。使用 fluid.Executor() 运行这一程序，即可在全局中随机初始化参数。

In[10]

#使用CPU训练

use_cuda = False

place = fluid.CUDAPlace(0) if use_cuda else fluid.CPUPlace()

exe = fluid.Executor(place) #创建一个Executor实例exe

exe.run(fluid.default_startup_program()) #Executor的run()方法执行startup_program(),进行参数初始化

[]

接下来定义映射

输入网络的数据要与网络本身应该接受的数据相匹配。在paddle的 fluid 中使用 feed_list 的概念来保证输入的数据与网络接受的数据的顺序是一致的。本示例中使用 feed_list = [x,y] 来告知网络，输入的数据是分为两部分，第一部分是 x 值，第二部分是 label 值。

映射完之后，创建 DataFeeder 对象，在训练的时候，用户可调用其 feeder.feed(iterable) 方法将用户传入的iterable 数据转换为 LoDTensor。

In[11]

# 定义feeder

feeder = fluid.DataFeeder(place=place, feed_list=[x, y])#feed_list:向模型输入的变量名

为了便于观察训练过程，我们可以定义一个绘制函数，用来把”训练过程的损失值变化趋势”实时的展示出来：

In[12]

iter=0;

iters=[]

train_costs=[]

def plot_train_cost(iters,train_costs):

title=”training cost”

plt.title(title, fontsize=24)

plt.xlabel(“iter”, fontsize=14)

plt.ylabel(“cost”, fontsize=14)

plt.plot(iters, train_costs,color=’blue’,label=’training cost’)

plt.grid()

plt.show()

8 – 开始训练

· 接下来我们就是用双层循环，来进行训练；

· 在训练之前还要定义一个模型保存路径，用来保存我们训练好的模型；

· 我们还要定义一个变量，来规定训练的总epoch；

In[13]

EPOCH_NUM=100

model_save_dir = “/home/aistudio/data/model_save_dir/inference.model”

for pass_id in range(EPOCH_NUM): #训练EPOCH_NUM轮

# 开始训练并输出最后一个batch的损失值

train_cost = 0

for batch_id, data in enumerate(train_reader()): #遍历train_reader迭代器

train_cost = exe.run(program=fluid.default_main_program(),#运行主程序

feed=feeder.feed(data), #喂入一个batch的训练数据，根据feed_list和data提供的信息，将输入数据转成一种特殊的数据结构

fetch_list=[avg_cost])

#print(“Pass:%d, Cost:%0.5f” % (pass_id, train_cost[0][0])) #打印最后一个batch的损失值

iter=iter+BATCH_SIZE

iters.append(iter)

train_costs.append(train_cost[0][0])

# 开始测试并输出最后一个batch的损失值

test_cost = 0

for batch_id, data in enumerate(test_reader()): #遍历test_reader迭代器

test_cost= exe.run(program=test_program, #运行测试cheng

feed=feeder.feed(data), #喂入一个batch的测试数据

fetch_list=[avg_cost]) #fetch均方误差

print(‘Test:%d, Cost:%0.5f’ % (pass_id, test_cost[0][0])) #打印最后一个batch的损失值

#保存模型

# 如果保存路径不存在就创建

if not os.path.exists(model_save_dir):

os.makedirs(model_save_dir)

print (‘save models to %s’ % (model_save_dir))

#保存训练参数到指定路径中，构建一个专门用预测的program

fluid.io.save_inference_model(model_save_dir, #保存推理model的路径

[‘x’], #推理（inference）需要 feed 的数据

[y_predict], #保存推理（inference）结果的 Variables

exe) #exe 保存 inference model

plot_train_cost(iters,train_costs)

Test:0, Cost:400.55365