π导航  


【首页】

Keras快速入门


【2020-11-28】 人工智能】


Keras是一个有用重建和训练深度学习模型的高阶API。它可用于快速设计原型,高级研究和生产。

keras的3个优点:方便用户使用,对齐和可组合,易于扩展

1.介绍tf.keras

tensorflow2推荐使用keras构建网络,常见的神经网络都包含在keras.layer中(最新的tf.keras的版本可能和keras不同)

import tensorflow as tf

from tensorflow.keras import layers

print(tf.__version__)

print(tf.keras.__version__)

2.构建简单模型

2.1模型堆叠

最常见的模型类型是层的堆叠:tf.keras。顺序模型

model = tf.keras.Sequential()

model.add(layers.Dense(32, activation=´relu´))

model.add(layers.Dense(32, activation=´relu´))

model.add(layers.Dense(10, activation=´softmax´))

2.2网络配置

tf.keras.layers中网络配置:

激活:设置层的激活函数。此参数由内置函数的名称指定,或指定为可调用对象。有时情况下,系统不会应用任何激活函数。

kernel_initializer和bias_initializer:创建层权重(核和偏差)的初始化方案。此参数是一个名称或可调用对象,默认为“ Glorot制服”初始化器。

kernel_regularizer和bias_regularizer:应用层权重(核和偏差)的正则化方案,例如L1或L2 正则化。有时情况下,系统不会应用正则化函数。

layers.Dense(32, activation=´sigmoid´)

layers.Dense(32, activation=tf.sigmoid)

layers.Dense(32, kernel_initializer=´orthogonal´)

layers.Dense(32, kernel_initializer=tf.keras.initializers.glorot_normal)

layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l2(0.01))

layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l1(0.01))

3.训练和评估

3.1设置训练流程

建立好模型后,通过调用compile方法配置该模型的学习流程:

model = tf.keras.Sequential()

model.add(layers.Dense(32, activation=´relu´))

model.add(layers.Dense(32, activation=´relu´))

model.add(layers.Dense(10, activation=´softmax´))

model.compile(optimizer=tf.keras.optimizers.Adam(0.001),

             loss=tf.keras.losses.categorical_crossentropy,

             metrics=[tf.keras.metrics.categorical_accuracy])

3.2输入Numpy数据

import numpy as np

train_x = np.random.random((1000, 72))

train_y = np.random.random((1000, 10))

val_x = np.random.random((200, 72))

val_y = np.random.random((200, 10))

model.fit(train_x, train_y, epochs=10, batch_size=100,

          validation_data=(val_x, val_y))

3.3tf.data输入数据

dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))

dataset = dataset.batch(32)

dataset = dataset.repeat()

val_dataset = tf.data.Dataset.from_tensor_slices((val_x, val_y))

val_dataset = val_dataset.batch(32)

val_dataset = val_dataset.repeat()

model.fit(dataset, epochs=10, steps_per_epoch=30,

          validation_data=val_dataset, validation_steps=3)

3.4评估与预测

test_x = np.random.random((1000, 72))

test_y = np.random.random((1000, 10))

model.evaluate(test_x, test_y, batch_size=32)

test_data = tf.data.Dataset.from_tensor_slices((test_x, test_y))

test_data = test_data.batch(32).repeat()

model.evaluate(test_data, steps=30)

# predict

result = model.predict(test_x, batch_size=32)

print(result)

4.建立高级模型

4.1函数式api

tf.keras.Sequential模型是层的简单堆叠,无法表示任何模型。使用Keras函数式API可以构建复杂的模型拓扑,例如:

多输入模型,

多输出模型,

具有共享层的模型(同一层被调用多次),

具有非序列数据流的模型(例如,残差连接)。

使用函数式API构建的模型具有以下特征:

层实例可调用并返回张量。

输入张量和输出张量用于定义tf.keras.Model实例。

此模型的训练方式和顺序模型一样。

input_x = tf.keras.Input(shape=(72,))

hidden1 = layers.Dense(32, activation=´relu´)(input_x)

hidden2 = layers.Dense(16, activation=´relu´)(hidden1)

pred = layers.Dense(10, activation=´softmax´)(hidden2)

model = tf.keras.Model(inputs=input_x, outputs=pred)

model.compile(optimizer=tf.keras.optimizers.Adam(0.001),

             loss=tf.keras.losses.categorical_crossentropy,

             metrics=[´accuracy´])

model.fit(train_x, train_y, batch_size=32, epochs=5)

4.2模型子类化

通过对tf.keras.Model进行子类化并定义您自己的前向传播来构建完全可自定义的模型。在init方法中创建层替换其设置为类实例的属性。在调用方法中定义前向传播

class MyModel(tf.keras.Model):

    def __init__(self, num_classes=10):

        super(MyModel, self).__init__(name=´my_model´)

        self.num_classes = num_classes

        self.layer1 = layers.Dense(32, activation=´relu´)

        self.layer2 = layers.Dense(num_classes, activation=´softmax´)

    def call(self, inputs):

        h1 = self.layer1(inputs)

        out = self.layer2(h1)

        return out

    def compute_output_shape(self, input_shape):

        shape = tf.TensorShapej(input_shape).as_list()

        shape[-1] = self.num_classes

        return tf.TensorShape(shape)

model = MyModel(num_classes=10)

model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),

             loss=tf.keras.losses.categorical_crossentropy,

             metrics=[´accuracy´])

model.fit(train_x, train_y, batch_size=16, epochs=5)

4.3自定义层

通过对tf.keras.layers.Layer进行子类化并实现以下方法来创建自定义层:

建立:创造层的权重。使用add_weight方法添加权重。

致电:定义前向传播。

或者,可以通过实现get_config方法和from_config类方法序列化层。

class MyLayer(layers.Layer):

    def __init__(self, output_dim, **kwargs):

        self.output_dim = output_dim

        super(MyLayer, self).__init__(**kwargs)

    def build(self, input_shape):

        shape = tf.TensorShape((input_shape[1], self.output_dim))

        self.kernel = self.add_weight(name=´kernel1´, shape=shape,

                                   initializer=´uniform´, trainable=True)

        super(MyLayer, self).build(input_shape)

    def call(self, inputs):

        return tf.matmul(inputs, self.kernel)

    def compute_output_shape(self, input_shape):

        shape = tf.TensorShape(input_shape).as_list()

        shape[-1] = self.output_dim

        return tf.TensorShape(shape)

    def get_config(self):

        base_config = super(MyLayer, self).get_config()

        base_config[´output_dim´] = self.output_dim

        return base_config

    @classmethod

    def from_config(cls, config):

        return cls(**config)

model = tf.keras.Sequential(

[

    MyLayer(10),

    layers.Activation(´softmax´)

])

model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),

             loss=tf.keras.losses.categorical_crossentropy,

             metrics=[´accuracy´])

model.fit(train_x, train_y, batch_size=16, epochs=5)

4.4最高

callbacks = [

    tf.keras.callbacks.EarlyStopping(patience=2, monitor=´val_loss´),

    tf.keras.callbacks.TensorBoard(log_dir=´./logs´)

]

model.fit(train_x, train_y, batch_size=16, epochs=5,

         callbacks=callbacks, validation_data=(val_x, val_y))

5保持和恢复

5.1 权重保存

model = tf.keras.Sequential([

layers.Dense(64, activation=´relu´),

layers.Dense(10, activation=´softmax´)])

model.compile(optimizer=tf.keras.optimizers.Adam(0.001),

              loss=´categorical_crossentropy´,

              metrics=[´accuracy´])

model.save_weights(´./weights/model´)

model.load_weights(´./weights/model´)

model.save_weights(´./model.h5´)

model.load_weights(´./model.h5´)

5.2保存网络结构

# 序列化成json

import json

import pprint

json_str = model.to_json()

pprint.pprint(json.loads(json_str))

fresh_model = tf.keras.models.model_from_json(json_str)

# 保持为yaml格式  #需要提前安装pyyaml

yaml_str = model.to_yaml()

print(yaml_str)

fresh_model = tf.keras.models.model_from_yaml(yaml_str)

5.3保存整个模型

model = tf.keras.Sequential([

  layers.Dense(10, activation=´softmax´, input_shape=(72,)),

  layers.Dense(10, activation=´softmax´)

])

model.compile(optimizer=´rmsprop´,

              loss=´categorical_crossentropy´,

              metrics=[´accuracy´])

model.fit(train_x, train_y, batch_size=32, epochs=5)

model.save(´all_model.h5´)

model = tf.keras.models.load_model(´all_model.h5´)

6.将keras用于估算器

Estimator API用于针对分布式环境训练模型。它适用于某些行业使用场景,例如使用大型数据集进行分布式训练并导出模型以用于生产

model = tf.keras.Sequential([layers.Dense(10,activation=´softmax´),

                          layers.Dense(10,activation=´softmax´)])

model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),

              loss=´categorical_crossentropy´,

              metrics=[´accuracy´])

estimator = tf.keras.estimator.model_to_estimator(model)



                        

copyright©2018-2020 gotopie.com