{ "cells": [ { "cell_type": "markdown", "metadata": { "id": "597OjogAI3fy" }, "source": [ "##### Copyright 2019 The TensorFlow Authors." ] }, { "cell_type": "code", "execution_count": 1, "metadata": { "cellView": "form", "execution": { "iopub.execute_input": "2020-09-23T00:08:53.928859Z", "iopub.status.busy": "2020-09-23T00:08:53.928217Z", "iopub.status.idle": "2020-09-23T00:08:53.930674Z", "shell.execute_reply": "2020-09-23T00:08:53.930151Z" }, "id": "5bSCD8SyJC2g" }, "outputs": [], "source": [ "#@title Licensed under the Apache License, Version 2.0 (the \"License\");\n", "# you may not use this file except in compliance with the License.\n", "# You may obtain a copy of the License at\n", "#\n", "# https://www.apache.org/licenses/LICENSE-2.0\n", "#\n", "# Unless required by applicable law or agreed to in writing, software\n", "# distributed under the License is distributed on an \"AS IS\" BASIS,\n", "# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\n", "# See the License for the specific language governing permissions and\n", "# limitations under the License." ] }, { "cell_type": "markdown", "metadata": { "id": "Rd7BF9BMTJ9l" }, "source": [ "# Escribir callbacks de Keras personalizados" ] }, { "cell_type": "markdown", "metadata": { "id": "E_ceEiH7g0MY" }, "source": [ "\n", " \n", " \n", " \n", " \n", "
\n", " Ver en TensorFlow.org\n", " \n", " Ejecutar en Google Colab\n", " \n", " Ver fuente en GitHub\n", " \n", " Descargar notebook\n", "
" ] }, { "cell_type": "markdown", "metadata": { "id": "YLYPmTSZTM5V" }, "source": [ "Note: Nuestra comunidad de Tensorflow ha traducido estos documentos. Como las traducciones de la comunidad\n", "son basados en el \"mejor esfuerzo\", no hay ninguna garantia que esta sea un reflejo preciso y actual \n", "de la [Documentacion Oficial en Ingles](https://www.tensorflow.org/?hl=en).\n", "Si tienen sugerencias sobre como mejorar esta traduccion, por favor envian un \"Pull request\"\n", "al siguiente repositorio [tensorflow/docs](https://github.com/tensorflow/docs).\n", "Para ofrecerse como voluntario o hacer revision de las traducciones de la Comunidad\n", "por favor contacten al siguiente grupo [docs@tensorflow.org list](https://groups.google.com/a/tensorflow.org/forum/#!forum/docs)." ] }, { "cell_type": "markdown", "metadata": { "id": "1OykC-6lI4gv" }, "source": [ "Un callback personalizado es una herramienta poderosa para personalizar el comportamiento de un modelo de Keras durante el entrenamiento, evaluacion o inferencia, incluyendo la lectura/cambio del modelo de Keras. Ejemplos incluyen `tf.keras.callbacks.TensorBoard`, donde se pueden exportar y visualizar el progreso del entrenamiento y los resultados con TensorBoard, o `tf.keras.callbacks.ModelCheckpoint` donde el modelo es automaticamente guardado durante el entrenamiento, entre otros. En esta guia aprenderas que es un callback de Keras, cuando se llama, que puede hacer y como puedes construir una propia. Al final de la guia habra demos para la creacion de aplicaciones simples de callback para ayudarte a empezar tu propio callback personalizados." ] }, { "cell_type": "markdown", "metadata": { "id": "d5zZ8rZD69VW" }, "source": [ "## Setup" ] }, { "cell_type": "code", "execution_count": 2, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:08:53.934818Z", "iopub.status.busy": "2020-09-23T00:08:53.934216Z", "iopub.status.idle": "2020-09-23T00:09:00.158871Z", "shell.execute_reply": "2020-09-23T00:09:00.159391Z" }, "id": "7BazS4qD6-2n" }, "outputs": [], "source": [ "import tensorflow as tf" ] }, { "cell_type": "markdown", "metadata": { "id": "0c_TYhQOUe1j" }, "source": [ "## Introduccion a los callbacks de Keras\n", "En Keras 'Callback' es una clase de python destinada a ser subclase para proporcionar una funcionalidad específica, con un conjunto de métodos llamados en varias etapas de entrenamiento (incluyendo el inicio y fin de los batch/epoch), pruebas y predicciones. Los Callbacks son útiles para tener visibilidad de los estados internos y las estadísticas del modelo durante el entrenamiento. Puedes pasar una lista de callbacks (como argumento de palabra clave `callbacks`) a cualquiera de los siguientes metodos ` tf.keras.Model.fit () `,` tf.keras.Model.evaluate () `y` tf.keras.Model .predict () `. Los metodos de los callbacks se llamaran en diferentes etapas del entrenamiento/evaluación/inferencia.\n", "\n", "Para comenzar, importemos TensorDlow y definamos un modelo secuencial sencillo en Keras:" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:00.165436Z", "iopub.status.busy": "2020-09-23T00:09:00.164735Z", "iopub.status.idle": "2020-09-23T00:09:00.167026Z", "shell.execute_reply": "2020-09-23T00:09:00.166529Z" }, "id": "Ct0VCSI2dt3a" }, "outputs": [], "source": [ "# Definir el modelo de Keras model al que se le agregaran los callbacks\n", "def get_model():\n", " model = tf.keras.Sequential()\n", " model.add(tf.keras.layers.Dense(1, activation = 'linear', input_dim = 784))\n", " model.compile(optimizer=tf.keras.optimizers.RMSprop(lr=0.1), loss='mean_squared_error', metrics=['mae'])\n", " return model" ] }, { "cell_type": "markdown", "metadata": { "id": "ySzdG1IqNgah" }, "source": [ "Luego, cara el dataset de MNIST para entrenamiento y pruebas de la APLI de datasetws de Keras:" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:00.172364Z", "iopub.status.busy": "2020-09-23T00:09:00.170908Z", "iopub.status.idle": "2020-09-23T00:09:00.892380Z", "shell.execute_reply": "2020-09-23T00:09:00.891766Z" }, "id": "fwo9LMKGNPWr" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz\n", "\r", " 8192/11490434 [..............................] - ETA: 0s" ] }, { "name": "stdout", "output_type": "stream", "text": [ "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\r", " 2105344/11490434 [====>.........................] - ETA: 0s" ] }, { "name": "stdout", "output_type": "stream", "text": [ "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\r", " 4202496/11490434 [=========>....................] - ETA: 0s" ] }, { "name": "stdout", "output_type": "stream", "text": [ "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\r", " 8396800/11490434 [====================>.........] - ETA: 0s" ] }, { "name": "stdout", "output_type": "stream", "text": [ "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\r", "11493376/11490434 [==============================] - 0s 0us/step\n" ] } ], "source": [ "# Cargar los datos de ejemplo de MNIST data y preprocesarlos\n", "(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()\n", "x_train = x_train.reshape(60000, 784).astype('float32') / 255\n", "x_test = x_test.reshape(10000, 784).astype('float32') / 255" ] }, { "cell_type": "markdown", "metadata": { "id": "kHVK7kceNqH2" }, "source": [ "Ahora, define un callback simple y personalizado para rastrear el inicio y fin de cada batch de datos. Durante esas llamadas, imprime el indice del batch actual." ] }, { "cell_type": "code", "execution_count": 5, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:00.899919Z", "iopub.status.busy": "2020-09-23T00:09:00.899203Z", "iopub.status.idle": "2020-09-23T00:09:00.901457Z", "shell.execute_reply": "2020-09-23T00:09:00.900965Z" }, "id": "-dfuGTMINKRR" }, "outputs": [], "source": [ "import datetime\n", "\n", "class MyCustomCallback(tf.keras.callbacks.Callback):\n", "\n", " def on_train_batch_begin(self, batch, logs=None):\n", " print('Entrenamiento: batch {} comienza en {}'.format(batch, datetime.datetime.now().time()))\n", "\n", " def on_train_batch_end(self, batch, logs=None):\n", " print('Entrenamiento: batch {} termina en {}'.format(batch, datetime.datetime.now().time()))\n", "\n", " def on_test_batch_begin(self, batch, logs=None):\n", " print('Evaluacion: batch {} comienza en {}'.format(batch, datetime.datetime.now().time()))\n", "\n", " def on_test_batch_end(self, batch, logs=None):\n", " print('Evaluacion: batch {} termina en {}'.format(batch, datetime.datetime.now().time()))" ] }, { "cell_type": "markdown", "metadata": { "id": "Z4FTUUIBN3WG" }, "source": [ "Dar un callback mara los metodos del modelo tales como `tf.keras.Model.fit()` aseguran que los metodos son llamados en dichas etapas:" ] }, { "cell_type": "code", "execution_count": 6, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:00.906094Z", "iopub.status.busy": "2020-09-23T00:09:00.905458Z", "iopub.status.idle": "2020-09-23T00:09:03.432883Z", "shell.execute_reply": "2020-09-23T00:09:03.432217Z" }, "id": "NJV6Tj3sNGzg" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Entrenamiento: batch 0 comienza en 00:09:02.873100\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Entrenamiento: batch 0 termina en 00:09:03.419566\n", "Entrenamiento: batch 1 comienza en 00:09:03.419743\n", "Entrenamiento: batch 1 termina en 00:09:03.422108\n", "Entrenamiento: batch 2 comienza en 00:09:03.422228\n", "Entrenamiento: batch 2 termina en 00:09:03.423979\n", "Entrenamiento: batch 3 comienza en 00:09:03.424081\n", "Entrenamiento: batch 3 termina en 00:09:03.425804\n", "Entrenamiento: batch 4 comienza en 00:09:03.425909\n", "Entrenamiento: batch 4 termina en 00:09:03.427571\n" ] } ], "source": [ "model = get_model()\n", "_ = model.fit(x_train, y_train,\n", " batch_size=64,\n", " epochs=1,\n", " steps_per_epoch=5,\n", " verbose=0,\n", " callbacks=[MyCustomCallback()])" ] }, { "cell_type": "markdown", "metadata": { "id": "fIy5JKMlZNmh" }, "source": [ "## Metodos del Modelo que aceptan callbacks\n", "Los usuarios pueden dar una lista de callbacks para los siguientes metodos de `tf.keras.Model`:\n", "#### [`fit()`](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/Model#fit), [`fit_generator()`](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/Model#fit_generator)\n", "Entrena el modelo por una cantidad determinada de epochs (iteraciones en un dataset, o para los datos determinados por un generador de Python que va batch-por-batch).\n", "#### [`evaluate()`](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/Model#evaluate), [`evaluate_generator()`](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/Model#evaluate_generator)\n", "Evalua el modelo para determinados datos o generador de datos. Regresa la perdida (loss) y valores metricos para la evaluacion.\n", "#### [`predict()`](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/Model#predict), [`predict_generator()`](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/Model#predict_generator)\n", "Genera las predicciones a regresar para los datos ingresados o el generador de datos.\n", "NOTA: Toda la documentacion esta en ingles.\n" ] }, { "cell_type": "code", "execution_count": 7, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:03.437787Z", "iopub.status.busy": "2020-09-23T00:09:03.437128Z", "iopub.status.idle": "2020-09-23T00:09:03.582941Z", "shell.execute_reply": "2020-09-23T00:09:03.583426Z" }, "id": "J00bXBbqdnJe" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Evaluacion: batch 0 comienza en 00:09:03.491773\n", "Evaluacion: batch 0 termina en 00:09:03.571752\n", "Evaluacion: batch 1 comienza en 00:09:03.571900\n", "Evaluacion: batch 1 termina en 00:09:03.573569\n", "Evaluacion: batch 2 comienza en 00:09:03.573676\n", "Evaluacion: batch 2 termina en 00:09:03.575211\n", "Evaluacion: batch 3 comienza en 00:09:03.575316\n", "Evaluacion: batch 3 termina en 00:09:03.576784\n", "Evaluacion: batch 4 comienza en 00:09:03.576907\n", "Evaluacion: batch 4 termina en 00:09:03.578332\n" ] } ], "source": [ "_ = model.evaluate(x_test, y_test, batch_size=128, verbose=0, steps=5,\n", " callbacks=[MyCustomCallback()])" ] }, { "cell_type": "markdown", "metadata": { "id": "13n44LVkYQsV" }, "source": [ "## Una revision de los metodos de callback\n", "\n", "\n", "### Metodos comunes para entrenamiento/pruebas/prediccion\n", "Para entrenamiento, pruebas y prediccion, los siguientes metodos se han previsto para ser sobreescritos.\n", "#### `on_(train|test|predict)_begin(self, logs=None)`\n", "Llamado al inicio de `fit`/`evaluate`/`predict`.\n", "#### `on_(train|test|predict)_end(self, logs=None)`\n", "Llamado al fin de `fit`/`evaluate`/`predict`.\n", "#### `on_(train|test|predict)_batch_begin(self, batch, logs=None)`\n", "Llamado justo antes de procesar un batch durante entrenamiento/pruebas/prediccion. Dentro de este metodo, `logs` es un diccionario con las llaves `batch` y `size` disponibles, representando el numero de batch actual y las dimensiones del mismo.\n", "#### `on_(train|test|predict)_batch_end(self, batch, logs=None)`\n", "Llamado al final del entrenamiento/pruebas/prediccion de un batch. dentro de este metodo, `logs` es un diccionario que contiene resultados metricos con estado.\n", "\n", "### Entrenamiento de metodos especificos\n", "Adicionalmente, para el entrenamiento, los siguientes metodos son provistos.\n", "#### on_epoch_begin(self, epoch, logs=None)\n", "Llamado al inicio de una epoch durante el entrenamiento.\n", "#### on_epoch_end(self, epoch, logs=None)\n", "Llamado al final de una epoch durante el entrenamiento.\n" ] }, { "cell_type": "markdown", "metadata": { "id": "SWf3mXYoceCz" }, "source": [ "### Uso del diccionario `logs`\n", "El diccionario `logs` contiene el valor de perdida (loss), y todas las metricas pertinentes al final de un batch o epoch. El ejemplo a continuacion incluye la perdidad (loss) y el MAE (Mean Absolute Error)." ] }, { "cell_type": "code", "execution_count": 8, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:03.592804Z", "iopub.status.busy": "2020-09-23T00:09:03.591980Z", "iopub.status.idle": "2020-09-23T00:09:04.088810Z", "shell.execute_reply": "2020-09-23T00:09:04.088298Z" }, "id": "u4wIdcF9BjJH" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Para el batch 0, la perdida (loss) es 29.35.\n", "Para el batch 1, la perdida (loss) es 413.19.\n", "Para el batch 2, la perdida (loss) es 282.48.\n", "Para el batch 3, la perdida (loss) es 214.16.\n", "Para el batch 4, la perdida (loss) es 173.17.\n", "La perdida promedio para la epoch 0 es 173.17 y el MAE es 8.02.\n", "Para el batch 0, la perdida (loss) es 6.95.\n", "Para el batch 1, la perdida (loss) es 6.50.\n", "Para el batch 2, la perdida (loss) es 6.06.\n", "Para el batch 3, la perdida (loss) es 6.25.\n", "Para el batch 4, la perdida (loss) es 5.70.\n", "La perdida promedio para la epoch 1 es 5.70 y el MAE es 1.98.\n", "Para el batch 0, la perdida (loss) es 4.78.\n", "Para el batch 1, la perdida (loss) es 4.86.\n", "Para el batch 2, la perdida (loss) es 5.66.\n", "Para el batch 3, la perdida (loss) es 5.81.\n", "Para el batch 4, la perdida (loss) es 6.02.\n", "La perdida promedio para la epoch 2 es 6.02 y el MAE es 1.97.\n" ] } ], "source": [ "class LossAndErrorPrintingCallback(tf.keras.callbacks.Callback):\n", "\n", " def on_train_batch_end(self, batch, logs=None):\n", " print('Para el batch {}, la perdida (loss) es {:7.2f}.'.format(batch, logs['loss']))\n", "\n", " def on_test_batch_end(self, batch, logs=None):\n", " print('Para el batch {}, la perdida (loss) es {:7.2f}.'.format(batch, logs['loss']))\n", "\n", " def on_epoch_end(self, epoch, logs=None):\n", " print('La perdida promedio para la epoch {} es {:7.2f} y el MAE es {:7.2f}.'.format(epoch, logs['loss'], logs['mae']))\n", "\n", "model = get_model()\n", "_ = model.fit(x_train, y_train,\n", " batch_size=64,\n", " steps_per_epoch=5,\n", " epochs=3,\n", " verbose=0,\n", " callbacks=[LossAndErrorPrintingCallback()])" ] }, { "cell_type": "markdown", "metadata": { "id": "LbXqvC8FHqeu" }, "source": [ "De manera similar, uno puede proveer callbacks en las llamadas a `evaluate()`." ] }, { "cell_type": "code", "execution_count": 9, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:04.093540Z", "iopub.status.busy": "2020-09-23T00:09:04.092852Z", "iopub.status.idle": "2020-09-23T00:09:04.236214Z", "shell.execute_reply": "2020-09-23T00:09:04.235707Z" }, "id": "jzTKYPQHwcxF" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Para el batch 0, la perdida (loss) es 7.77.\n", "Para el batch 1, la perdida (loss) es 7.51.\n", "Para el batch 2, la perdida (loss) es 7.58.\n", "Para el batch 3, la perdida (loss) es 7.67.\n", "Para el batch 4, la perdida (loss) es 7.76.\n", "Para el batch 5, la perdida (loss) es 7.83.\n", "Para el batch 6, la perdida (loss) es 7.89.\n", "Para el batch 7, la perdida (loss) es 7.85.\n", "Para el batch 8, la perdida (loss) es 7.87.\n", "Para el batch 9, la perdida (loss) es 7.98.\n", "Para el batch 10, la perdida (loss) es 7.95.\n", "Para el batch 11, la perdida (loss) es 7.97.\n", "Para el batch 12, la perdida (loss) es 7.98.\n", "Para el batch 13, la perdida (loss) es 8.08.\n", "Para el batch 14, la perdida (loss) es 8.07.\n", "Para el batch 15, la perdida (loss) es 7.99.\n", "Para el batch 16, la perdida (loss) es 8.05.\n", "Para el batch 17, la perdida (loss) es 8.05.\n", "Para el batch 18, la perdida (loss) es 8.12.\n", "Para el batch 19, la perdida (loss) es 8.13.\n" ] } ], "source": [ "_ = model.evaluate(x_test, y_test, batch_size=128, verbose=0, steps=20,\n", " callbacks=[LossAndErrorPrintingCallback()])" ] }, { "cell_type": "markdown", "metadata": { "id": "HnSljqtsXKfb" }, "source": [ "## Ejemplos de aplicaciones de callbacks de Keras\n", "La siguiente seccion te guiara en la creacion de una aplicacion de callback simple." ] }, { "cell_type": "markdown", "metadata": { "id": "kptNF0--Lznv" }, "source": [ "### Detencion anticipada con perdida minima.\n", "El primer ejemplo muestra la creacion de un `Callback` que detiene el entrenamiento de Keras cuando se alcanza el minimo de perdida mutando el atributo` model.stop_training` (boolean). Opcionalmente, el usuario puede proporcionar el argumento `patience` para especificar cuantas epochs debe esperar el entrenamiento antes de detenerse.\n", "\n", "`tf.keras.callbacks.EarlyStopping` proporciona una implementación mas completa y general." ] }, { "cell_type": "code", "execution_count": 10, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:04.245264Z", "iopub.status.busy": "2020-09-23T00:09:04.244585Z", "iopub.status.idle": "2020-09-23T00:09:04.246952Z", "shell.execute_reply": "2020-09-23T00:09:04.246433Z" }, "id": "BM31gfAV4mks" }, "outputs": [], "source": [ "import numpy as np\n", "\n", "class EarlyStoppingAtMinLoss(tf.keras.callbacks.Callback):\n", " \"\"\"Detener el entrenamiento cuando la perdida (loss) esta en su minimo, i.e. la perdida (loss) deja de disminuir.\n", "\n", " Arguments:\n", " patience: Numero de epochs a esperar despues de que el min ha sido alcanzaado. Despues de este numero\n", " de no mejoras, el entrenamiento para.\n", " \"\"\"\n", "\n", " def __init__(self, patience=0):\n", " super(EarlyStoppingAtMinLoss, self).__init__()\n", "\n", " self.patience = patience\n", "\n", " # best_weights para almacenar los pesos en los cuales ocurre la perdida minima.\n", " self.best_weights = None\n", "\n", " def on_train_begin(self, logs=None):\n", " # El numero de epoch que ha esperado cuando la perdida ya no es minima.\n", " self.wait = 0\n", " # El epoch en el que en entrenamiento se detiene.\n", " self.stopped_epoch = 0\n", " # Initialize el best como infinito.\n", " self.best = np.Inf\n", "\n", " def on_epoch_end(self, epoch, logs=None):\n", " current = logs.get('loss')\n", " if np.less(current, self.best):\n", " self.best = current\n", " self.wait = 0\n", " # Guardar los mejores pesos si el resultado actual es mejor (menos).\n", " self.best_weights = self.model.get_weights()\n", " else:\n", " self.wait += 1\n", " if self.wait >= self.patience:\n", " self.stopped_epoch = epoch\n", " self.model.stop_training = True\n", " print('Restaurando los pesos del modelo del final de la mejor epoch.')\n", " self.model.set_weights(self.best_weights)\n", "\n", " def on_train_end(self, logs=None):\n", " if self.stopped_epoch > 0:\n", " print('Epoch %05d: Detencion anticipada' % (self.stopped_epoch + 1))" ] }, { "cell_type": "code", "execution_count": 11, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:04.252954Z", "iopub.status.busy": "2020-09-23T00:09:04.252307Z", "iopub.status.idle": "2020-09-23T00:09:04.751284Z", "shell.execute_reply": "2020-09-23T00:09:04.750622Z" }, "id": "xS4fa-7PFzzc" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Para el batch 0, la perdida (loss) es 29.01.\n", "Para el batch 1, la perdida (loss) es 469.72.\n", "Para el batch 2, la perdida (loss) es 318.63.\n", "Para el batch 3, la perdida (loss) es 241.80.\n", "Para el batch 4, la perdida (loss) es 194.70.\n", "La perdida promedio para la epoch 0 es 194.70 y el MAE es 8.03.\n", "Para el batch 0, la perdida (loss) es 8.98.\n", "Para el batch 1, la perdida (loss) es 7.03.\n", "Para el batch 2, la perdida (loss) es 6.32.\n", "Para el batch 3, la perdida (loss) es 6.01.\n", "Para el batch 4, la perdida (loss) es 5.88.\n", "La perdida promedio para la epoch 1 es 5.88 y el MAE es 1.96.\n", "Para el batch 0, la perdida (loss) es 4.63.\n", "Para el batch 1, la perdida (loss) es 4.54.\n", "Para el batch 2, la perdida (loss) es 4.39.\n", "Para el batch 3, la perdida (loss) es 4.79.\n", "Para el batch 4, la perdida (loss) es 4.98.\n", "La perdida promedio para la epoch 2 es 4.98 y el MAE es 1.79.\n", "Para el batch 0, la perdida (loss) es 5.49.\n", "Para el batch 1, la perdida (loss) es 4.72.\n", "Para el batch 2, la perdida (loss) es 4.87.\n", "Para el batch 3, la perdida (loss) es 5.56.\n", "Para el batch 4, la perdida (loss) es 8.84.\n", "La perdida promedio para la epoch 3 es 8.84 y el MAE es 2.35.\n", "Restaurando los pesos del modelo del final de la mejor epoch.\n", "Epoch 00004: Detencion anticipada\n" ] } ], "source": [ "model = get_model()\n", "_ = model.fit(x_train, y_train,\n", " batch_size=64,\n", " steps_per_epoch=5,\n", " epochs=30,\n", " verbose=0,\n", " callbacks=[LossAndErrorPrintingCallback(), EarlyStoppingAtMinLoss()])" ] }, { "cell_type": "markdown", "metadata": { "id": "SpVDjs_Dkkdh" }, "source": [ "### Programacion del Learning Rate\n", "\n", "Algo que es hecho comunmente en el entrenamiento de un modelo es cambiar el learning rate conforme pasan mas epochs. El backend de Keras expone la API `get_value` la cual puede ser usada para definir las variables. En este ejemplo estamos mostrando como un Callback personalizado puede ser usado para cambiar dinamicamente el learning rate.\n", "\n", "Nota: este es solo una implementacion de ejemplo, `callbacks.LearningRateScheduler` y `keras.optimizers.schedules` contienen implementaciones mas generales." ] }, { "cell_type": "code", "execution_count": 12, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:04.758223Z", "iopub.status.busy": "2020-09-23T00:09:04.757558Z", "iopub.status.idle": "2020-09-23T00:09:04.759984Z", "shell.execute_reply": "2020-09-23T00:09:04.759491Z" }, "id": "PGowEUC8klSz" }, "outputs": [], "source": [ "class LearningRateScheduler(tf.keras.callbacks.Callback):\n", " \"\"\"Planificador de Learning rate que define el learning rate deacuerdo a lo programado.\n", "\n", " Arguments:\n", " schedule: una funcion que toma el indice del epoch\n", " (entero, indexado desde 0) y el learning rate actual\n", " como entradas y regresa un nuevo learning rate como salida (float).\n", " \"\"\"\n", "\n", " def __init__(self, schedule):\n", " super(LearningRateScheduler, self).__init__()\n", " self.schedule = schedule\n", "\n", " def on_epoch_begin(self, epoch, logs=None):\n", " if not hasattr(self.model.optimizer, 'lr'):\n", " raise ValueError('Optimizer must have a \"lr\" attribute.')\n", " # Obtener el learning rate actua del optimizer del modelo.\n", " lr = float(tf.keras.backend.get_value(self.model.optimizer.lr))\n", " # Llamar la funcion schedule para obtener el learning rate programado.\n", " scheduled_lr = self.schedule(epoch, lr)\n", " # Definir el valor en el optimized antes de que la epoch comience\n", " tf.keras.backend.set_value(self.model.optimizer.lr, scheduled_lr)\n", " print('\\nEpoch %05d: Learning rate is %6.4f.' % (epoch, scheduled_lr))" ] }, { "cell_type": "code", "execution_count": 13, "metadata": { "execution": { "iopub.execute_input": "2020-09-23T00:09:04.768373Z", "iopub.status.busy": "2020-09-23T00:09:04.767696Z", "iopub.status.idle": "2020-09-23T00:09:05.390765Z", "shell.execute_reply": "2020-09-23T00:09:05.390155Z" }, "id": "1jL3pI5Ep5F8" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "\n", "Epoch 00000: Learning rate is 0.1000.\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Para el batch 0, la perdida (loss) es 31.79.\n", "Para el batch 1, la perdida (loss) es 365.90.\n", "Para el batch 2, la perdida (loss) es 254.34.\n", "Para el batch 3, la perdida (loss) es 194.62.\n", "Para el batch 4, la perdida (loss) es 157.31.\n", "La perdida promedio para la epoch 0 es 157.31 y el MAE es 7.92.\n", "\n", "Epoch 00001: Learning rate is 0.1000.\n", "Para el batch 0, la perdida (loss) es 6.23.\n", "Para el batch 1, la perdida (loss) es 6.23.\n", "Para el batch 2, la perdida (loss) es 6.31.\n", "Para el batch 3, la perdida (loss) es 6.04.\n", "Para el batch 4, la perdida (loss) es 6.08.\n", "La perdida promedio para la epoch 1 es 6.08 y el MAE es 2.06.\n", "\n", "Epoch 00002: Learning rate is 0.1000.\n", "Para el batch 0, la perdida (loss) es 10.44.\n", "Para el batch 1, la perdida (loss) es 10.94.\n", "Para el batch 2, la perdida (loss) es 12.18.\n", "Para el batch 3, la perdida (loss) es 14.24.\n", "Para el batch 4, la perdida (loss) es 16.86.\n", "La perdida promedio para la epoch 2 es 16.86 y el MAE es 3.41.\n", "\n", "Epoch 00003: Learning rate is 0.0500.\n", "Para el batch 0, la perdida (loss) es 35.25.\n", "Para el batch 1, la perdida (loss) es 20.86.\n", "Para el batch 2, la perdida (loss) es 15.10.\n", "Para el batch 3, la perdida (loss) es 12.15.\n", "Para el batch 4, la perdida (loss) es 10.47.\n", "La perdida promedio para la epoch 3 es 10.47 y el MAE es 2.31.\n", "\n", "Epoch 00004: Learning rate is 0.0500.\n", "Para el batch 0, la perdida (loss) es 4.03.\n", "Para el batch 1, la perdida (loss) es 4.65.\n", "Para el batch 2, la perdida (loss) es 4.61.\n", "Para el batch 3, la perdida (loss) es 4.65.\n", "Para el batch 4, la perdida (loss) es 4.74.\n", "La perdida promedio para la epoch 4 es 4.74 y el MAE es 1.72.\n", "\n", "Epoch 00005: Learning rate is 0.0500.\n", "Para el batch 0, la perdida (loss) es 4.02.\n", "Para el batch 1, la perdida (loss) es 3.93.\n", "Para el batch 2, la perdida (loss) es 3.99.\n", "Para el batch 3, la perdida (loss) es 3.83.\n", "Para el batch 4, la perdida (loss) es 4.04.\n", "La perdida promedio para la epoch 5 es 4.04 y el MAE es 1.59.\n", "\n", "Epoch 00006: Learning rate is 0.0100.\n", "Para el batch 0, la perdida (loss) es 4.38.\n", "Para el batch 1, la perdida (loss) es 4.90.\n", "Para el batch 2, la perdida (loss) es 4.83.\n", "Para el batch 3, la perdida (loss) es 5.02.\n", "Para el batch 4, la perdida (loss) es 5.04.\n", "La perdida promedio para la epoch 6 es 5.04 y el MAE es 1.77.\n", "\n", "Epoch 00007: Learning rate is 0.0100.\n", "Para el batch 0, la perdida (loss) es 5.85.\n", "Para el batch 1, la perdida (loss) es 5.87.\n", "Para el batch 2, la perdida (loss) es 5.11.\n", "Para el batch 3, la perdida (loss) es 5.38.\n", "Para el batch 4, la perdida (loss) es 4.97.\n", "La perdida promedio para la epoch 7 es 4.97 y el MAE es 1.76.\n", "\n", "Epoch 00008: Learning rate is 0.0100.\n", "Para el batch 0, la perdida (loss) es 4.39.\n", "Para el batch 1, la perdida (loss) es 3.87.\n", "Para el batch 2, la perdida (loss) es 3.69.\n", "Para el batch 3, la perdida (loss) es 3.95.\n", "Para el batch 4, la perdida (loss) es 4.16.\n", "La perdida promedio para la epoch 8 es 4.16 y el MAE es 1.63.\n", "\n", "Epoch 00009: Learning rate is 0.0050.\n", "Para el batch 0, la perdida (loss) es 4.89.\n", "Para el batch 1, la perdida (loss) es 4.67.\n", "Para el batch 2, la perdida (loss) es 4.33.\n", "Para el batch 3, la perdida (loss) es 4.21.\n", "Para el batch 4, la perdida (loss) es 4.04.\n", "La perdida promedio para la epoch 9 es 4.04 y el MAE es 1.61.\n", "\n", "Epoch 00010: Learning rate is 0.0050.\n", "Para el batch 0, la perdida (loss) es 4.09.\n", "Para el batch 1, la perdida (loss) es 4.51.\n", "Para el batch 2, la perdida (loss) es 4.56.\n", "Para el batch 3, la perdida (loss) es 4.31.\n", "Para el batch 4, la perdida (loss) es 4.45.\n", "La perdida promedio para la epoch 10 es 4.45 y el MAE es 1.69.\n", "\n", "Epoch 00011: Learning rate is 0.0050.\n", "Para el batch 0, la perdida (loss) es 3.31.\n", "Para el batch 1, la perdida (loss) es 3.34.\n", "Para el batch 2, la perdida (loss) es 4.03.\n", "Para el batch 3, la perdida (loss) es 4.05.\n", "Para el batch 4, la perdida (loss) es 4.02.\n", "La perdida promedio para la epoch 11 es 4.02 y el MAE es 1.53.\n", "\n", "Epoch 00012: Learning rate is 0.0010.\n", "Para el batch 0, la perdida (loss) es 3.62.\n", "Para el batch 1, la perdida (loss) es 4.47.\n", "Para el batch 2, la perdida (loss) es 4.52.\n", "Para el batch 3, la perdida (loss) es 4.33.\n", "Para el batch 4, la perdida (loss) es 4.42.\n", "La perdida promedio para la epoch 12 es 4.42 y el MAE es 1.67.\n", "\n", "Epoch 00013: Learning rate is 0.0010.\n", "Para el batch 0, la perdida (loss) es 4.11.\n", "Para el batch 1, la perdida (loss) es 4.96.\n", "Para el batch 2, la perdida (loss) es 4.48.\n", "Para el batch 3, la perdida (loss) es 4.53.\n", "Para el batch 4, la perdida (loss) es 4.36.\n", "La perdida promedio para la epoch 13 es 4.36 y el MAE es 1.67.\n", "\n", "Epoch 00014: Learning rate is 0.0010.\n", "Para el batch 0, la perdida (loss) es 3.64.\n", "Para el batch 1, la perdida (loss) es 3.94.\n", "Para el batch 2, la perdida (loss) es 3.97.\n", "Para el batch 3, la perdida (loss) es 4.12.\n", "Para el batch 4, la perdida (loss) es 4.00.\n", "La perdida promedio para la epoch 14 es 4.00 y el MAE es 1.57.\n" ] } ], "source": [ "LR_SCHEDULE = [\n", " # (epoch a comenzar, learning rate) tupla\n", " (3, 0.05), (6, 0.01), (9, 0.005), (12, 0.001)\n", "]\n", "\n", "def lr_schedule(epoch, lr):\n", " \"\"\"Funcion de ayuda para recuperar el learning rate programado basado en la epoch.\"\"\"\n", " if epoch < LR_SCHEDULE[0][0] or epoch > LR_SCHEDULE[-1][0]:\n", " return lr\n", " for i in range(len(LR_SCHEDULE)):\n", " if epoch == LR_SCHEDULE[i][0]:\n", " return LR_SCHEDULE[i][1]\n", " return lr\n", "\n", "model = get_model()\n", "_ = model.fit(x_train, y_train,\n", " batch_size=64,\n", " steps_per_epoch=5,\n", " epochs=15,\n", " verbose=0,\n", " callbacks=[LossAndErrorPrintingCallback(), LearningRateScheduler(lr_schedule)])" ] }, { "cell_type": "markdown", "metadata": { "id": "9xMkm699JzK8" }, "source": [ "### Callbacks de Keras estandar\n", "Asegurate de revisar los callbacks de Keras preexistentes [visitando la documentacion de la api](https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/keras/callbacks). Las aplicaciones incluyen el registro a CSV, guardar el modelo, visualizar en TensorBoard y mucho mas.\n", "\n", "NOTA: La documentacion aun esta en ingles" ] } ], "metadata": { "colab": { "collapsed_sections": [ "9xMkm699JzK8" ], "name": "custom_callback.ipynb", "toc_visible": true }, "kernelspec": { "display_name": "Python 3", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.6.9" } }, "nbformat": 4, "nbformat_minor": 0 }