{ "cells": [ { "cell_type": "markdown", "metadata": { "id": "tDnwEv8FtJm7" }, "source": [ "##### Copyright 2018 The TensorFlow Authors." ] }, { "cell_type": "code", "execution_count": 1, "metadata": { "cellView": "form", "execution": { "iopub.execute_input": "2022-12-14T22:21:56.719373Z", "iopub.status.busy": "2022-12-14T22:21:56.719114Z", "iopub.status.idle": "2022-12-14T22:21:56.723526Z", "shell.execute_reply": "2022-12-14T22:21:56.722953Z" }, "id": "JlknJBWQtKkI" }, "outputs": [], "source": [ "#@title Licensed under the Apache License, Version 2.0 (the \"License\");\n", "# you may not use this file except in compliance with the License.\n", "# You may obtain a copy of the License at\n", "#\n", "# https://www.apache.org/licenses/LICENSE-2.0\n", "#\n", "# Unless required by applicable law or agreed to in writing, software\n", "# distributed under the License is distributed on an \"AS IS\" BASIS,\n", "# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\n", "# See the License for the specific language governing permissions and\n", "# limitations under the License." ] }, { "cell_type": "markdown", "metadata": { "id": "60RdWsg1tETW" }, "source": [ "# 사용자 정의 층" ] }, { "cell_type": "markdown", "metadata": { "id": "BcJg7Enms86w" }, "source": [ "\n", " \n", " \n", " \n", " \n", "
TensorFlow.org에서 보기 Google Colab에서 실행GitHub에서 소스 보기노트북 다운로드
" ] }, { "cell_type": "markdown", "metadata": { "id": "UEu3q4jmpKVT" }, "source": [ "신경망을 구축하기 위해서 고수준 API인 `tf.keras`를 사용하길 권합니다. 대부분의 텐서플로 API는 즉시 실행(eager execution)과 함께 사용할 수 있습니다.\n" ] }, { "cell_type": "code", "execution_count": 2, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:21:56.727070Z", "iopub.status.busy": "2022-12-14T22:21:56.726615Z", "iopub.status.idle": "2022-12-14T22:21:58.888572Z", "shell.execute_reply": "2022-12-14T22:21:58.887762Z" }, "id": "Py0m-N6VgQFJ" }, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "2022-12-14 22:21:57.768732: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer.so.7'; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory\n", "2022-12-14 22:21:57.768835: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer_plugin.so.7'; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory\n", "2022-12-14 22:21:57.768845: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly.\n" ] } ], "source": [ "import tensorflow as tf" ] }, { "cell_type": "code", "execution_count": 3, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:21:58.893157Z", "iopub.status.busy": "2022-12-14T22:21:58.892699Z", "iopub.status.idle": "2022-12-14T22:21:59.029699Z", "shell.execute_reply": "2022-12-14T22:21:59.028942Z" }, "id": "TluWFcB_2nP5" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU'), PhysicalDevice(name='/physical_device:GPU:1', device_type='GPU'), PhysicalDevice(name='/physical_device:GPU:2', device_type='GPU'), PhysicalDevice(name='/physical_device:GPU:3', device_type='GPU')]\n" ] } ], "source": [ "print(tf.config.list_physical_devices('GPU'))" ] }, { "cell_type": "markdown", "metadata": { "id": "zSFfVVjkrrsI" }, "source": [ "## 층: 유용한 연산자 집합\n", "\n", "머신러닝을 위한 코드를 작성하는 대부분의 경우에 개별적인 연산과 변수를 조작하는 것보다는 높은 수준의 추상화 도구를 사용할 것입니다.\n", "\n", "많은 머신러닝 모델은 비교적 단순한 레이어를 조합하고 쌓아서 표현 가능합니다. 또한 TensorFlow는 여러 표준 레이어를 제공하므로 사용자 고유의 애플리케이션에 특화된 레이어를 처음부터 작성하거나, 기존 레이어의 조합으로 쉽게 만들 수 있습니다.\n", "\n", "텐서플로는 [케라스](https://keras.io)의 모든 API를 tf.keras 패키지에 포함하고 있습니다. 케라스 층은 모델을 구축하는데 매우 유용합니다.\n" ] }, { "cell_type": "code", "execution_count": 4, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:21:59.033270Z", "iopub.status.busy": "2022-12-14T22:21:59.032984Z", "iopub.status.idle": "2022-12-14T22:21:59.043445Z", "shell.execute_reply": "2022-12-14T22:21:59.042731Z" }, "id": "8PyXlPl-4TzQ" }, "outputs": [], "source": [ "# In the tf.keras.layers package, layers are objects. To construct a layer,\n", "# simply construct the object. Most layers take as a first argument the number\n", "# of output dimensions / channels.\n", "layer = tf.keras.layers.Dense(100)\n", "# The number of input dimensions is often unnecessary, as it can be inferred\n", "# the first time the layer is used, but it can be provided if you want to\n", "# specify it manually, which is useful in some complex models.\n", "layer = tf.keras.layers.Dense(10, input_shape=(None, 5))" ] }, { "cell_type": "markdown", "metadata": { "id": "Fn69xxPO5Psr" }, "source": [ "미리 구성되어있는 층은 다음 [문서](https://www.tensorflow.org/api_docs/python/tf/keras/layers)에서 확인할 수 있습니다. Dense(완전 연결 층), Conv2D, LSTM, BatchNormalization, Dropout, 등을 포함하고 있습니다." ] }, { "cell_type": "code", "execution_count": 5, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:21:59.046666Z", "iopub.status.busy": "2022-12-14T22:21:59.046392Z", "iopub.status.idle": "2022-12-14T22:22:02.940981Z", "shell.execute_reply": "2022-12-14T22:22:02.940229Z" }, "id": "E3XKNknP5Mhb" }, "outputs": [ { "data": { "text/plain": [ "" ] }, "execution_count": 5, "metadata": {}, "output_type": "execute_result" } ], "source": [ "# To use a layer, simply call it.\n", "layer(tf.zeros([10, 5]))" ] }, { "cell_type": "code", "execution_count": 6, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:02.945090Z", "iopub.status.busy": "2022-12-14T22:22:02.944315Z", "iopub.status.idle": "2022-12-14T22:22:02.952615Z", "shell.execute_reply": "2022-12-14T22:22:02.951943Z" }, "id": "Wt_Nsv-L5t2s" }, "outputs": [ { "data": { "text/plain": [ "[,\n", " ]" ] }, "execution_count": 6, "metadata": {}, "output_type": "execute_result" } ], "source": [ "# Layers have many useful methods. For example, you can inspect all variables\n", "# in a layer using `layer.variables` and trainable variables using\n", "# `layer.trainable_variables`. In this case a fully-connected layer\n", "# will have variables for weights and biases.\n", "layer.variables" ] }, { "cell_type": "code", "execution_count": 7, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:02.956242Z", "iopub.status.busy": "2022-12-14T22:22:02.955655Z", "iopub.status.idle": "2022-12-14T22:22:02.961668Z", "shell.execute_reply": "2022-12-14T22:22:02.961040Z" }, "id": "6ilvKjz8_4MQ" }, "outputs": [ { "data": { "text/plain": [ "(,\n", " )" ] }, "execution_count": 7, "metadata": {}, "output_type": "execute_result" } ], "source": [ "# The variables are also accessible through nice accessors\n", "layer.kernel, layer.bias" ] }, { "cell_type": "markdown", "metadata": { "id": "O0kDbE54-5VS" }, "source": [ "## 사용자 정의 층 구현\n", "\n", "사용자 정의 층을 구현하는 가장 좋은 방법은 tf.keras.Layer 클래스를 상속하고 다음과 같이 구현하는 것입니다.\n", "\n", "1. `__init__`: 모든 입력 독립적 초기화를 수행할 수 있습니다.\n", "2. `build`: 입력 텐서의 형상을 알고 나머지 초기화 작업을 수행할 수 있습니다.\n", "3. `call`: 순방향 계산을 수행합니다.\n", "\n", "변수를 생성하기 위해 `build`가 호출되길 기다릴 필요가 없다는 것에 주목하세요. 또한 변수를 `__init__`에 생성할 수도 있습니다. 그러나 `build`에 변수를 생성하는 유리한 점은 층이 작동할 입력의 크기를 기준으로 나중에 변수를 만들 수 있다는 것입니다. 반면에, `__init__`에 변수를 생성하는 것은 변수 생성에 필요한 크기가 명시적으로 지정되어야 함을 의미합니다." ] }, { "cell_type": "code", "execution_count": 8, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:02.964896Z", "iopub.status.busy": "2022-12-14T22:22:02.964633Z", "iopub.status.idle": "2022-12-14T22:22:02.970330Z", "shell.execute_reply": "2022-12-14T22:22:02.969651Z" }, "id": "5Byl3n1k5kIy" }, "outputs": [], "source": [ "class MyDenseLayer(tf.keras.layers.Layer):\n", " def __init__(self, num_outputs):\n", " super(MyDenseLayer, self).__init__()\n", " self.num_outputs = num_outputs\n", "\n", " def build(self, input_shape):\n", " self.kernel = self.add_weight(\"kernel\",\n", " shape=[int(input_shape[-1]),\n", " self.num_outputs])\n", "\n", " def call(self, inputs):\n", " return tf.matmul(inputs, self.kernel)\n", "\n", "layer = MyDenseLayer(10)" ] }, { "cell_type": "code", "execution_count": 9, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:02.973669Z", "iopub.status.busy": "2022-12-14T22:22:02.973066Z", "iopub.status.idle": "2022-12-14T22:22:02.979982Z", "shell.execute_reply": "2022-12-14T22:22:02.979373Z" }, "id": "vrmBsYGOnuGO" }, "outputs": [], "source": [ "_ = layer(tf.zeros([10, 5])) # Calling the layer `.builds` it." ] }, { "cell_type": "code", "execution_count": 10, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:02.983441Z", "iopub.status.busy": "2022-12-14T22:22:02.982853Z", "iopub.status.idle": "2022-12-14T22:22:02.986857Z", "shell.execute_reply": "2022-12-14T22:22:02.986166Z" }, "id": "1bsLjiPfnvat" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "['my_dense_layer/kernel:0']\n" ] } ], "source": [ "print([var.name for var in layer.trainable_variables])" ] }, { "cell_type": "markdown", "metadata": { "id": "tk8E2vY0-z4Z" }, "source": [ "코드를 읽는 사람이 표준형 층의 동작을 잘 알고 있을 것이므로, 가능한 경우 표준형 층을 사용하는것이 전체 코드를 읽고 유지하는데 더 쉽습니다. 만약 `tf.keras.layers` 에 없는 층을 사용하기 원하면 [깃허브](http://github.com/tensorflow/tensorflow/issues/new)에 이슈화하거나, 풀 리퀘스트(pull request)를 보내세요." ] }, { "cell_type": "markdown", "metadata": { "id": "Qhg4KlbKrs3G" }, "source": [ "## 모델: 층 구성\n", "\n", "머신러닝 모델에서 대부분의 재미있는 많은 것들은 기존의 층을 조합하여 구현됩니다. 예를 들어, 레즈넷(resnet)의 각 잔여 블록(residual block)은 합성곱(convolution), 배치 정규화(batch normalization), 쇼트컷(shortcut) 등으로 구성되어 있습니다.\n", "\n", "`Model.fit`, `Model.evaluate` 및 `Model.save`와 같은 모델 메서드가 필요할 때 일반적으로 `keras.Model`에서 상속합니다(자세한 내용은 [사용자 지정 Keras 레이어 및 모델](https://www.tensorflow.org/guide/keras/custom_layers_and_models) 참조).\n", "\n", "`keras.Model`(`keras.layers.Layer`가 아니라)에 의해 제공되는 또 다른 특성은 변수를 추적하는 외에 `keras.Model`이 내부 레이어도 추적하여 검사하기 더 쉽게 해준다는 점입니다.\n", "\n", "예를 들어 다음은 ResNet 블록입니다." ] }, { "cell_type": "code", "execution_count": 11, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:02.990242Z", "iopub.status.busy": "2022-12-14T22:22:02.989781Z", "iopub.status.idle": "2022-12-14T22:22:03.010793Z", "shell.execute_reply": "2022-12-14T22:22:03.010029Z" }, "id": "N30DTXiRASlb" }, "outputs": [], "source": [ "class ResnetIdentityBlock(tf.keras.Model):\n", " def __init__(self, kernel_size, filters):\n", " super(ResnetIdentityBlock, self).__init__(name='')\n", " filters1, filters2, filters3 = filters\n", "\n", " self.conv2a = tf.keras.layers.Conv2D(filters1, (1, 1))\n", " self.bn2a = tf.keras.layers.BatchNormalization()\n", "\n", " self.conv2b = tf.keras.layers.Conv2D(filters2, kernel_size, padding='same')\n", " self.bn2b = tf.keras.layers.BatchNormalization()\n", "\n", " self.conv2c = tf.keras.layers.Conv2D(filters3, (1, 1))\n", " self.bn2c = tf.keras.layers.BatchNormalization()\n", "\n", " def call(self, input_tensor, training=False):\n", " x = self.conv2a(input_tensor)\n", " x = self.bn2a(x, training=training)\n", " x = tf.nn.relu(x)\n", "\n", " x = self.conv2b(x)\n", " x = self.bn2b(x, training=training)\n", " x = tf.nn.relu(x)\n", "\n", " x = self.conv2c(x)\n", " x = self.bn2c(x, training=training)\n", "\n", " x += input_tensor\n", " return tf.nn.relu(x)\n", "\n", "\n", "block = ResnetIdentityBlock(1, [1, 2, 3])" ] }, { "cell_type": "code", "execution_count": 12, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:03.014886Z", "iopub.status.busy": "2022-12-14T22:22:03.014158Z", "iopub.status.idle": "2022-12-14T22:22:03.283249Z", "shell.execute_reply": "2022-12-14T22:22:03.282429Z" }, "id": "7D8ZR5mqtokj" }, "outputs": [], "source": [ "_ = block(tf.zeros([1, 2, 3, 3])) " ] }, { "cell_type": "code", "execution_count": 13, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:03.287821Z", "iopub.status.busy": "2022-12-14T22:22:03.287225Z", "iopub.status.idle": "2022-12-14T22:22:03.292242Z", "shell.execute_reply": "2022-12-14T22:22:03.291556Z" }, "id": "MJ8rzFpdoE_m" }, "outputs": [ { "data": { "text/plain": [ "[,\n", " ,\n", " ,\n", " ,\n", " ,\n", " ]" ] }, "execution_count": 13, "metadata": {}, "output_type": "execute_result" } ], "source": [ "block.layers" ] }, { "cell_type": "code", "execution_count": 14, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:03.296002Z", "iopub.status.busy": "2022-12-14T22:22:03.295188Z", "iopub.status.idle": "2022-12-14T22:22:03.300222Z", "shell.execute_reply": "2022-12-14T22:22:03.299584Z" }, "id": "dewldLuDvQRM" }, "outputs": [ { "data": { "text/plain": [ "18" ] }, "execution_count": 14, "metadata": {}, "output_type": "execute_result" } ], "source": [ "len(block.variables)" ] }, { "cell_type": "code", "execution_count": 15, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:03.303570Z", "iopub.status.busy": "2022-12-14T22:22:03.303039Z", "iopub.status.idle": "2022-12-14T22:22:03.320612Z", "shell.execute_reply": "2022-12-14T22:22:03.319898Z" }, "id": "FrqIXeSetaYi" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Model: \"\"\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "_________________________________________________________________\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " Layer (type) Output Shape Param # \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "=================================================================\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " conv2d (Conv2D) multiple 4 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " batch_normalization (BatchN multiple 4 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " ormalization) \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " conv2d_1 (Conv2D) multiple 4 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " batch_normalization_1 (Batc multiple 8 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " hNormalization) \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " conv2d_2 (Conv2D) multiple 9 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " batch_normalization_2 (Batc multiple 12 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " hNormalization) \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "=================================================================\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Total params: 41\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Trainable params: 29\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Non-trainable params: 12\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "_________________________________________________________________\n" ] } ], "source": [ "block.summary()" ] }, { "cell_type": "markdown", "metadata": { "id": "wYfucVw65PMj" }, "source": [ "그러나 대부분의 경우에, 많은 층으로 구성된 모델은 단순하게 순서대로 층을 하나씩 호출합니다. 이는 tf.keras.Sequential 사용하여 간단한 코드로 구현 가능합니다." ] }, { "cell_type": "code", "execution_count": 16, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:03.329306Z", "iopub.status.busy": "2022-12-14T22:22:03.328798Z", "iopub.status.idle": "2022-12-14T22:22:03.403111Z", "shell.execute_reply": "2022-12-14T22:22:03.402403Z" }, "id": "L9frk7Ur4uvJ" }, "outputs": [ { "data": { "text/plain": [ "" ] }, "execution_count": 16, "metadata": {}, "output_type": "execute_result" } ], "source": [ "my_seq = tf.keras.Sequential([tf.keras.layers.Conv2D(1, (1, 1),\n", " input_shape=(\n", " None, None, 3)),\n", " tf.keras.layers.BatchNormalization(),\n", " tf.keras.layers.Conv2D(2, 1,\n", " padding='same'),\n", " tf.keras.layers.BatchNormalization(),\n", " tf.keras.layers.Conv2D(3, (1, 1)),\n", " tf.keras.layers.BatchNormalization()])\n", "my_seq(tf.zeros([1, 2, 3, 3]))" ] }, { "cell_type": "code", "execution_count": 17, "metadata": { "execution": { "iopub.execute_input": "2022-12-14T22:22:03.407018Z", "iopub.status.busy": "2022-12-14T22:22:03.406370Z", "iopub.status.idle": "2022-12-14T22:22:03.423266Z", "shell.execute_reply": "2022-12-14T22:22:03.422568Z" }, "id": "tVAsbFITuScB" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Model: \"sequential\"\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "_________________________________________________________________\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " Layer (type) Output Shape Param # \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "=================================================================\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " conv2d_3 (Conv2D) (None, None, None, 1) 4 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " batch_normalization_3 (Batc (None, None, None, 1) 4 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " hNormalization) \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " conv2d_4 (Conv2D) (None, None, None, 2) 4 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " batch_normalization_4 (Batc (None, None, None, 2) 8 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " hNormalization) \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " conv2d_5 (Conv2D) (None, None, None, 3) 9 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " batch_normalization_5 (Batc (None, None, None, 3) 12 \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " hNormalization) \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ " \n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "=================================================================\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Total params: 41\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Trainable params: 29\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "Non-trainable params: 12\n" ] }, { "name": "stdout", "output_type": "stream", "text": [ "_________________________________________________________________\n" ] } ], "source": [ "my_seq.summary()" ] }, { "cell_type": "markdown", "metadata": { "id": "c5YwYcnuK-wc" }, "source": [ "# 다음 단계\n", "\n", "이제 이전 노트북으로 돌아가서 선형 회귀 예제에 층과 모델을 사용하여 좀 더 나은 구조를 적용할 수 있습니다." ] } ], "metadata": { "colab": { "collapsed_sections": [], "name": "custom_layers.ipynb", "toc_visible": true }, "kernelspec": { "display_name": "Python 3", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.9.16" } }, "nbformat": 4, "nbformat_minor": 0 }