, dtype=tf.float32, name='custom_output_name')}"
]
},
"execution_count": 27,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"imported_with_output_name = tf.saved_model.load(module_output_path)\n",
"imported_with_output_name.signatures['serving_default'].structured_outputs"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Q4bCK55x1IBW"
},
"source": [
"## Proto の分割\n",
"\n",
"注意: この機能は TensorFlow 2.15 リリースの一部となります。現在ナイトリービルドで提供されており、`pip install tf-nightly` を使ってインストールできます。\n",
"\n",
"protobuf の実装の制限により、proto のサイズは 2GB を超えられません。このため、非常に大きなモデルを保存しようとすると、以下のエラーが発生する可能性があります。\n",
"\n",
"```\n",
"ValueError: Message tensorflow.SavedModel exceeds maximum protobuf size of 2GB: ...\n",
"```\n",
"\n",
"```\n",
"google.protobuf.message.DecodeError: Error parsing message as the message exceeded the protobuf limit with type 'tensorflow.GraphDef'\n",
"```\n",
"\n",
"2GB の制限を超えるモデルを保存したい場合は、以下の新しい proto-splitting オプションを使用して保存する必要があります。\n",
"\n",
"```python\n",
"tf.saved_model.save(\n",
" ...,\n",
" options=tf.saved_model.SaveOptions(experimental_image_format=True)\n",
")\n",
"```\n",
"\n",
"詳細は、[Proto Splitter / Merger ライブラリガイド](https://github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/proto_splitter/in-depth-guide.md)をご覧ください。"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Co6fDbzw_UnD"
},
"source": [
"## C++ による SavedModel の読み込み\n",
"\n",
"C++ バージョンの SavedModel [ローダー](https://github.com/tensorflow/tensorflow/blob/master/tensorflow/cc/saved_model/loader.h)には、SessionOptions と RunOptions を許可しながら、パスから SavedModel を読み込む API が提供されています。読み込まれるグラフに関連付けられたタグを指定する必要があります。読み込まれた SavedModel は SavedModelBundle と呼ばれ、その中に MetaGraphDef とセッションが含まれます。\n",
"\n",
"```C++\n",
"const string export_dir = ...\n",
"SavedModelBundle bundle;\n",
"...\n",
"LoadSavedModel(session_options, run_options, export_dir, {kSavedModelTagTrain},\n",
" &bundle);\n",
"```"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "b33KuyEuAO3Z"
},
"source": [
"\n",
"\n",
"## SavedModel コマンドラインインターフェースの詳細\n",
"\n",
"SavedModel コマンドラインインターフェース（CLI）を使用して、SavedModel のインスペクションと実行を行えます。たとえば、CLI を使用してモデルの `SignatureDef` を検査できます。CLI を使用することで、入力テンソルの dtype と形状がモデルに一致していることを素早く確認することが可能になります。さらに、モデルをテストする場合は、CLI でサンプル入力をさまざまな形式に渡し（Python 式など）て出力をフェッチすることで、サニティーチェックを実施できます。\n",
"\n",
"### SavedModel CLI をインストールする\n",
"\n",
"大まかに、次の 2 つの方法のいずれかを使って、TensorFlow をインストールできます。\n",
"\n",
"- ビルド済みの TensorFlow バイナリをインストールする\n",
"- ソースコードから TensorFlow をビルドする\n",
"\n",
"ビルド済みの TensorFlow バイナリを使って TensorFlow をインストールした場合は、SavedModel CLI はすでにシステムのパス名 `bin/saved_model_cli` にインストールされています。\n",
"\n",
"ソースコードから TensorFlow をビルドした場合は、さらに次のコマンドを実行して `saved_model_cli` をビルドする必要があります。\n",
"\n",
"```\n",
"$ bazel build //tensorflow/python/tools:saved_model_cli\n",
"```\n",
"\n",
"### コマンドの概要\n",
"\n",
"SavedModel CLI は、SavedModel に使用する次の 2 つのコマンドをサポートしています。\n",
"\n",
"- `show` - SavedModel で利用できる計算を表示します。\n",
"- `run` - SavedModel の計算を実行します。\n",
"\n",
"### `show` コマンド\n",
"\n",
"SavedModel には、1 つ以上のモデルバリアント（厳密には `v1.MetaGraphDef`）が含まれており、タグセットで識別されます。モデルを提供する上で、各モデルバリアントに含まれる `SignatureDef` の種類やその入力と出力について悩むことがあるかもしれません。そのようなときに `show` コマンドを使用すれば、SavedModel の中身を階層的に調べることができます。次はその構文を示しています。\n",
"\n",
"```\n",
"usage: saved_model_cli show [-h] --dir DIR [--all]\n",
"[--tag_set TAG_SET] [--signature_def SIGNATURE_DEF_KEY]\n",
"```\n",
"\n",
"たとえば、次のコマンドでは、SavedModel 内の利用可能なすべてタグセットが表示されます。\n",
"\n",
"```\n",
"$ saved_model_cli show --dir /tmp/saved_model_dir\n",
"The given SavedModel contains the following tag-sets:\n",
"serve\n",
"serve, gpu\n",
"```\n",
"\n",
"次のコマンドでは、タグセット当たりの利用可能なすべての `SignatureDef` キーが表示されます。\n",
"\n",
"```\n",
"$ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve The given SavedModel `MetaGraphDef` contains `SignatureDefs` with the following keys: SignatureDef key: \"classify_x2_to_y3\" SignatureDef key: \"classify_x_to_y\" SignatureDef key: \"regress_x2_to_y3\" SignatureDef key: \"regress_x_to_y\" SignatureDef key: \"regress_x_to_y2\" SignatureDef key: \"serving_default\"\n",
"```\n",
"\n",
"タグセット内に*複数*のタグが存在する場合は、次の例のように、すべてのタグをカンマ区切りで指定する必要があります。\n",
"\n",
"$ saved_model_cli show --dir /tmp/saved_model_dir --tag_set serve,gpu\n",
"\n",
"\n",
"特定の `SignatureDef` に対するすべての入力と出力の TensorInfo を表示するには、 `signature_def` オプションに `SignatureDef` キーを渡します。これは、後で計算グラフを実行する際の入力テンソルのテンソルキー値、dtype、および形状を知るうえで非常に役立ちます。次に例を示します。\n",
"\n",
"```\n",
"$ saved_model_cli show --dir \\\n",
"/tmp/saved_model_dir --tag_set serve --signature_def serving_default\n",
"The given SavedModel SignatureDef contains the following input(s):\n",
" inputs['x'] tensor_info:\n",
" dtype: DT_FLOAT\n",
" shape: (-1, 1)\n",
" name: x:0\n",
"The given SavedModel SignatureDef contains the following output(s):\n",
" outputs['y'] tensor_info:\n",
" dtype: DT_FLOAT\n",
" shape: (-1, 1)\n",
" name: y:0\n",
"Method name is: tensorflow/serving/predict\n",
"```\n",
"\n",
"SavedModel で利用できるすべての情報を表示するには、次の例のように `--all` オプションを使用します。\n",
"\n",
"$ saved_model_cli show --dir /tmp/saved_model_dir --all\n",
"MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:\n",
"\n",
"signature_def['classify_x2_to_y3']:\n",
" The given SavedModel SignatureDef contains the following input(s):\n",
" inputs['inputs'] tensor_info:\n",
" dtype: DT_FLOAT\n",
" shape: (-1, 1)\n",
" name: x2:0\n",
" The given SavedModel SignatureDef contains the following output(s):\n",
" outputs['scores'] tensor_info:\n",
" dtype: DT_FLOAT\n",
" shape: (-1, 1)\n",
" name: y3:0\n",
" Method name is: tensorflow/serving/classify\n",
"\n",
"...\n",
"\n",
"signature_def['serving_default']:\n",
" The given SavedModel SignatureDef contains the following input(s):\n",
" inputs['x'] tensor_info:\n",
" dtype: DT_FLOAT\n",
" shape: (-1, 1)\n",
" name: x:0\n",
" The given SavedModel SignatureDef contains the following output(s):\n",
" outputs['y'] tensor_info:\n",
" dtype: DT_FLOAT\n",
" shape: (-1, 1)\n",
" name: y:0\n",
" Method name is: tensorflow/serving/predict\n",
"\n",
"\n",
"### `run` コマンド\n",
"\n",
"グラフ計算を実行して、入力を渡してから出力を表示（または保存）するには `run` コマンドを呼び出します。次に構文を示します。\n",
"\n",
"```\n",
"usage: saved_model_cli run [-h] --dir DIR --tag_set TAG_SET --signature_def\n",
" SIGNATURE_DEF_KEY [--inputs INPUTS]\n",
" [--input_exprs INPUT_EXPRS]\n",
" [--input_examples INPUT_EXAMPLES] [--outdir OUTDIR]\n",
" [--overwrite] [--tf_debug]\n",
"```\n",
"\n",
"`run` コマンドでは、次の 3 つの方法でモデルに入力を渡すことができます。\n",
"\n",
"- `--inputs` オプション: ファイルに numpy ndarray を渡すことができます。\n",
"- `--input_exprs` オプション: Python 式を渡すことができます。\n",
"- `--input_examples` オプション: `tf.train.Example` を渡すことができます。\n",
"\n",
"#### `--inputs`\n",
"\n",
"ファイルに入力データを渡すには、次のような形式で `--inputs` オプションを指定します。\n",
"\n",
"```bsh\n",
"--inputs \n",
"```\n",
"\n",
"上記の *INPUTS* は、次のいずれかの形式です。\n",
"\n",
"- `=`\n",
"- `=[]`\n",
"\n",
"複数の *INPUTS* を渡すことができます。複数の入力（INPUTS）を渡す場合は、セミコロン区切りで *INPUTS* を指定します。\n",
"\n",
"`saved_model_cli` は `numpy.load` を使用して *filename* を読み込みます。*filename* は、次のいずれかの形式です。\n",
"\n",
"- `.npy`\n",
"- `.npz`\n",
"- ピクル形式\n",
"\n",
"`.npy` ファイルには、必ず numpy ndarray が含まれます。そのため、`.npy` ファイルから読み込む場合、コンテンツは指定された入力テンソルに直接割り当てられます。その `.npy` ファイルで *variable_name* を指定すると、*variable_name* は無視され、警告が発行されます。\n",
"\n",
"`.npz`（zip）ファイルから読み込む場合、任意で*variable_name* を指定して zip ファイル内の変数を識別し、入力テンソルキーに読み込むことができます。*variable_name* を指定しない場合は、SavedModel CLI は、ファイルが 1 つだけ zip ファイルに含まれていることを確認し、指定された入力テンソルキーにそれを読み込みます。\n",
"\n",
"ピクル形式から読み込む際に `variable_name` が大かっこで指定されていない場合、そのピクルファイルに含まれるもの何であれ、指定された入力テンソルキーに渡されます。そうでない場合、SavedModel CLI はピクルファイルにディクショナリが保存されているとみなし、*variable_name* に対応する値が使用されます。\n",
"\n",
"#### `--input_exprs`\n",
"\n",
"Python 式で入力を渡すには、`--input_exprs` オプションを指定します。これは、データファイルが手元にない場合に、モデルの `SignatureDef` の dtype と形状に一致する何らかの単純な入力を使ってサニティーチェックを実施する場合に便利です。次に例を示します。\n",
"\n",
"```bsh\n",
"`=[[1],[2],[3]]`\n",
"```\n",
"\n",
"Python 式のほか、次のように numpy 関数を渡すこともできます。\n",
"\n",
"```bsh\n",
"`=np.ones((32,32,3))`\n",
"```\n",
"\n",
"（`numpy` モジュールはすでに `np` として使用できるようになっていることに注意してください。）\n",
"\n",
"#### `--input_examples`\n",
"\n",
"`tf.train.Example` を入力として渡すには、`--input_examples` オプションを指定します。各入力キーに対し、ディクショナリのリストを取り、各ディクショナリは `tf.train.Example` のインスタンスです。ディクショナリキーは特徴量であり、値は各特徴量の値リストです。次に例を示します。\n",
"\n",
"```bsh\n",
"`<input_key>=[{\"age\":[22,24],\"education\":[\"BS\",\"MS\"]}]`\n",
"```\n",
"\n",
"#### 出力を保存する\n",
"\n",
"デフォルトでは、SavedModel CLI は出力を stdout に書き込みます。ディレクトリを `--outdir` オプションに渡すと、出力は あるディレクトリ配下に `.npy` ファイルとして保存されます。ファイル名には出力テンソルキーに因んだ名前が付けられます。\n",
"\n",
"既存の出力ファイルを上書きするには、`--overwrite` を使用してください。\n"
]
}
],
"metadata": {
"colab": {
"name": "saved_model.ipynb",
"toc_visible": true
},
"kernelspec": {
"display_name": "Python 3",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.9.18"
}
},
"nbformat": 4,
"nbformat_minor": 0
}
![](\"https://www.tensorflow.org/images/tf_logo_32px.png\"){kind=logo}
TensorFlow.org で表示![](\"https://www.tensorflow.org/images/colab_logo_32px.png\"){kind=logo}
Google Colab で実行 ![](\"https://www.tensorflow.org/images/GitHub-Mark-32px.png\")
GitHub でソースを表示![](\"https://www.tensorflow.org/images/download_logo_32px.png\"){kind=logo}
ノートブックをダウンロード