Amazon SageMakerの紹介

本連載は、機械学習を行うエンジニアまたは、これから始めようと考えているエンジニア向けにAmazonの機械学習プラットフォームのマネージドサービスAmazon SageMaker（以下、SageMaker）を紹介します。SageMakerを使うことで、機械学習における開発サイクルが効率化され、AIを活用したシステムの導入がこれまでより容易になることでしょう。第1回の本記事では、SageMakerの概要とチュートリアルをお届けします。

SageMakerの概要

SageMakerは昨年のre:invent 2017で発表されリリースされたばかりのフルマネージドなエンド・ツー・エンドの機械学習サービスです。機械学習のモデル開発プロセスを管理するためのサービスを提供します。モデル開発プロセスに伴う複雑で面倒な部分を肩代わりします。機械学習をこれから始めようと考えているエンジニアの敷居を下げるだけでなく、データサイエンティストやAIエンジニア、機械学習のエキスパートが素早くモデルを構築し、スケーラブルなトレーニングと素早いリリース（デプロイ）を可能にします。

出典）Amazon SageMakerダッシュボードの概要に掲載されている図

SageMakerは「オーサリング」「トレーニング」「ホスティング」の3つのモジュールで構成されています。すべての作業はJupyter Notebookで行うことができます。Jupyter Notebookを使うことで、データ整理からモデルのトレーニング・デプロイまでエンド・ツー・エンドの環境で作業のドキュメントを残すことができます。

1.オーサリング

モデルのベースとなるデータの概要を整理します。外れ値の除去などのクレンジングやモデルにロードするため前処理を行います。ノートブックインスタンスは、GPUインスタンスを使うこともできます。また、自由にpythonライブラリを追加して、データのオーサリングができます。

2.トレーニング

SageMakerが提供しているBuilt-inのアルゴリズムやDeep Learningフレームワーク、Dockerによる独自学習環境を使ってモデルをトレーニングすることができます。生成したモデルはS3に保存されます。このモデルはそのままSageMakerにホスティングすることできますし、AWS以外に持ち出してIoTデバイスなどにデプロイすることもできます。

3.ホスティング

SageMakerでトレーニングしたモデルやAWS以外から持ち込んだモデルを使って、リアルタイムに推論するHTTPSエンドポイントを作ることができます。エンドポイントはスケールすることができ、同時に複数モデルをデプロイするA/Bテスト、独自のアプリケーションを入れたカスタムなDockerイメージも利用できます。

ホスティングした推論をモニタリングし、新たに取得されたデータを使って更に精度を改善させていくことができます。

トレーニングの種類

モデルをトレーニングする方法は、以下の4種類があります。本記事の後半にあるSageMakerの利用手順では、トレーニング方法としてBuilt-inアルゴリズムを用いています。

Built-inアルゴリズムを使ったトレーニング

SageMakerが用意している既に出来上がっているアルゴリズムを使ってモデルをトレーニングします。

Deep Learningフレームワークを使ったトレーニング

Deep Learningフレームワークを利用することができます。SageMakerでは、TensorflowとMXNetをサポートしています。自らモデルを定義することができます。

カスタムアルゴリズムを使ったトレーニング

手組みのDockerイメージとモデルを使ってトレーニングします。Built-inアルゴリズムには、アルゴリズムごとにこのECRが用意されています。

Spark上でのトレーニング

Apache Spark MLlibのように、SageMakerを利用できます。

トレーニングの種類ごとの作業範囲

トレーニングの種類ごとの作業範囲を下図に示します。Built-inアルゴリズムは作業範囲が狭く簡略化されています。一方、カスタムアルゴリズムは広範囲であり手組みの余地が多くなります。

Built-inアルゴリズムの種類

SageMakerのBuilt-inアルゴリズムとして現在は次のものが用意されています。

料金

SageMakerで利用できるオンデマンドMLインスタンスは標準のオンデマンド料金よりも割高になっています。また、スポットインスタンスを選ぶことはできません。

次の表は2018.1.11時点のバージニア北部の料金です。

オンデマンドMLインスタンス料金

参考） https://aws.amazon.com/jp/sagemaker/pricing/

標準のオンデマンド料金

参考） https://aws.amazon.com/jp/ec2/pricing/on-demand/ MLタイプに対応したもののみ記載

前準備：Jupyter Notebookの起動

AWSの準備

AWSの基本的な準備の詳細は省略します。

1. AWSアカウント作成
2. ユーザー作成 … IAM管理者のユーザー作成およびサインイン
3. リージョン選択 … 2018.1.11時点で、利用できるリージョンは米国東部（バージニア北部）、米国東部（オハイオ）、米国西部（オレゴン）、EU（アイルランド）のみです。
4. S3バケット作成 … 学習データやモデルを保存するS3バケットの作成
5. SageMakerサービスへ移動

ノートブックインスタンスの設定

まず、ノートブックインスタンスの設定をします。必須の設定項目は「ノートブックインスタンス名」、「ノートブックインスタンスのタイプ」、「IAMロール」です。

ノートブックインスタンスタイプ

ノートで利用できるインスタンスタイプは、ml.t2.medium, ml.m4.xlarge, ml.p2.xlargeが選べます。AnacondaとDeep Learningで利用される共通ライブラリ、5GBのストレージボリューム、そして、様々なアルゴリズムをデモするためのサンプルのノートブックが入った機械学習計算用のインスタンスが起動します。上の図ではml.t2.mediumを選択しています。

IAMロール

S3, ECRなどのアクセス権限を付加します。

Jupyter Notebookの起動

「オープン」を押すと、jupyter notebookが立ち上がり利用できるようになります。（下図）

「sample-notebooks」には、サンプルのノートブック一式が同封されています。(下図にsample-notebooksフォルダが確認できます)

新規にノートブックを作る場合（上図の右上の「New」ボタン）にAnaconda, Tensorflow, MXNetなどがpython2または3系で利用できます。

Built-inアルゴリズムを使った一連の流れ

ここから起動したjupyter notebookで作業を行います。

同梱されているサンプルノートブックの「K-Means MNIST high-level」で、Built-inアルゴリズムを使ったトレーニングの一通りの利用手順を見ていきます。

参照先）notebooks/sample-notebooks/sagemaker-python-sdk/1Pkmeanshighlevel/kmeans_mnist.ipynb

今回は、データセットにラベルを付ける必要なく分類を行うことができる、教師なし学習のアルゴリズムK-Meansを使ったモデルのトレーニングを行います。

0.SageMakerのセットアップ

ノートブックインスタンスを作成したときのIAMロールを取得し、トレーニングやホスティングでデータにアクセスする際に利用します。

from sagemaker import get_execution_role

role = get_execution_role()
bucket='sagemaker-test-aic'

1.オーサリング

データの取得

0から9までの手書き文字のMNISTデータセットで分類問題を行っていきます。 MNISTデータセットには、28 x 28ピクセルの7万件の実データと同数のラベルデータが含まれています。 データセットの詳細な説明は、https://yann.lecun.com/exdb/mnist/ にあります。

%%time
import pickle, gzip, numpy, urllib.request, json

# Load the dataset
urllib.request.urlretrieve("https://deeplearning.net/data/mnist/mnist.pkl.gz", "mnist.pkl.gz")
with gzip.open('mnist.pkl.gz', 'rb') as f:
    train_set, valid_set, test_set = pickle.load(f, encoding='latin1')

pickle形式で保存されたデータを読み込むと、3つのtrain, validation, testデータセットが5:1:1の割合で分割され、実データとラベルデータのtuple型で格納されています。 それぞれのデータの形状を示します。

# 実データの形状
train_set[0].shape, valid_set[0].shape, test_set[0].shape

((50000, 784), (10000, 784), (10000, 784))

# ラベルデータの形状
train_set[1].shape, valid_set[1].shape, test_set[1].shape

((50000,), (10000,), (10000,))

実データは、28 x 28のピクセルがフラットに格納されています。画像表示する際にはreshapeが必要になります。 ラベルデータは、0から9までの数字で格納されています。実データと突き合わせる際にはそのまま利用できます。

今回はデータセットが小さいため、メモリ上に読み込み、学習・評価・テストデータとしてそのまま利用します。通常、大きなデータセットの場合にはS3へアップロードします。

データの検査

学習前のプロセスとしてデータを事前に検査し、必要な前処理を行う判断としてデータの概観を理解していきます。ここでは、インポートした文字データセットの中から１つを取り出し表示してみます。

%matplotlib inline
import matplotlib.pyplot as plt
plt.rcParams["figure.figsize"] = (2,10)


def show_digit(img, caption='', subplot=None):
    if subplot==None:
        _,(subplot)=plt.subplots(1,1)
    imgr=img.reshape((28,28))
    subplot.axis('off')
    subplot.imshow(imgr, cmap='gray')
    plt.title(caption)

show_digit(train_set[0][30], 'This is a {}'.format(train_set[1][30]))

2.トレーニング

次はトレーニングジョブを作る場合の例です。K-Meansアルゴリズムのモデルをトレーニングするパラメータを設定します。パラメータには、ロール、インスタンス数、インスタンスタイプ、モデルの出力ロケーション、分類するクラスタ数、トレーニングデータのロケーションを指定します。この他にハイパーパラメータを変える場合には、引数またはメソッドでセットすることができます。SageMakerのWebコンソールでも同様の作業も行うことができます。

今回、大量データセットに対応したミニバッチ・サイズ分のデータごとに更新するミニバッチ K-Meansを使っています。インスタンスをスケールアウトして更新することができ、トレーニングデータを分割して格納するロケーションを指定しています。

アルゴリズムの参照先: Web-scale k-means Clustering

from sagemaker import KMeans

data_location = 's3://{}/kmeans_highlevel_example/data'.format(bucket)
output_location = 's3://{}/kmeans_example/output'.format(bucket)

print('training data will be uploaded to: {}'.format(data_location))
print('training artifacts will be uploaded to: {}'.format(output_location))

kmeans = KMeans(role=role,
                train_instance_count=2,
                train_instance_type='ml.c4.8xlarge',
                output_path=output_location,
                k=10,
                data_location=data_location)

実行結果はこちら。

training data will be uploaded to: s3://sagemaker-test-aic/kmeans_highlevel_example/data
training artifacts will be uploaded to: s3://sagemaker-test-aic/kmeans_example/output
INFO:sagemaker:Created S3 bucket: sagemaker-us-east-1-104803501938

トレーニングの実行開始はsklearn likeなfitメソッドで行います。トレーニングには少々時間がかかります。

%%time

kmeans.fit(kmeans.record_set(train_set[0]))

実行結果はこちら。

INFO:sagemaker:Creating training-job with name: kmeans-2018-01-16-08-29-21-910
.......................................................................

(省略)

===== Job Complete =====
CPU times: user 7.81 s, sys: 416 ms, total: 8.23 s
Wall time: 6min 49s

3.ホスティング

トレーニングしたモデルをエンドポイントにデプロイします。

%%time

kmeans_predictor = kmeans.deploy(initial_instance_count=1,
                                 instance_type='ml.m4.xlarge')

実行結果はこちら。

INFO:sagemaker:Creating model with name: kmeans-2018-01-16-08-36-40-776
INFO:sagemaker:Creating endpoint with name kmeans-2018-01-16-08-29-21-910

次にpythonコードから予測を実行する場合の例を示します。

評価データから100件取り出して、トレーニングしたモデルから0-9までのクラスタに分類された予測結果を見てみます。

%%time 

result = kmeans_predictor.predict(valid_set[0][0:100])
clusters = [r.label['closest_cluster'].float32_tensor.values[0] for r in result]
for cluster in range(10):
    print('\n\n\nCluster {}:'.format(int(cluster)))
    digits = [ img for l, img in zip(clusters, valid_set[0]) if int(l) == cluster ]
    height=((len(digits)-1)//5)+1
    width=5
    plt.rcParams["figure.figsize"] = (width,height)
    _, subplots = plt.subplots(height, width)
    subplots=numpy.ndarray.flatten(subplots)
    for subplot, image in zip(subplots, digits):
        show_digit(image, subplot=subplot)
    for subplot in subplots[len(digits):]:
        subplot.axis('off')

    plt.show()

実行結果はこちら。

0から9までのクラスタが実際には出力されますが、最初の2件のみ表示しています。

結果を見るとざっくりと分類はできています。K-Meansクラスタリングは、画像分類の問題にとって最適なアルゴリズムではありませんが、かなり合理的なクラスタが形成されていることが分かります。

推論する環境が不要になった場合、エンドポイントを削除します。

import sagemaker
sagemaker.Session().delete_endpoint(kmeans_predictor.endpoint)

実行結果はこちら。

INFO:sagemaker:Deleting endpoint with name: kmeans-2018-01-16-08-29-21-910

さいごに

今回は、SageMakerの概要とその上での機械学習のワークフロー、Built-inアルゴリズムでモデルをトレーニングする場合の利用手順を見ていきました。Built-inアルゴリズムを使う場合にはモデル定義や学習環境を整備せずに、APIを呼び出すことで手軽にトレーニングが行え、モデルをアプリケーションに組み込みデプロイし、推論が簡単にできることが分かりました。

起動したまま放置しておくと課金されてしまうため、不要になったendpoint、notebook instanceの停止を忘れずにしましょう。

次回は、TensorFlowで自らニューラルネットワークのモデルを設計する方法や自らDockerイメージを持ち込んでトレーニングする方法について見ていきます。

（以下、2018年4月追記）

本文中のソースコードは、以下に公開されている “amazon-sagemaker-examples"より引用しています。
https://github.com/awslabs/amazon-sagemaker-examples

また、"amazon-sagemaker-examples” は Apache License 2.0 が適用されています（2018年3月現在）。

Apache License 2.0 の内容は以下を参照ください。
https://www.apache.org/licenses/LICENSE-2.0