カテゴリ:

こんにちは、先進ソリューション推進部の山口です。

生後8ヵ月を過ぎた男の子がいるのですが、最近になってズリバイ(匍匐前進)ができるようになりました。不器用に進むのがかわいらしいですが、手に取れるものを口に入れてしまうので、目が離せない毎日がしばらく続きそうです。

さて、前回からの続きです。

トレーニング結果

前回は学習したところで終わりましたが、学習してから約3時間後にトレーニングの終了をお知らせするメールが届きました。80件のデータで3時間とは意外に時間がかかるんですね。

早速、トレーニング結果を見てみましょう。トレーニング結果ともに評価も出てます。

トレーニング結果

Avg precision(平均精度)が0.523と出ており、たぶん低いのでしょう・・・。これではテストしても期待通りの結果は出ないような気がしますが・・・。

ともあれ、モデルは作成できたので、テストを試してみます。

テスト

トレーニングデータとして使用しなかったヒヤリハットの事例をテストデータとして使用してみます。

テストはWeb上から試すことができます。PREDICTタブからモデルを選択してテキスト入力エリアにテキスト入力して、「PREDICT」をクリックするだけ。

テストケースNo.1

期待するラベル:墜落・転落(tsuiraku)

問合せ文
午前10時頃、寿司ネタの製造中、まな板が作業台に貼り付いて動かないので、力を入れて引っ張ったところ、まな板上に置いてあった包丁が跳ねて手が切られそうになった。

結果はgekitotsu(激突)が0.790と高い数値となりましたが、期待するtsuirakuのラベルは0.005・・・期待した結果になりませんでした。


テストケースNo.2

期待するラベル:転倒(tento)

問合せ文
午後3時頃、2階売場で接客販売業務中、B4サイズコピー用紙(500枚入り5束)1箱を持ち上げたところ、身体のバランスをくずして転倒し、机の角に激突しそうになった。

結果は今回もgekitotsu(激突)が0.821となり、こちらも期待値とは異なる結果に。tentoのラベルは0.107・・・

テストケースNo.3

期待するラベル:激突(gekitotsu)

問合せ文
午後7時頃、倉庫で床に置いてある商品を持ち上げようとしたところ、壁の商品掛けフックに左目が接触しそうになった。

テストケースNo.1、No.2では激突の数値が高かったのですが・・・今回は「切れ・こすれ(kire)」が0.314で激突(gekitotsu)は0.141という全体的にばらけた感じ。

AutoMLを使ってみて

AutoMLを試す前は少量のデータでそれなりの数値が出ることを期待していましたが、トレーニングデータが全然足りなかったせいか、寂しい結果となりました。

もっとトレーニングデータを用意できればいいですが、サイトの1カテゴリは多くとも70件ほどの事例登録なので、精度を上げるのは難しそうです。

それなりの精度を得ようとすると各ラベルに対して100件以上のテキストデータが必要となりそうで、このトレーニングデータの用意がポイントとなりそうです。

すでにテキストデータがそれなりに集まっているのであれば始めやすいですが、データがない状態で一から作成するとなると最低ラベル数×100件分のデータが必要でここで苦労しそうです。
(自然文を特定の人が作成すると偏りがちになるため)

使う用途としては・・・例えば、ある入力フォーム(ヒヤリハットや事故報告書)で状況を入力したらカテゴリを自動的にセットしてくれる(入力補助)みたいことに使えそうです。

<関連記事>

Cloud AutoML Natural Languageを試してみた(1)

こちらの記事も人気です

    この課題を解決するソリューション