• 日本語
    • English (英語)
Avintonジャパン株式会社Avintonジャパン株式会社Avintonジャパン株式会社Avintonジャパン株式会社
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
    • プライベートクラウド
    • AIサービス開発
    • AI画像解析 – 無償PoC
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
  • 採用情報
    • Avintonで働く魅力
    • 新卒採用
    • プロジェクトコーディネーター職紹介
    • 求人
    • よくある質問
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ

機械学習を用いた画像分類

  • Python3.8 と OpenCV のインストール (Ubuntu20.04LTS)
  • ルーティング
  • postgreSQLへのshp fileのimport
  • NAT
  • PostGIS exercise
  • 三目並べ – 2.〇×を交互にゲーム盤に入るようにしよう
  • Docker 概要とセットアップ
  • 三目並べ – 3.勝敗がつくようにしよう
  • Docker Engineのubuntu上へのinstall
  • EC2からS3へ自動でぽいぽいアップロードするスクリプトの作成
  • 三目並べ – 4.「スタート」「リセット」ボタンをつけよう
  • 三目並べ – 5.先攻後攻を決めて、コンピュータ対戦にしよう(前編)
  • Apache Zeppelin 基本機能
  • Ruby on Rails を MySQLでセットアップ
  • 機械学習入門者向け Support Vector Machine (SVM) に触れてみる
  • AWSアカウントの作成と必ずやるべきセキュリティ対策
  • Scala 基礎
  • VLAN
  • Apache Spark 基礎
  • 機械学習を用いた画像分類
  • Ruby on Railsによる簡単なウェブアプリケーション
  • 正規表現とパイプ
  • 機械学習エンジニアに必要なスキル
  • Docker, Kubernetesの学び方について
  • Ubuntuの基本設定
  • PostgreSQL Setup
  • REDIS
  • Amazon EC2 インスタンスの初期設定をしよう
  • 軽量版Kubernetesディストリビューション – k0s クラスターの構築
  • Pythonの設定
  • GNS3のセットアップ
  • viエディタ
  • AWSのEC2インスタンスでWordPressブログを公開してみよう
  • Pythonでデータベースを操作する
  • Python2.7とOpenCVのインストール
  • ファイル操作コマンド
  • OpenCVのテストプログラム
  • グループとユーザー
  • Pythonで画像を分類するプログラムを作成する
  • AWS CLIをインストールしてコマンド操作しよう
  • Virtualisation and Container (仮想化とコンテナ) – Ansible, Docker and Kubernetes
  • Windows Server 2012 R2 Hyper-V
  • 困った時に使うコマンド
  • SparkMLによるKaggle Titanic生存者予測
  • PacketTracerのセットアップ
  • 一般グループのユーザーとグループ
  • AWS Route 53を使って独自ドメインのWebページを表示させてみよう
  • Kubernetesクラスター上へのOpenVINOモデルサーバーを使用したサンプルアプリケーションのデプロイ
  • プライバシーポリシー
  • VMware ESXi サーバー構築
  • 三目並べ – 6.先攻後攻を決めて、コンピュータ対戦にしよう(後編)
  • フロントエンド開発のための環境構築
  • フロントエンドのデモンストレーション
  • APIのデモンストレーション
  • CISCO 1800ルータセットアップ
  • ファイル検索コマンド
  • ESXi – Switchの追加とVLAN
  • 質問
  • 仮想化環境のディスク容量を拡張する
  • ユーザー権限とアクセス権
  • 三目並べ – 0.導入
  • テキスト処理
  • ESXi – VyOS
  • データベースへのデータロード
  • 機械学習入門者向け Naive Bayes(単純ベイズ)アルゴリズムに触れてみる
  • CCNA
  • ESXi – 小規模ネットワーク 構築
  • ファイル管理
  • 機械学習入門者向け ChainerRLでブロック崩しの学習
  • AWS CLIを使ってEC2のファイルをS3へアップロードしよう
  • Apache NiFiの環境設定
  • CSV import & export – Node.js, mySQL – 1
  • 機械学習入門者向け ランダムフォレストによる Kaggle Titanic生存者予測
  • NodeJSでWebアプリケーション開発 – Socket.IO編
  • CSV import & export – Node.js, mySQL – 2
  • Apache NiFi データパイプライン基礎
  • PCからルータ、スイッチへのSSH接続設定
  • 【Python入門】Python Numpy チュートリアル
  • SQL 便利な関数
  • PostgreSQLによるデータ分析
  • Apache NiFi Exercise
  • 機械学習入門者向け 分類と回帰の違いをプログラムを書いて学ぼう
  • NodeJSでWebアプリケーション開発 – React編
  • Pythonによるマルチスレッドプログラミング実践
  • Apache SparkとApache Zeppelinの概要と環境構築
  • Certbotを使ってSSL証明書を発行し、HTTP通信を暗号化しよう
  • DockerとApacheを使ってWebサーバーを構築しよう
  • NodeJSでWebアプリケーション開発 – React編
  • AmazonEC2とVPCでネットワークとサーバーを構築しよう
  • AWS入門者向け 初心者が最初に理解すべきEC2とVPCの基本的な用語解説
  • Linuxとは
  • Pandasによる構造化データ分析
  • ダイナミックルーティング
  • PostgreSQL – Python – Apache – Bootstrap
  • 三目並べ – 1.ゲーム盤を作ろう
Home Avintonアカデミー 機械学習を用いた画像分類

1. タスクの説明と画像分類プログラムの概要

このセクションでは機械学習技術を用いて下のような画像を「文章」「図表」「風景画像」の3カテゴリに分類します。

画像分類画像

今回用いる機械学習アルゴリズムは以下の2つです。どちらも実装にはScikit-learnというPython用のシンプルなデータ分析ライブラリを用いています。 

Scikit-learn

      • ・PCA(主成分分析)
      • ・K-means clustering

環境構築にはAnacondaというディストリビューションを用い、実際に画像分類のプログラムをAnacondaに含まれているJupyter notebookという環境の上で解説とともにStep by stepで実行していきます。

2.Anacondaのインストール

まずはセットアップとしてAnacondaという科学計算(データサイエンス含む)でよく用いられるディストリビューションをインストールします。Python本体とPythonでよく用いられるライブラリがほぼ全てセットになっていて、面倒な環境構築を簡略化できるので多くの人に利用されています。

Anacondaについて

 2.1: インストーラのダウンロード

以下のリンクからLinux用のAnacondaインストーラ(Python 3版)をダウンロードしてください。

Anacondaインストールページ

anaconda_download

Downloadを押した後にメールアドレスを聞かれるかと思いますが、スターターガイドが欲しい場合以外はNo Thanksでスキップして構いません。

2.2: インストーラの実行

ターミナル(端末)を起動し、ダウンロードしたファイルを実行します。

1
$ bash ~/Downloads/Anaconda3-4.4.0-Linux-x86_64.sh

*ファイル名中の数字はAnacondaのバージョンによって異なります。

インストーラが起動するので、ライセンスを表示するためにまずEnterキーを押します。

anaconda_install1

ラインスが表示されるかと思いますのでSpaceキーでスクロールしていきます。

anaconda_install2

ライセンスに同意するか尋ねられるのでyesと入力しライセンスに同意します。

anaconda_install3

インストール場所を聞かれるかと思いますが、基本はデフォルトで大丈夫なのでEnterキーを押します。

anaconda_install4

最後に.bashrc の環境変数(PATH)にAnacondaの位置を追加するか聞かれるので、yesと入力します。

anaconda-install5

2.3: 正しくインストールされているかの確認

以下のコマンドを実行し、バージョンが表示されることを確認してみてください。

1
$ conda -V

バージョンが正しく表示されればAnacondaのインストールは完了です。

3. 画像分類プログラムの実行

ここではJupyter Notebook内でどのようなコードを書いているかの中身を先に紹介します。実際のコードの実行は画像とnotebookのダウンロード後にJupyter notebook環境上で行なってください。

実際にプログラミング体験を行っていただくにはセクション4で用意しているJupyterNotebookをダウンロードしてください。

今回の画像分類のプログラムでは

  1. 1. 画像データを機械学習アルゴリズムが適用できる形式のデータセットに変換する
  2. 2. PCAを用いてそのデータセットの次元を削減して扱いやすくする
  3. 3. K-means clusteringでクラスタリング(グループ分け)をする

という流れを3回繰り返して画像を分類していきます。

理想は1回のクラスタリングで上の3グループに分けることですが、今回のような教師なしの分類でそれを行うのは至難の業です。ですので、ここでは3回に分けて分類(ラベル付け)をすることで精度を上げていきます。なお今回用いる2つの機械学習アルゴリズムの説明はプログラム中の実際に使用するところで行います。

プログラムのOutline

 以下に画像分類プログラム全体のOutlineを示します。
1. 必要なライブラリ、モジュールのインポート
2. 何枚かの画像とそのサイズの表示
3. 1回目の分類
4. 2回目の分類
5. 3回目の分類

 3.1: 必要なライブラリ、モジュールのインポート

 まず今回のプログラムで必要なライブラリ、モジュールをインポートします。

また、再現性のための乱数のseed等も適宜設定していきます。

1
2
3
4
5
6
7
8
9
10
11
import os
import glob
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
 
from sklearn.decomposition import IncrementalPCA
from sklearn.cluster import KMeans
 
np.random.seed(5)

3.2: 何枚かの画像とそのサイズの表示

 3.2-1:  画像へのパスのリスト(img_paths)をつくる

ここでは、今回分類する画像のパスを取得し、リストimg_pathsに追加していっています。
画像は全部で868枚あります。

1
2
3
4
5
6
img_paths = []
for file in glob.glob("./1*/*.jpg"):
img_paths.append(file)
 
print("Image number:", len(img_paths))
print("Image list make done.")

3.2-2:  画像とそのサイズを表示する

下のコードを実行すると、画像とそのサイズ(1232, 1754)が確認できると思います。

1
2
3
4
5
for i in img_paths[::124]:
img = Image.open(i)
print(img.size)
plt.figure()
plt.imshow(np.asarray(img))

3.3: 1回目の分類(データセットづくり → PCA → K-means clustering)

それでは1回目の分類をしていきます。まずは分類の流れの中の1stステップ、データセットづくりです。

3.3-1: 画像データを機械学習用データセットへ変換する

ここではそれぞれの画像データをnumpy(Pythonで数値計算を高速に行うための拡張モジュール)の行列形式にし、それを1行の列ベクトルにして縦に並べていくことでデータセットをつくっていきます。

なお画像の枚数868枚はlaptop + Jupyter notebookという環境には少し多すぎるので、ここからはリストの上から600枚のみを使うこととします。また画像データのサイズ(1232, 1754)も同様の理由で少し大きすぎるので、1/6にリサイズします。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
plt.close("all")
img_paths = img_paths[:600]
print(len(img_paths))
 
def img_to_matrix(img):
img_array = np.asarray(img)
 
return img_array
 
def flatten_img(img_array):
s = img_array.shape[0] * img_array.shape[1] * img_array.shape[2]
img_width = img_array.reshape(1, s)
 
return img_width[0]
 
dataset = []
for i in img_paths:
img = Image.open(i)
 
img = img.resize((int(1232/6), int(1754/6)), Image.BICUBIC)
 
img = img_to_matrix(img)
img = flatten_img(img)
 
dataset.append(img)
 
dataset = np.array(dataset)
print(dataset.shape)
print("Dataset make done.")

3.3-2: データセットにPCA(主成分分析)を適用して次元を削減する

PCA(主成分分析)とはデータの重要な次元を見つけだし、そこに情報を圧縮することでその後の解析を易しくするためのアルゴリズムです。

それでは3.3-1で作成したデータセットにPCAを適用していきます。

今回はデータを179580次元から100次元まで次元削減します(コード中、n_components=100)。
なおここではbatch処理というものを行い全体のPCAの計算を部分部分に分割することで、メモリエラーを回避しています。batch_sizeはそのときの1部分のサイズです。

1
2
3
4
5
6
7
8
9
10
n = dataset.shape[0]
batch_size = 180
ipca = IncrementalPCA(n_components=100)
 
for i in range(n//batch_size):
r_dataset = ipca.partial_fit(dataset[i*batch_size:(i+1)*batch_size])
 
r_dataset = ipca.transform(dataset)
print(r_dataset.shape)
print("PCA done.")

3.3-3: K-means clustering でクラスタリング

K-means clusteringとは似たデータ同士を少しずつ集めてクラスタリング(グループ分け)していくアルゴリズムの一種です。

それでは最後のステップとして、PCAで次元を削減したデータセットに対してK-means clusteringを実行し、データをグループ分けします。 なお1回目の分類では全体のデータをlabel0〜label3の4グループに分けることにします(コード中、n_clusters=4)。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# K-means clustering
n_clusters = 4
kmeans = KMeans(n_clusters=n_clusters, random_state=5).fit(r_dataset)
labels = kmeans.labels_
print("K-means clustering done.")
 
for i in range(n_clusters):
label = np.where(labels==i)[0]
 
# Image placing
if not os.path.exists("label"+str(i)):
os.makedirs("label"+str(i))
 
for j in label:
img = Image.open(img_paths[j])
fname = img_paths[j].split('/')[-1]
img.save("label"+str(i)+"/" + fname)
 
print("Image placing done.")

グループ分けが終わると、label0に割り当てられた画像は~Documents/MLImageClassifier/label0/以下(MLImageClassifierディレクトリ中のlabel0ディレクトリの中)に配置されます。

label1、label2、label3に割り当てられた画像も同様に、自分のlabel名のディレクトリの中に配置されているはずなのでFiles(Ubuntu版File Explorerのようなもの)で確認してみましょう。以下のように画像が振り分けられているかと思います。

ファイル

classified-files

files

文章と図表と風景画像とが混ざったままのグループ

classified-files0

label0

風景画像グループ

classified-files-pictures

label1

文章グループ

classified-files-diagraph

label2

図表グループ

classified-images3

label3

データの構造から、似たデータ同士でグループ分けがされているのがわかるかと思います。

教師なしの分類なので、自動的にどのグループがどの画像カテゴリかまでを決定することはできませんが、複数のカテゴリの画像がまだ混じってしまっているlabel0を除けば、label1は風景画像グループ、label2は文章グループ、label3は図表グループと分類結果から目で見てすぐにラベル付けをすることができます。

3.4:  2回目の分類(データセットづくり → PCA → K-means clustering)

1回目の分類では、label0のグループだけまだ文章と図表と風景画像とが完全に混ざったままの状態でした。(他のグループにも多少の誤分類はありますが)

そこで、再度このグループの画像のみ分類にかけます。基本的には1回目と同じ、データセットづくり → PCA → K-means clusteringという流れなのでコードは一緒にしてしまい、一気に実行してしまいます。ただし1回目と違うのは画像データをlabel0~label5の6グループに分けているところです。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
# このダブルクオーテーションの間にまだ分類の不十分なグループのlabel名を入れてください
# 例 unclassified_label = "label0"
unclassified_label = "label0"
 
# Image path list make
img_paths = []
for root, dirs, files in os.walk("./" + unclassified_label + "/"):
for file in files:
if file.endswith(".jpg"):
img_paths.append(os.path.join(root, file))
 
print(len(img_paths))
print("Image list make done.")
 
# Dataset make
dataset = []
for i in img_paths:
img = Image.open(i)
 
img = img.resize((int(1232/6), int(1754/6)), Image.BICUBIC)
 
img = img_to_matrix(img)
img = flatten_img(img)
 
dataset.append(img)
 
dataset = np.array(dataset)
print(dataset.shape)
print("Dataset make done.")
 
# PCA
n = dataset.shape[0]
batch_size = 180
ipca = IncrementalPCA(n_components=100)
 
for i in range(n//batch_size):
r_dataset = ipca.partial_fit(dataset[i*batch_size:(i+1)*batch_size])
 
r_dataset = ipca.transform(dataset)
print(r_dataset.shape)
print("PCA done.")
 
# K-means clustering
n_clusters = 6
kmeans = KMeans(n_clusters=n_clusters, random_state=3).fit(r_dataset)
labels = kmeans.labels_
print("K-means clustering done.")
 
for i in range(n_clusters):
label = np.where(labels==i)[0]
 
# Image placing
if not os.path.exists(unclassified_label+"/label"+str(i)):
os.makedirs(unclassified_label+"/label"+str(i))
 
for j in label:
img = Image.open(img_paths[j])
fname = img_paths[j].split('/')[-1]
img.save(unclassified_label+"/label"+str(i)+"/" + fname)
 
print("Image placing done.")

終わったら1回目と同様に結果を確認してみましょう。~/Documents/MLImageClassifier/label1ディレクトリ以下のそれぞれのlabel名のディレクトリ中に画像がまた配置されているはずです。

3.5:  3回目の分類(データセットづくり → PCA → K-means clustering)

2回目の分類の結果はいかがだったでしょうか。まだ文章と図表が混じったままのlabel2のグループ以外は先ほどと同様に目で見てすぐにカテゴリの名前でラベルが付けられる状態になっているかと思います。

ここでも多少の誤分類はありますが) そこで2回目と同様に最終的な分類結果の精度を上げるために再度このグループに分類をかけます。 今回は4グループに分類していきます。

unclassified-images

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
# このダブルクオーテーションの間にまだ分類の不十分なグループのlabel名を入れてください
# 例 unclassified_label2 = "label0"
unclassified_label2 = "label4"
 
# Image path list make
img_paths = []
for root, dirs, files in os.walk("./"+unclassified_label+"/"+unclassified_label2+"/"):
for file in files:
if file.endswith(".jpg"):
img_paths.append(os.path.join(root, file))
 
print(len(img_paths))
print("Image list make done.")
 
# Dataset make
dataset = []
for i in img_paths:
img = Image.open(i)
 
img = img.resize((int(1232/6), int(1754/6)), Image.BICUBIC)
 
img = img_to_matrix(img)
img = flatten_img(img)
 
dataset.append(img)
 
dataset = np.array(dataset)
print(dataset.shape)
print("Dataset make done.")
 
# PCA
n = dataset.shape[0]
batch_size = n
ipca = IncrementalPCA(n_components=100)
 
for i in range(n//batch_size):
r_dataset = ipca.partial_fit(dataset[i*batch_size:(i+1)*batch_size])
 
r_dataset = ipca.transform(dataset)
print(r_dataset.shape)
print("PCA done.")
 
# K-means clustering
n_clusters = 6
kmeans = KMeans(n_clusters=n_clusters, random_state=0).fit(r_dataset)
labels = kmeans.labels_
print("K-means clustering done.")
 
for i in range(n_clusters):
label = np.where(labels==i)[0]
 
# Image placing
if not os.path.exists(unclassified_label+"/"+unclassified_label2+"/label"+str(i)):
os.makedirs(unclassified_label+"/"+unclassified_label2+"/label"+str(i))
 
for j in label:
img = Image.open(img_paths[j])
fname = img_paths[j].split('/')[-1]
img.save(unclassified_label+"/"+unclassified_label2+"/label"+str(i)+"/" + fname)
 
print("Image placing done.")

同じくFilesで結果を見てみましょう。1回目や2回目と同様に文章や図表でグループ分けがされているかと思います。
まだ分類されきっていないと思うグループにさらに分類をかけていくことで、精度をさらに上げていくことはできますが、今回はある程度まで分類ができたのでここまででとどめておきたいと思います。
以上で本チュートリアルを終わります。

4. 画像とJupyter Notebook(Image_classifier.ipynb)のダウンロード

実際にプログラムを動かす際は、画像とnotebookをダウンロードして、Jupyter notebook環境上で実行を行なってください。

以下のリンクからダウンロードできます。

MLImageClassifierをダウンロードする

ダウンロードしたら、ZIPファイルをダブルクリックして解凍してください。

ダウンロードが終わったら、そのフォルダをDocumentsディレクトリ以下に置きましょう。

1
$ mv ~/Downloads/MLImageClassifier ~/Documents/

そしてその場所まで移動します。

1
$ cd ~/Documents/MLImageClassifier

ダウンロードしたjupyter notebookを開いてみましょう。

1
$ jupyter notebook Image_classifier.ipynb

なおJupyter notebookの使い方は以下を見ると良いかと思います。

How to run Jupyter Notebook

What is Jupyter Notebook?

Notebook内のセルの実行の仕方やJupyter notebook自体の終了の仕方など、実際に画像分類をJupyter notebook上で進める前に確認しておきましょう。

先ほどのコマンドを実行すると、ブラウザが開いて以下のような画面が出てくるかと思います。

Jupyter notebook page

後はこのnotebook内のコードを少しずつ実行していき、画像の分類を進めていってください。

あなたも、Avintonでこのような最先端技術に日常的に
取り組んでみませんか?

優秀なエンジニアの成長を導きながら、AIやビッグデータなどの最先端技術を活用していくことが私たちのビジョンです。
Avintonの充実した技術研修でスキルアップを図り、あなたのキャリア目標を達成しませんか?

採用情報

採用情報

採用情報

Avinton SDGs

SDGsへの貢献

Search

タグ

AI AI Big Data Big Data ccna Digital Transformation DX IoT LPIC Python Ruby SDGs Webエンジニア イベント インタビュー インフラエンジニア エンジニア オンラインセミナー キャリアチェンジ サーバーエンジニア システム開発 セミナー データサイエンス データサイエンティス データベース データ分析 データ解析 ネットワークエンジニア ビックデータ ボランティア 人工知能 勉強会 営業 就職活動 技術インターン 採用 新卒 新卒採用 新規事業 機械学習 派遣 深層学習 社員インタビュー 経営者交流会 転職
© 2022 Avinton | All Rights Reserved | プライバシーポリシー
  • サービス
    • Avinton Data Platform
    • エッジAIカメラ
    • プライベートクラウド
    • AIサービス開発
    • AI画像解析 – 無償PoC
  • 最新情報
    • ニュースリリース&イベント情報
    • 技術ブログ&インタビュー
  • アカデミー
    • Avintonアカデミー
    • Academy on Campus
  • 採用情報
    • Avintonで働く魅力
    • 新卒採用
    • プロジェクトコーディネーター職紹介
    • 求人
    • よくある質問
  • 企業情報
    • 会社概要
    • 代表からご挨拶
    • SDGsへの貢献
  • お問い合わせ
  • 日本語
    • English (英語)
Avintonジャパン株式会社