紙媒体で管理するとなくなりがちなのでブログで進捗などを管理することにしました
※殆どの記事は自分自身のためだけにかいています.他人に見せられるレベルには至っていません...

【Python】 confusion_matrtixの作り方

seabornのheatmapによって表現できる.

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
# scikit-learnのconfusion_matrixクラスで
b = np.array([[251,  22,   1,   3,   0,   1,   3,  16,  24],
               [  8, 459,   0,   2,   0,   1,   0,   4,  23],
               [  0,   1, 557,   0,   0,   0,   0,   1,   0],
               [  0,   3,   0,  90,   0,   0,   0,   0,   0],
               [  0,   0,   0,   1,   1,   0,   0,   4,   0],
               [ 35,  20,   1,   8,   0,  50,   0,   7,  31],
               [  0,   3,   0,   5,   0,   0,  78,   0,   0],
               [ 11,   1,   4,   9,   0,   1,   0, 228,   1],
               [ 34,  39,   0,   0,   0,   2,   0,  11, 119]])
labels = ["a","b","c","d","e","f","g","h","i"]
#pandas.dataframeに格納
b = pd.DataFrame(b,index=labels,columns=index)
sns.heatmap(b,annot=True,cmap="Reds")
plt.show()

【データ分析】 特徴量の相関関係の図の見方

f:id:umashika5555:20171113213635p:plain
図[2][4]は正の相関関係があるとわかる.
図[1][1]は緑と赤の分布がほぼ同じであり, 分離が厳しいことがわかる. 図[0][1]でも混じっている.
これを処理するためには, SepalWidthCm特徴量を削除したり工夫する必要がある.

【pandas】 DataFrameの操作について

Irisで試す

# データCSVの読み込み
iris = pd.read_csv("input.csv")

f:id:umashika5555:20171113212446p:plain

# データのある特徴列を削除する
iris.drop("Id", axis=1, inplace=True)

f:id:umashika5555:20171113212515p:plain

# 同データのカウント
# ”Species”という特徴列の名義特徴量の種類をそれぞれカウント
iris["Species"].value_counts()

f:id:umashika5555:20171113212537p:plain

# 各特徴列の値の個数をカウント
# null値があるかもチェック
# memoryなども表示してくれる
iris.info()

f:id:umashika5555:20171113212608p:plain

# count, mean, std, min, 25, 50, 75, maxを算出
iris.describe()

f:id:umashika5555:20171113212623p:plain

【Python】 Jupyter notebookで実行に影響のない警告は無視する

warning.filterwarning("ignore")により警告を無視して進めることができる.

import warnings
warning.filterwarnings("ignore")

特徴量の削除

violinplotによって特徴量の分布が同じようなときjointplotによって, それらの特徴量の相関関係を調べる.
実際に相関係数の絶対値が1に近づいたらどちらかの特徴量を学習から削除することができるそう.
f:id:umashika5555:20171113035634p:plain
上図で2つの特徴量の分布が同じようなのでjointplotを利用し, 相関計数を調べる.
相関係数は0.86とかなり高い値なのでどちらかの特徴量列を外す場合があるらしい.
f:id:umashika5555:20171113035600p:plain

【seaborn】 相関関係を可視化する

seaborn.jointplot(特徴量列1, 特徴量列2)で相関関係を見ることができる.


【参考】
http://blog.livedoor.jp/oyajieng_memo/archives/1524575.html

【seaborn】 plotについて

seabornライブラリでデータを可視化したい場合, BoxplotとViolinplotなどがある.
ラベルAとラベルBの正規化, 標準化済の特徴量3つをとってきて比較することに用いられる.
Boxplotでは下図のような図をプロットでき, 中央値などがわかりやすい.
f:id:umashika5555:20171113033851p:plain
(図引用: https://qiita.com/TomHortons/items/5b585a6860ff5ccd5ba5)

Violinplotでは下図のように分布の形や, 多峰性を確認しやすい.
f:id:umashika5555:20171113034241p:plain

【参考】
https://qiita.com/TomHortons/items/5b585a6860ff5ccd5ba5

【pandas】 DataFrame.locについて

グラフの列の値を読み取る

>>> df.loc[:,"feature1"]
0      0.71190
1      0.24160
2      0.45040
3      0.68690
4      0.40000
5      0.53550
6      0.37840
7      0.26780
8      0.53900
9      1.10500
10     0.14590

【pandas】 DataFrameの結合

pandas.DataFrame型のオブジェクトdf1,df2に対して

# 縦方向の連結
pandas.concat([df1,df2])

# 横方向の連結
pandas.concat([df1, df2],axis=1)

【参考】
http://sinhrks.hatenablog.com/entry/2015/01/28/073327

【pandas】 DataFrame.iloc

DataFrameに対して列番号を指定する.
f:id:umashika5555:20171113011104p:plain

【参考】
http://ailaby.com/lox_iloc_ix/