2017-11-01から1ヶ月間の記事一覧

【Cygwin】 ホームディレクトリを変更する

Cygwinのterminal上ではなく, ホストOSであるWindowsの環境変数を設定する必要があるそう. デスクトップ上にCygwinのホームディレクトリを置きたい場合 環境変数名: HOME パス: /cygdrive/c/Users/username/Desktop のようにWindowsの環境変数を設定する.

【Python】 confusion_matrtixの作り方

seabornのheatmapによって表現できる. import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt # scikit-learnのconfusion_matrixクラスで b = np.array([[251, 22, 1, 3, 0, 1, 3, 16, 24], [ 8, 459, 0, 2, 0, 1,…

【データ分析】 特徴量の相関関係の図の見方

図[2][4]は正の相関関係があるとわかる. 図[1][1]は緑と赤の分布がほぼ同じであり, 分離が厳しいことがわかる. 図[0][1]でも混じっている. これを処理するためには, SepalWidthCm特徴量を削除したり工夫する必要がある.

【pandas】 DataFrameの操作について

Irisで試す # データCSVの読み込み iris = pd.read_csv("input.csv") # データのある特徴列を削除する iris.drop("Id", axis=1, inplace=True) # 同データのカウント # ”Species”という特徴列の名義特徴量の種類をそれぞれカウント iris["Species"].value_co…

【Python】 Jupyter notebookで実行に影響のない警告は無視する

warning.filterwarning("ignore")により警告を無視して進めることができる. import warnings warning.filterwarnings("ignore")

特徴量の削除

violinplotによって特徴量の分布が同じようなときjointplotによって, それらの特徴量の相関関係を調べる. 実際に相関係数の絶対値が1に近づいたらどちらかの特徴量を学習から削除することができるそう. 上図で2つの特徴量の分布が同じようなのでjointplotを…

【seaborn】 plotについて

seabornライブラリでデータを可視化したい場合, BoxplotとViolinplotなどがある. ラベルAとラベルBの正規化, 標準化済の特徴量3つをとってきて比較することに用いられる. Boxplotでは下図のような図をプロットでき, 中央値などがわかりやすい. (図引用: http…

【pandas】 DataFrame.iloc

DataFrameに対して列番号を指定する. 【参考】 ・http://ailaby.com/lox_iloc_ix/

【pandas】 DataFrameに辞書形式で格納する

>>> pd.DataFrame({"feature1":[1,2,3],"feature2":[0.1,0.2,0.3]}) feature1 feature2 0 1 0.1 1 2 0.2 2 3 0.3 【参考】 ・【pandas】 CSVの読み込み - メモ的な何か ・https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.describe…

【pandas】 DataFrame.describe()について

DataFrame.describe()はDataFrameに格納されているそれぞれの特徴量(横軸)に対して 数値データならcount, mean, std, min, 25%, 50%, 75%, maxを計算, カテゴリデータならcount, unique(カテゴリの種類), top(先頭), freq(最頻値)を計算してくれる便利な機能…

【pandas】 CSVの読み込み

csvファイルをpandas.DataFrameに格納する方法 # 読み込み csv_path = "./data.csv" data = pd.read_csv(csv_path) # データの表示(Jupyter notebookなどで) # .head()メソッドを使えば,先頭から5行が表示される data.head() # 特徴量の名前をリストとして取…

【Linux】 gifファイルを圧縮

gifsicle -i < hoge.gif > fuga.gif

【Linux】 動画ファイルの形式変換

.ogvファイルから.gifファイルに変換する方法 ffmpeg -i hoge.ogv fuga.gif

【Linux】 スクリーンレコーダーの導入

gtk-recordmydesktopというフリーソフトを入れた. sudo apt-get install gtk-recordmydesktop ・http://hackerspace.kinja.com/screen-recording-in-linux-1686055808

【Python】 集合についての操作

# 集合の宣言 a = set([1,2,3]) b = set([3,4,5]) # 和集合 > a | b {1,2,3,4,5} # 積集合 > a & b {3} # 集合の差(A-B = A-(A∩B) > a - b {1,2} # 対象差(AもしくはBにのみ含まれる A+B-(A∩B) > a ^ b {1,2,4,5} # 部分集合の判定 > a <= b False >{3,4} <=…

【python】集合型について

集合型set()について # 集合の宣言(1) a = set([1,2,3]) # 集合の宣言(2) a = {1,2,3} # 空集合の宣言 > a = set() # 追加 > a.add(1) # 削除 > a.remove(1) # 無い要素を削除するとエラー > a.remove(2) Traceback (most recent call last): File "<sttdin>", line </sttdin>…

【ギャラリー】k-meansクラスタリングにおける画像減色を3Dグラフに表す

k = 1 k = 2 k = 3 k = 4 k = 5 k = 6 k = 7 k = 8 k = 9 k = 10 k =20 k = 30 k = 50 k = 70 k = 100 k = 200 k = 300

【python】 ゼロパディングする

文字列をゼロパディングする方法を調べた. 文字列メソッドのzfill(桁数)を用いればよい. >>> num_str = "30" >>> num_str.zfill(4) 0030 【参考】 ・http://www.lifewithpython.com/2015/10/python-zero-padding.html

【ギャラリー】 k-meansによる画像減色

元画像 k=3 k=5 k=7 k=10 k=12 k=20 なお画像が大きいためサーバーで実行したのだが, OpenCVが入っていなかったのでPILで書きなおした. この際に画素のRGB値を書き換えた(OpenCVはGBRの順で紛らわしい)のだが, 混乱して正しく書き換えられているか分からない.…

【python】 proxy下でデータセットをダウンロードする

以下の設定を書く. import urllib.request # proxy の設定 proxy_support = urllib.request.ProxyHandler({'http' : 'http://***.***.***:port', 'https': 'https://***.***.***:port'}) opener = urllib.request.build_opener(proxy_support) urllib.reques…

【python】 日本語CSVの読み込み時のエンコーディング

encoding = "utf-8"と指定する必要がある with open(filename, "r", encoding = "utf-8") as f: reader = csv.reader(f) header = next(reader) for row in reader: print(row)