【pandas】 DataFrame.iloc

DataFrameに対して列番号を指定する. 【参考】 ・http://ailaby.com/lox_iloc_ix/

【pandas】 DataFrameに辞書形式で格納する

>>> pd.DataFrame({"feature1":[1,2,3],"feature2":[0.1,0.2,0.3]}) feature1 feature2 0 1 0.1 1 2 0.2 2 3 0.3 【参考】 ・【pandas】 CSVの読み込み - メモ的な何か ・https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.describe…

【pandas】 DataFrame.describe()について

DataFrame.describe()はDataFrameに格納されているそれぞれの特徴量(横軸)に対して 数値データならcount, mean, std, min, 25%, 50%, 75%, maxを計算, カテゴリデータならcount, unique(カテゴリの種類), top(先頭), freq(最頻値)を計算してくれる便利な機能…

【pandas】 CSVの読み込み

csvファイルをpandas.DataFrameに格納する方法 # 読み込み csv_path = "./data.csv" data = pd.read_csv(csv_path) # データの表示(Jupyter notebookなどで) # .head()メソッドを使えば,先頭から5行が表示される data.head() # 特徴量の名前をリストとして取…

【Linux】 gifファイルを圧縮

gifsicle -i < hoge.gif > fuga.gif

【Linux】 動画ファイルの形式変換

.ogvファイルから.gifファイルに変換する方法 ffmpeg -i hoge.ogv fuga.gif

【Linux】 スクリーンレコーダーの導入

gtk-recordmydesktopというフリーソフトを入れた. sudo apt-get install gtk-recordmydesktop ・http://hackerspace.kinja.com/screen-recording-in-linux-1686055808

【Python】 集合についての操作

# 集合の宣言 a = set([1,2,3]) b = set([3,4,5]) # 和集合 > a | b {1,2,3,4,5} # 積集合 > a & b {3} # 集合の差(A-B = A-(A∩B) > a - b {1,2} # 対象差(AもしくはBにのみ含まれる A+B-(A∩B) > a ^ b {1,2,4,5} # 部分集合の判定 > a <= b False >{3,4} <=…

【python】集合型について

集合型set()について # 集合の宣言(1) a = set([1,2,3]) # 集合の宣言(2) a = {1,2,3} # 空集合の宣言 > a = set() # 追加 > a.add(1) # 削除 > a.remove(1) # 無い要素を削除するとエラー > a.remove(2) Traceback (most recent call last): File "<sttdin>", line </sttdin>…

【ギャラリー】k-meansクラスタリングにおける画像減色を3Dグラフに表す

k = 1 k = 2 k = 3 k = 4 k = 5 k = 6 k = 7 k = 8 k = 9 k = 10 k =20 k = 30 k = 50 k = 70 k = 100 k = 200 k = 300

【python】 ゼロパディングする

文字列をゼロパディングする方法を調べた. 文字列メソッドのzfill(桁数)を用いればよい. >>> num_str = "30" >>> num_str.zfill(4) 0030 【参考】 ・http://www.lifewithpython.com/2015/10/python-zero-padding.html

【ギャラリー】 k-meansによる画像減色

元画像 k=3 k=5 k=7 k=10 k=12 k=20 なお画像が大きいためサーバーで実行したのだが, OpenCVが入っていなかったのでPILで書きなおした. この際に画素のRGB値を書き換えた(OpenCVはGBRの順で紛らわしい)のだが, 混乱して正しく書き換えられているか分からない.…

【python】 proxy下でデータセットをダウンロードする

以下の設定を書く. import urllib.request # proxy の設定 proxy_support = urllib.request.ProxyHandler({'http' : 'http://***.***.***:port', 'https': 'https://***.***.***:port'}) opener = urllib.request.build_opener(proxy_support) urllib.reques…

【python】 日本語CSVの読み込み時のエンコーディング

encoding = "utf-8"と指定する必要がある with open(filename, "r", encoding = "utf-8") as f: reader = csv.reader(f) header = next(reader) for row in reader: print(row)

【pandas】 DataFrameから特定の列の取り出し方

取り出したい項目["color", "size", price"]を指定して X = df[["color", "size", "price"]] のようにして取り出す.一列の場合なら df.color df["color"] によって"color"の列が取り出せる.行を取り出すには #先頭から3行目まで df[:3] のようにリストのよう…

【python】 辞書のキーと値を逆にする操作

辞書型のキーと値の順番を変更した辞書をつくる. 順序特徴量でL, M, Sという文字列の値がある場合, 数値として扱うために class_mapping = {"L":3, "M":2, "S":1} のような辞書を定義し, 文字列を数値にする. これを再び元の形に戻したい場合はinv_class_map…

【pandas】 pandas.dataframeのCSVの入力と出力

pandasのdataframeとCSVファイルのやりとりメモ import pandas as pd # CSV -> dataframe df = pd.read_csv(input_csv_path) # dataframe -> CSV df.to_csv(output_csv_path)

【Git】リモートリポジトリの名前の変更について

Git

リモートリポジトリ名を変更したいと思ったら, まずブラウザのGitHubからリポジトリ -> Setting で名前を変更する.つづいてローカルリポジトリで.git/configファイルからURLを変更する.

【numpy】配列の結合np.hstack(tup)メモ

np.hsatck()では縦方向(axis=1)の結合ができる. 行列a, bに対してaxis=1のみが違うならば, aとbは結合できる. すなわちa.shape[1]とb.shape[1]のみが異なり, a.shapeとb.shapeの他の要素が同じならば結合可能となる.その他の結合方法としてcolumn_stack()に…

画風変換アルゴリズムまとめ

今話題の画風変換するDeepLearningで画像Aの画風を画像Bに適応するというアルゴリズムで様々な画風変換を実験したので,その結果をまとめる. ゴッホの画風(やや失敗) ミュシャの画風(やや失敗) モネの画風(けっこういい感じ) ピカソの画風(かなり失敗) ピカソ…

【Python】help()について

クラス参照するときにhelp()関数を使うとJupyter notebook内で参照できるため便利 import sklearn import sklearn.linear_model help(sklearn.linear_model.Perceptron) 下のような説明が出てくる. Help on class Perceptron in module sklearn.linear_model…

識別結果の評価

手元にトレーニングようデータX,yがあったら X_train, y_train, X_test, y_test のトレーニングデータと検証データに分割する from sklearn.cross_validation import train_test_split #トレーニングデータと検証データに分割 #全体の30%をテストデータにす…

【numpy】meshgrid メモ

f([a,b])という関数があったとするとf([[a,b], [c,d]])というのは[f([a,b]), f([c,d])]と同じ結果を出力するのはnumpyやmatplotlibの常套らしい. >>> import numpy as np >>> x = np.array([1,2,3])# l * m >>> y = np.array([10,11])# n * k >>> xx, yy = n…

matplotlibで使えるcolormap

https://matplotlib.org/examples/color/colormaps_reference.html ここに載っているcolormap一覧をk-NN classificationの図に適応してみた. 3色だと個人的にはjet, prismあたりが見やすくて好み. 色の定義はこのように[("A",["color1","color2"]),...]のよ…

【numpy】paddingメモ

#--- 1次元配列 --- > a = [2,3] > np.pad(a,[1,0],"constant") np.array([0,2,3])#先頭に1個, 末尾に0個 0padding > np.pad(a,[1,2],"constant") np.array([0,2,3,0,0])#先頭に1個, 末尾に2個 0padding #-- 2次元配列 --- a = [[1,2],[3,4]] > np.pad(a,[(1…

【numpy】多次元配列を1次元配列にする

> x = np.arange(16).reshape(4, 4) array([[0, 1, 2, 3], [4, 5, 6, 7], [8, 9, 10, 11], [12, 13, 14, 15]]) # 方法1 > x.reshape(-1,) array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15]) # 方法2 > np.ravel(x) array([0, 1, 2, 3, 4, 5, 6…

git 設定 メモ

gitの設定で参照にしたサイトメモ 入門 https://qiita.com/ay3/items/8d758ebde41d256a32dc https://qiita.com/KosukeQiita/items/cf39d2922b77ac93f51d sshの設定 https://qiita.com/shizuma/items/2b2f873a0034839e47ce https://qiita.com/drapon/items/44…

【scikit-learn】クラスタリング手法 日本語の文献

scikit-learn documentのclusteringを読むときに役立つ日本語の文献をメモ 2.3.3 Affinity Propagation http://tjo.hatenablog.com/entry/2014/07/31/190218 2.3.4 Mean Shift http://seiya-kumada.blogspot.jp/2013/05/mean-shift.html http://blog.livedoo…

【shell】よく使うものメモ

ディレクトリ内の.apkファイルを.zipファイルに一括変換する $for filename in *.apk;do >mv "$filename" "${filename%.apk}.zip"; >donefilenameのところに""で囲んでないと空白文字があるファイルに対して操作できない場合があるので注意 ディレクトリ内の…

twitterAPIを用いたtimelineの取得【その2】

あるアカウントを200ツイート取得してCSVに保存する from requests_oauthlib import OAuth1Session import json from urllib import request import subprocess import csv keys = { "CK":'xxx', "CS":'xxx', "AT":'xxx', "AS":'xxx', } sess = OAuth1Sessio…