最小二乗法を実装する
予測モデルをつくるときに最も簡単な方法としては「最小二乗法による線形モデル」と「k近傍モデル」である.
この2つは統計学や機械学習を学んでいない人でも割と思いつきそうな方法である.
線形モデルとはパラメータに対して線形なモデルという意味である.
例えば, y = ax + b という1次関数を中学で学んだ.
今, データxが観測されたときに, yを予測するというタスクを行う.
このときa(傾き), b(切片)の値によって予想するべき値yが異なってくる.
すなわちa, bが決定されれば全てのxの入力に対してyという出力ができるようになる.
このようなa, b をパラメータという.
これを多次元に拡張すると
これは
と見て
とベクトル表記で書くことができる.
これは, p+1 次元の一つのデータに対する予測の式なので, n個のデータを同時に扱う場合には
とする. は(p+1, n)行列であり転置すると(n, p+1)行列, パラメータベクトル
は(p+1)ベクトルである. ((p+1, 1)行列という表現もできる)
この線形モデルを, 最小二乗法によりフィットする. (予測と実際の誤差を最小にする)
この式はパラメータに関して二次式であるので最小値が存在する.
パラメータで微分して
になるパラメータ
を求める.
ベクトルに対する微分の以下の式は覚えておいたほうが良い.
線形モデルの最小二乗法について, パラメータの解が
で得られることが分かった.
これをPythonによって実装してみる. 今回は一次関数のパラメータa,b を求め直線フィッティングを行う.
まずデータを生成する. データ生成のアルゴリズムは以下の通りに行った.
- a, b, σを決定する
- [-10, 10]の範囲でデータxをランダムに生成する
- 決定したa, bからt=ax+bを計算する
- t=ax+b+εを計算する. ただしε~N(0, σ^2)
### 単純な線形モデルy = ax + b についてのパラメータa,b を求める問題におけるデータを生成する ### ### a, b, σの値を決定する ### [-x_min, x_max]のデータxをランダムにN個用意 ### 各データに対して, N(ax+b, σ^2)に従うガウス分布からtを生成 ### import numpy as np from numpy.random import seed import matplotlib.pyplot as plt seed(0) a, b, sigma = 2, 3, 3 N = 100 x_min, x_max = -10, 10 # データ生成 X = (x_max-x_min) * np.random.rand(N) + x_min Epsiron = np.random.normal(0, sigma**2, N)# N(0, sigma^2)のN個の正規乱数 T = (a*X + b) + Epsiron # データをファイルに出力 f = open("data00.csv", "w") for (x, t) in zip(X, T): f.write("{}, {}\n".format(x,t)) f.close() # データをプロット plt.scatter(X, T) plt.show()
以下の図のようになった. 
に従ってパラメータを決定する.
import numpy as np import matplotlib.pyplot as plt # データの読み込み name_data = "data00" path_data = name_data + ".csv" data = np.loadtxt(path_data,delimiter=",") x, t = data[:,0], data[:,1] p = x.shape[0] ones = np.ones(p) x_ = np.c_[ones, x] # パラメータベクトルの計算 A = np.dot(x_.T, x_) w = np.dot(np.dot(np.linalg.inv(A), x_.T), t) print(w) # データのプロット plt.scatter(x, t) # 回帰曲線の描画 b, a = w xx = np.linspace(np.min(x)-2, np.max(x)+2, 100) yy = a * xx + b plt.plot(xx, yy, color="red") plt.xlabel("x") plt.ylabel("y") plt.title("a=2, b=3, σ=2") plt.savefig(name_data.format(a,b)) plt.show()
次回はこの線形モデルを更に発展させ, 基底関数, 正則化あたりをやっていきたい.
convert コマンド よく使う操作
画像のリサイズ
a.pngを指定した高さ/幅に同一比のまま縮尺拡大したb.pngを出力する.
# 幅に合わせる convert -resize 640x a.png b.png # 高さに合わせる convert -resize x640 a.png b.png
a.pngという画像を640px * 640pxのb.pngに変換する.
convert -resize 640x640! a.png b.png
ディレクトリ内にある全ての画像に適応するならば
for filename in *.JPG; do convert -resize 640x640! ${filename} ${filename%.JPG}_640x640.jpg; done; # ファイル名を変えずに実行したい場合 mogrify -resize 640x640! *.png;
ディレクトリresize_dirに変換後の画像を格納する場合
mkdir resize_dir for filename in *.JPG; do convert -resize 640x640 $filename reseize_dir/${filename%.JPG}_640x640.JPG; done;
【環境設定】ubuntu 18.04 LTSにslackを入れる
slackのデスクトップアプリケーションを, dpkgでインストールする方法
単純にslackのwebサイトからダウンロードして
$ sudo dpkg -i xxx.deb
とやったらlibappindicator1が無いみたいなエラーがなされたので,
$ sudo apt --fix-broken install $ sudo apt install libindicator1 $ sudo dpkg -i xxx.deb
と行う.
【環境設定】ubuntu18.04のproxy関連設定
aptの設定
自宅でインストールしたubuntuをプロキシ環境下にあるネットワーク環境に持っていったとき, システム全体のプロキシ設定でブラウジングなどできたので, apt installなどできると思っていたが別に設定しないといけないらしい.
参考にしたのはこれ
usado.jp
$ sudo emacs /etc/environment http_proxy="http://proxy-server:port/" https_proxy="http://proxy-server:port/"
gitの設定
$git config --global http.proxy http://proxy.example.com:8080 $git config --global https.proxy http://proxy.example.com:8080
設定場所は.gitconfig
BitBucketの設定
22ポートが閉じられているので443ポートで通信を行う.
$ touch ~/.ssh/config $ emacs ~/.ssh/config
Host bitbucket.org
User git
IdentityFile ~/.ssh/id_rsa
HostName altssh.bitbucket.org
Port 443
ProxyCommand connect.exe -H hoge.proxy.jp:1080 %h %p
【環境設定】Ubuntu 18.04LTSでCtrl + Spaceで変換する
mozcを起動してデフォルトでHankaku/Zenkakuの項目をメモして
全く同じものをCtrl+Spaceに置き換えてエントリーを追加すればよい.
mozcを閉じるときに「設定は新しいアプリケーションから適応されます」的なことを言われたので, 新しいアプリを起動して試してみたができなかった.
しかし, 再起動したらできた.
【urllib】プロキシ設定
proxyの使い方メモ
keras.datasets.mnist.load_data()とかしたいときに, プロキシを通す方法
import urllib proxy_support = urllib.request.ProxyHandler({'https': 'http://proxy.hogehoge.ac.jp:80'}) opener = urllib.request.build_opener(proxy_support) urllib.request.install_opener(opener)
【Python】matplotlibで最低限のグラフをかけるようにする
TeXで表示させるため, グラフが必要な時期になってきた.
Pythonで最低限のグラフを描画する方法をメモ.
sigmoid関数のプロット
import numpy as np import matplotlib.pyplot as plt # 関数定義 x = np.linspace(-8, 8, 100) y = 1/ (1+np.exp(-x)) # 垂直線 plt.vlines(0.0, -0.1, 1.1, colors="r", linestyle="dotted", label="") # 水平線 plt.hlines(0.0, -8.0, 8.0, colors="k", linestyle="dotted", label="") plt.hlines(0.5, -8.0, 8.0, colors="k", linestyle="dotted", label="") plt.hlines(1.0, -8.0, 8.0, colors="k", linestyle="dotted", label="") # sigmoid 関数 plt.plot(x, y, label="sigmoid function") # y軸の設定 yticks = [0,0.5,1.0] plt.yticks(yticks) # 軸の名称 plt.xlabel(r"z") plt.ylabel(r"$\phi(z)$") # 凡例 plt.legend(loc="upper left") # 図の保存 plt.savefig("./sigmoid.png") plt.show()
TeXファイルに貼り付ける場合は, .epsにしておく必要がある場合がある.
convert コマンドでファイルの種類を変更する.
$ convert sigmoid.png sigmoid.eps
【Python】 pythonからshellの実行
Pythonからshellコマンドを実行する際に以下のようなやり方がある.
今回は次のshellコマンドをpythonで実行するやり方を比較する.
$sha256sum hoge.zip #返り値: xxxxxxxxxxx hoge.zip
os.system()を使う方法
import os file_name = "hoge.zip" os.system('sha256sum "{}"'.format(file_name)) # 成功 # xxxxxxxxxxx hoge.zip # 0 # 失敗 # sha256sum: hoge.zip : No such file or directory # 256
成功したか失敗したかのみしかわからない.
コマンドの出力が受け取れないし, 推奨されていないやり方らしい.
subprocess.check_output()を使う方法
import subprocess file_name = "hoge.zip" args = ["sha256sum", file_name] subprocess.check_output(args) # 成功 # b'16e3a87f14dce201f90dc0f7dd2a6318e7b9e5aef095e5815123c3a44e92ac97 GA_result.txt\n' # 失敗 # sha256sum: hoge.zip : No such file or directory #Traceback (most recent call last): # File "<stdin>", line 1, in <module> # File ".pyenv/versions/3.5.4/lib/python3.5/subprocess.py", line 316, in check_output **kwargs).stdout # File ".pyenv/versions/3.5.4/lib/python3.5/subprocess.py", line 398, in run output=stdout, stderr=stderr) # subprocess.CalledProcessError: Command '['sha256sum', 'GA_result1.txt']' returned non-zero exit status 1
成功した場合, 返り値はbyte型なのでstr型にdecodeし, pythonコード内でshellの出力結果を得ることができる.
res = subprocess.check_output(args) hash_value = res.decode("utf-8").split(" ")[0]
ただし, windowsの場合はうまく行かない可能性がある. 原因はまだ良く見てない.
commands.getstatusoutput()を使う方法
昔よく使っていたが, Python3 で廃止されたらしい.
これの代用がsubprocessモジュールになったらしい.
【TeX】 ページを跨いで表を表示する
longtable.styを使う
\newcolumntype{A}{>{\raggedright}p{0.3cm}} \newcolumntype{N}{>{\raggedright}p{3.6cm}} \newcolumntype{D}{>{\raggedright}p{10.0cm}} {\footnotesize \begin{longtable}[c]{|A|N|D|} \hline No & permission-name & Description \tabularnewline \hline \endfirsthead 0 & \verb|ACCESS_CHECKIN_PROPERTIES| & Allows read/write access to the "properties" table in the checkin database, to change values that get uploaded.\tabularnewline \hline 1 & \verb|ACCESS_COARSE_LOCATION| & Allows an app to access approximate location. \tabularnewline \hline 2 & \verb|ACCESS_FINE_LOCATION| & Allows an app to access precise location.\tabularnewline \hline 3 & \verb|ACCESS_LOCATION_|\\ \verb|EXTRA_COMMANDS| & Allows an application to access extra location provider commands. \tabularnewline \hline \end{longtable} }
【参考】
・http://www.biwako.shiga-u.ac.jp/sensei/kumazawa/tex/longtable.html
・https://ctan.org/pkg/longtable
【Python】 再帰的にファイルを取得する
import os def find_all_files(directory): for root, dirs, files in os.walk(directory): #yield root # ここをアンコメントするとディレクトリも得られる for file in files: yield os.path.join(root, file) if __name__ == "__main__": path_directory = "SAMPLE" for file in find_all_files(path_directory): print(file)
treeコマンドのようにファイルを取得できる.
os.walk()とos.path.join()は始めて知った.
os.path.join(path_directory, name_file)でpath_directory + "/" + name_fileとしてくれるようだ.
普段
path ="aaaa" for file in os.listdir(path): path_file = path + "/" + file
とファイルのpathを取得していたためこれは少し感動.
さらにwindowsとlinuxの"\\"と"/"の違いも一々気にする必要なさそうで便利！
【Python】 confusion_matrtixの作り方
seabornのheatmapによって表現できる.
import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt # scikit-learnのconfusion_matrixクラスで b = np.array([[251, 22, 1, 3, 0, 1, 3, 16, 24], [ 8, 459, 0, 2, 0, 1, 0, 4, 23], [ 0, 1, 557, 0, 0, 0, 0, 1, 0], [ 0, 3, 0, 90, 0, 0, 0, 0, 0], [ 0, 0, 0, 1, 1, 0, 0, 4, 0], [ 35, 20, 1, 8, 0, 50, 0, 7, 31], [ 0, 3, 0, 5, 0, 0, 78, 0, 0], [ 11, 1, 4, 9, 0, 1, 0, 228, 1], [ 34, 39, 0, 0, 0, 2, 0, 11, 119]]) labels = ["a","b","c","d","e","f","g","h","i"] #pandas.dataframeに格納 b = pd.DataFrame(b,index=labels,columns=index) sns.heatmap(b,annot=True,cmap="Reds") plt.show()
