2020-01-01から1年間の記事一覧

クローリングした画像を整備する

前回の続きでアニメ画像データセットを整備した際のメモ. 今回はゴミとして, 3次元画像・漫画画風画像を自動で除去した. また, 顔でない画像などの微細なゴミは手動で除去した.1キャラクタのディレクトリの中に複数のキャラクタが含まれる問題では, 今回は手…

【Python】Wikipediaの表の特定の項目のみを取得

アニメ一覧表から各アニメのタイトル、各アニメの記事へのリンクの2要素のみを取得しCSVとして保存する場合 ja.wikipedia.org import requests from bs4 import BeautifulSoup import csv # スクレイピング対象の URL にリクエストを送り HTML を取得する re…

【Python】google-images-download の使い方

公式でエラー出るのでパッチの方をダウンロード 100件までしかダウンロードできないらしいが, 私の用途だと20件程度で良かったので今のところ十分. $ git clone https://github.com/Joeclinton1/google-images-download.git $ cd google-images-download $ s…

【確率統計】よく使われるもの

正規分布の最尤推定 1次元データにおける正規分布を当てはめたときの最尤推定の計算 尤度関数 対数尤度関数 で偏微分 で偏微分 Chebyshev不等式 を示す. したがって, これより, 大数の法則 Chebyshevの不等式から証明できる. Chebyshevの不等式の証明は次の…

【確率論】確率分布まとめ

Poisson分布 定義 導出 Poisson分布は二項分布の にして定義されている. 二項分布 積分 のマクローリン展開はよりであるから, 期待値 分散 を利用する. 積率母関数 マクローリン展開を利用する. 図 import numpy as np import matplotlib.pyplot as plt impo…