紙媒体で管理するとなくなりがちなのでブログで進捗などを管理することにしました
※殆どの記事は自分自身のためだけにかいています.他人に見せられるレベルには至っていません...

【DL】sigmoid関数, ReLU関数

sigmoid関数
 \frac{1}{1+exp(-x)}
f:id:umashika5555:20170328081139p:plain

import numpy as np

def sigmoid(x):
    return 1/(1+np.exp(-x))

def main():
    x = np.array([-2.0 ,1.0, 2.0])
    y = sigmoid(x)
    print(x)
    print(y)
    
if __name__=='__main__':
    main()

結果は下記
入力が小さいほど出力も小さい.
入力が大きいほど出力も大きい.

[-2.  1.  2.]
[ 0.11920292  0.73105858  0.88079708]

ReLU関数
 x\ge0 f(x) = x, x\le 0 f(x) = 0
 f(x) = max(0,x)
f:id:umashika5555:20170328082054p:plain

def ReLU(x):
    return np.maximum(0,x)

sigmoid関数と同じ入力をすると結果は下記のようになった.

[-2.  1.  2.]
[ 0.  1.  2.]