【DL】sigmoid関数, ReLU関数

sigmoid関数
 \frac{1}{1+exp(-x)}
f:id:umashika5555:20170328081139p:plain

import numpy as np

def sigmoid(x):
    return 1/(1+np.exp(-x))

def main():
    x = np.array([-2.0 ,1.0, 2.0])
    y = sigmoid(x)
    print(x)
    print(y)
    
if __name__=='__main__':
    main()

結果は下記
入力が小さいほど出力も小さい.
入力が大きいほど出力も大きい.

[-2.  1.  2.]
[ 0.11920292  0.73105858  0.88079708]

ReLU関数
 x\ge0 f(x) = x, x\le 0 f(x) = 0
 f(x) = max(0,x)
f:id:umashika5555:20170328082054p:plain

def ReLU(x):
    return np.maximum(0,x)

sigmoid関数と同じ入力をすると結果は下記のようになった.

[-2.  1.  2.]
[ 0.  1.  2.]