[모두의 딥러닝] #1-3. 딥러닝을 위한 기초 수학

 

개괄적으로 머신러닝에 필요한 수학 기초를 훑고나서, 그동안 안써서 까먹은 파이썬 기초를 복습했다. 

회사에서 데이터 다룰 때엔 csv 바탕으로 일하다보니 데이터 전처리만 간단하게 하고 끝냈어서...데이터프레임만 주구장창 썼지  set이나 dict를 거의 쓸 일이 없었는데 머신러닝 학습 시 볼 예제들을 보니까 이제 이걸 자주 써야겠다...싶었다. 

 

❣️ 참고. 빨리 복습하고 싶었는데, 찾아보니 아래 링크에서 괜찮은 강의 + 실습파일이 꽤 있었음. 

https://aib.oopy.io/aibprecourse

 

파이썬 복습을 끝낸 이후, 드디어 유명한 모두의 딥러닝을 읽게 되었다 야호!

다만 #1,#2장은 기본적인 내용들이라 간단하게 따라하고 넘기는게 가능했기에 정리는 하지 않고

또...기본 수학부터 다시 정리해보려 한다... 

맨날 수학이야....아니 좋다구요....

 

---

#3. 딥러닝을 위한 기초 수학 

 

[이차함수와 최솟값]

 

• 이차함수의 최솟값은 포물선의 맨 아래에 위치한 지점
• 해당 최솟값은 최소 제곱법 공식으로 쉽게 알아볼 수 있으나, 딥러닝에서는 대부분 이를 사용할 수 없음 (필요한 조건들을 알 수 없음)
• 이에 미분과 기울기를 이용해서 최솟값을 찾게 됨 

 

[미분, 순간 변화율과 기울기]

 

• 미분 : 순간 변화율을 구하는 것 
• 순간 변화율 : x가 미세하게 0에 가까울 만큼 움직였을 때 y도 아주 미세하게 움직여서 방향만 드러내는 정도로 순간적으로 변화하는 것 
• 기울기 : 순간 변화율은 방향성을 갖고 있으므로 이 방향을 따라 직선을 길게 그으면 그래프와 맞닿는 접선
• 미분 계수 : 바로 그 기울기를 의미함. 기울기가 0일때 즉 미분계수가 0일때 x축과 평행한 직선이 그어지고 그 때 바로 포물선의 최솟값인 지점을 구할 수 있게 됨 
• 순간변화율 구하는 방법
  • 직선의 기울기, 즉 순간변화율은 y값의 증가량 / x값의 증가량에서 x가 0에 가까울만큼 변할 때 구할 수 있음
  • 이 때 x의 변화량을 h라 가정하면, y의 변화량은 f(x+h)-f(x)가 됨 
  • 이에 f(x)미분은 아래와 같아짐

 

• 미분 기본 공식 5가지 

1. f(x) = x이면 f'(x) = 1 
2. f(x) = a에서 a가 상수일 때 f'(x) = 0
3. f(x) = ax에서 a가 상수일때 f'(x) = a
4. f(x) = x**a에서 a가 자연수일때 f'(x) = ax**(a-1)
5. f(g(x))에서 f(x), g(x)가 미분 가능할 때 {f(g(x))}' = f'(g(x)) x g'(x) 

 

[편미분] 

• 모든 변수를 미분하는 것이 아니라 원하는 한가지 변수만 미분하고 그 외에는 상수로 취급하는 것 
• f(x,y) = x**2 + yx + a 일 경우, x에 관해서만 미분하는 것을 x에 관해 편미분한다고 함 
• → 2x + y 

 

[지수와 지수함수]

 

y = a**x 

 

[시그모이드 함수]

 

• 활성화 함수 : 딥러닝에서 입력받은 신호를 얼마나 출력할 지 계산하는 과정을 반복할 때, 출력 값으로 얼마나 내보낼 지 계산하는 함수 
• 시그모이드 함수 : 지수 함수에서 밑 값이 자연 상수 e(2.718281...)인 함수를 의미
• x가 큰 값을 가지면 f(x)는 1에 가까워지고 x가 자은 값을 가지면 f(x)는 0에 가까워져 0 또는 1 두개의 값 중 하나를 고를 때 사용 

 

 

[로그와 로그함수] 

 

• y=a**x를 로그 정리에 따라 바꾸면 x = log(a)y (귀찮아서..괄호 안이 작은거라고 가정)
• 이를 역함수로 만들어주면 y = log(a)x
•  

• 로지스틱 회귀 시, x가 1에 가까워지거나 0 에 가까워질수록 오차가 커지는 그래프가 필요한데, 이러한 그래프를 만들기 위해 로그함수를 축 기준으로 대칭이동하거나 평행이동하면서 이를 만들게 됨