낡고 지친 회사원

🐍: 학계/산업계에서 Physical AI, World Model 등등 말이 많아서 전반적인 흐름을 파악하고자 읽게 된 논문. 읽다보니 내 원래 전공인 교육(...)을 접목시켜서 AI를 발전시키자! 라서 반갑고 당황스럽긴 함. 그동안 교육공학계에서 AI를 어떻게 교육에 활용할지에 대한 연구들만 봤었는데, AI쪽에서 교육학계의 개념을 들고 적용한 것은 강화학습 이후 거의 처음인듯...? 익숙한 AI 실험 논문이 아니라, 일종의 프레임을 제시하는 선언적 논문이다. 문제 제기는 상당부분 공감하면서 읽긴 했으나(model's data distribution memorization이라던가...), 제안하는 내용의 범위가 워낙에 커서 연구하는 입장에선 움 그래서 뭘 어디서부터 개선해야지 도움이 될려나 싶었음.....

머피책 혼자서 공부하다가 놓았다 반복하다보니 읽었던 것도 다 까먹어서 복습 차 정리.. 4.1 Introduction Ch2-3에서는 확률 모델의 parameter를 알고 있다고 가정했지만, 이번 챕터에서는 데이터로부터 어떻게 parameters를 학습하는 지 알고자 함 데이터로부터 parameter를 측정하는 과정을 Model fitting, training이라고 함 측정 방식은 매우 다양하지만, 보통 Loss function을 최소화시키는 parameter를 찾게 됨 이에 더 나아가서 이 측정에서의 uncertainty를 model(=quantifying)하는 것에 대해서도 논의할 것임. 통계학에서는 한정된 데이터 샘플로부터 측정된 unknown quantity에 대한 uncertainty를 quan..

정규분포가 여러개 있는 다차원의 정규분포를 의미 1. 다변량 표준정규분포 가정 : 표준정규분포를 따르는 i.i.d한 확률변수 Z1,Z2,,,Zn을 늘어놓은 열 벡터 Z가 따르는 분포를 n차원의 표준분포라고 함 Z의 확률밀도 함수 Z의 기댓값 벡터와 공분산행렬 각각의 확률변수 Z1,Z2..Zn이 모두 표준정규분포를 따르고 독립이므로 E[Zn] = 0, V[Zn]=1 , Cov[Zi,Zj]=0 즉 기댓값은 n차원의 제로벡터, 공분산행렬은 n차원의 단위행렬 I가 됨 2. 일반적인 다변량 정규분포 1차원의 표준정규분포를 따르는 확률변수 Z~N(0,1)을 확대축소, 평행이동해서 여러 정규분포를 따르는 확률변수를 표현한 것 처럼 n차원의 표준정규분포를 따르는 확률변수 Z~N(o, I)를 변환해서 여러가지 변화를 나..

공분산과 상관계수는 문과 대학원생이라면 상관분석을 하면서 쉽게 접하는 개념이지만 이걸 벡터로 하게 될 줄은 꿈에도 몰랐읍니다 사전지식 : 공분산과 상관계수 공분산이란 Cov[X,Y] = E[(X-mu)(Y-y's mu)] X,Y 가 각각의 기댓값보다 얼마나 크거나 작은지를 나타내는 것 Cov[X,Y] > 0 : 한쪽이 기댓값보다 크면 다른 한쪽도 해당 기댓값보다 큰 값이 나올 때가 많다 & 반대 성립 (기호가 같음) Cov[X,Y] < 0 : 한쪽이 기댓값보다 작으면 다른 한쪽은 크거나 & 반대 성립 (기호가 다름) Cov[X,Y] = 0 : 위와 같은 경향이 없음. 상관이 없다. 공분산의 성질 Cov[X,Y] = Cov[Y,X] Cov[X,X] = V[X] Cov[X+a, Y+b] = Cov[X,Y] ..

기댓값 함수 그래프의 부피를 구하면 되며 이는 확률밀도함수 * 대략적인 높이 분산, 표준편차, 조건부기댓값, 조건부 분산 이산일때와 동일 즉 이산일때랑 모두 동일하나 시그마를 적분이라고 생각하고 접근하면 이해하기 쉽다 즉 2 차원 -> 3차원이라고 생각하며 접근하면 됨

변수변환을 알려면 자코비안행렬을 알아야한다...물론 난 모름... ⭐️기억해야 할 것 고무밴드에 잉크를 인쇄했을 때 면적이 a배 넓어지면 잉크의 농도는 1/a배로 변했다 Case1. 가로로만 or 세로로만 늘려보자 확률변수 X,Y를 Z=2X, W=Y로 변환했을 때, f_Z,W(z,w) = f_Z,W(2x,y) 이므로 f_X,Y(x,y) = f_X,Y(z/2,w) X,Y의 면적이 X방향으로 2배 늘어났으므로 밀도는 1/2배로 감소됨 그러므로 f_Z,W(z,w) = 1/2 * f_X,Y(x,y) = 1/2 * f_X,Y(z/2,w) 세로의 경우에도 이와 같은 방식으로 계산 Case2. 비스듬하게 즉 가로 세로로도 다 늘려보자 확률변수 X,Y를 Z=3X+Y, W=X+2Y로 변환했을 때, X = (2Z-W)/5..

Reference 프로그래머를 위한 확률과 통계 확률밀도함수 가정 : 긴 종이에 잉크의 농담을 조절하며 인쇄하고 있다고 가정 X = 실수값의 확률변수 누적분포함수 (잉크의 총량) F(x) = x까지의 잉크의 총량 = P(X

1. 이항분포 Bn(n,p) 확률 p로 1이 나오는 동전을 n번 던질 때 1이 몇번 나올지에 대한 분포 1이 나올 확률 : p 0이 나올 확률 : q = 1-p 독립적인 확률변수 : Z_1,Z_2,,,,Z_n 이항분포 : X = Z_1 + Z_2 +...+ Z_n의 분포 P(X=k) = nCk * p^k * q^(n-k) 동전을 7번 던졌을 때 앞면이 3번 나올 확률 nCk = 7번(n) 중 앞면이 3번(k) 나오는 경우의 수 (순서와는 상관 없음) p^k = p의 확률이 3번(k) 발생할 확률 q^(n-k) = q의 확률이 4번 (n-k) 발생할 확률 2. 기댓값 E[X] 기본 성질 E[X] = ∑_k (k * P(X=k)) X=1이 나올 확률 1/2, X=3이 나올 확률 1/3, X=5가 나올 확률 ..

앞에 나왔던 조건부확률, 결합확률, 주변확률 등을 응용해서 베이즈 공식을 학습할 수 있음. 1. 기본 개념 베이즈 공식은 결과 Y 에서 원인 X을 찾는 문제를 해결하기 위해 사용함 (X를 안 상태에서 어떤 Y가 나올 지 예측하는 조건부확률과는 반대) 즉 원인 X를 직접 관측/측정할 수 없을 때 원인으로 인해 일어난 결과 Y를 보고 X를 추측하는 것 대부분 측정을하게 되면 원본에 노이즈가 더해짐. 그렇기 때문에 이 노이즈를 확률적으로 다루는 확률변수 X,Y의 조합으로 이 둘의 관계를 기술하고자 하는 것 (ex. 스캐너로 읽은 화상데이터 Y에서 적힌 문자 X를 맞힌다) 사전확률(Prior) P(원인) : 보통 원인의 발생 확률 Likelihood P(결과|원인) : 원인이 발생했을 때 그 결과의 발생 확률 ..

확률분포 X,Y에 대해 X=a, Y=b가 될 확률을 각각 P(X=a), P(Y=b)라 가정 1. 결합확률 X=a, Y=b가 동시에 될 확률 P(X=a,Y=b) 여러 조건을 지정하고 모든 조건이 동시에 각각 성립하는 것 결합분포의 모든 조합에 대한 확률을 합하면 1이 됨 ∑_a∑_b P(X=a,Y=b) = 1 2. 주변확률 각각 X=a, Y=b가 될 단독확을 주변확률이라고 하며 이는 P(X=a), P(Y=b) 처럼 각각 나타냄 결합분포에서 주변분포를 계산할 수 있음 (반대는 X) P(X=a) = ∑_b P(X=a,Y=b) : Y가 취할 수 있는 모든 값 b를 X=a일때 계산하여 합산 P(Y=b) = ∑_a P(X=a,Y=b) : X가 취할 수 있는 모든 값 a를 Y=b일때 계산하여 합산 + 예시 카드 16..