딥러닝이 제일 열등한 모델인데 몰랐어? (2)

1687

딥러닝이 제일 열등한 모델인데 몰랐어? 라는 글을 올리고 난 다음에 온갖 종류의 불평 불만을 다 받았는데, 주니어들이 시니어가 멍청하면 같이 일 하기 싫어한다는 사실이 너무너무 명백하게 드러나는 글들이 많아 아예 시리즈 글로 좀 만들어야겠다는 생각을 했다.

이런 정보가 널리 퍼져서 제대로 된 지식이 공유, 발전되는 시대가 하루라도 빨리 오면 좋겠다.

파비클래스 수업을 듣고 가신 어느 엔지니어의 질문이다

“딥러닝 모델 사용의 단점을 (파비블로그 이해 못하는) 회사 사람들한테 설명하고 싶습니다”


저는 XXX 특정 공정을 담당하는 엔지니어인데,

유관부서에서 저희 공정에 대한 예측 모델을 딥러닝으로 만드는 프로젝트가 한창입니다.

저희 공정에 대한 데이터가 크게 X단계로 쌓입니다.

그런데 그 부서에서 가져온 내용은
‘1번 데이터를 딥러닝을 써서 2를 예측하고, 예측된 2를 이용해 3을 예측한뒤 3을 이용해서 4를 예측하는…’

수업을 듣고난 후의 짧은 지식을 가진 제가 봐도 굉장히 엉뚱한 모양새인데…
2와 3번 데이터는 어떻게 생각하면 중복되는 영역도 많고 각 단계별 노이즈가 많은데
이런 모델을 가지고서 프로젝트를 하는지 잘 이해가 안갔습니다.

저희끼리는 간략하게
‘1번 데이터를 통해 3번을 항목별로 regression해서 각 항목에 대한 예측까지가 한계일것이다’
라고 생각을 했습니다. (짧은 의견이니 참고만 부탁드립니다.)

그런데 관리자들은 딥러닝을 이용한 그 부서쪽 모델을 채택해서 프로젝트를 진행중이고…
시일은 상당히 소요되는데 가시화된 성과가 확인되진 않습니다.

내부적인 설득을 진행해서 regression 모델을 진행하고 싶은데
딥러닝 모델에서의 단점을 (Noise 증가 등) 수식적으로 증명해주고싶습니다.
파비 클래스에 올려주신 글들을 보여주고도 싶지만
내용을 이해할만한 배경지식이 없는분들입니다.

딥러닝의 부작용(side effect)에 대해 모르는 사람에게 설명해서
원하는 방향으로 설득하고싶은데..
지식이 부족해서 말빨(?)이 안먹히는 것 같습니다.


 

잘못된 점을 이해하고 있으신데, 정작 회사에는 설명을 못하고 있는 상황, 그런데 회사가 엉망으로 가는게 못마땅한 그런 상황인 것 같다.

직원 분이 참 착하네ㅋㅋ 보통은 내 일 아니라고 생각하고 무시할텐데ㅋ

답변을 드렸다.


일단 수학 수업 때 말씀드린대로 입력 데이터에 랜덤 Noise가 있으면 계수는 attenuation bias를 갖게 됩니다.

NN은 feed forwarding에서 한번, back propagation에서 다시 한번, 그렇게 2번 bias가 계산되고, 증폭되는데,

NN에 batch size = N의 샘플 데이터를 계속 추가하실테니 bias가 계속 축적되겠죠.

즉, 랜덤 Noise를 제대로 제거하지 못하면 NN을 길게 돌릴수록 모델 결과값은 엉망이 됩니다.

 

2단계에서 쓰신다는 계측 데이터에서부터 이미 랜덤 오차는 계속 있을텐데, 그런 보정없이 무작정 NN을 돌리고 있으면 Garbage In Garbage Out 이 나오겠구나 싶습니다.

 

더불어, 1->2->3->4 스텝간 예측한 데이터를 기반으로 다시 작업하는 과정을 반복하시면 예측 데이터 자체가 정확하지 않은, 즉 랜덤 오차를 갖고 있으니

똑같은 맥락에서 attenuation bias를 갖고 있고, NN으로 계산하고 있으면 bias가 계속 축적될 겁니다.

 

위의 Measurement error 이외에 어떤 문제가 있는지를 알려면 일단 공정 자체를 제가 명확하게 이해해야 될 것 같습니다.

저도 XXX 생산 라인 자체에는 까막눈이라 좀 더 자세히 설명해주시질 않으면 합리적인 통계학 테크닉 이야기를 드리기 어렵겠네요.


 

안타까울 뿐이다. 아마 저 회사도 “반드시 딥러닝을 써야” 되는 정부 프로젝트를 진행 중일 확률이 높다. “딥러닝”을 쓰지 않으면 인공지능 프로젝트가 아니라고 생각하는 정부 관계자에게 승인을 받아야하기 때문에, 반드시 “딥러닝”으로 모델을 만들어야된다는 사실을 모르고 필자에게 메일을 주셨으리라 짐작된다.

필자와 배경지식이 비슷한 분들에게는 너무도 당연하게 고려해줘야하는 Measurement error가 실험실 데이터만 다루는 곳에서는 대부분 관심사가 아니어서 아예 공부를 안 하는건 알고 있는데, 저러니까 더더욱 Neural Net이 맹목적으로 좋은 줄만 아는구나 싶었다. 참고로 영미권의 괜찮은 학교 기준 경제학과 학부 졸업반이 배우는 수업에 Measurement error를 해결하는 부분을 1시간 정도 쓱~ 훑고 지나간다. 유학 당시 봤었던 학부 수업 링크 건다.

Neural Network는 만능이니까 알아서 Measurement error 같은 이상한것도 쓱싹쓱싹 제거해주는거 아니에요?

라고 하던데, Neural network 계산이 Regression 수십개를 묶은거라는걸 알면 저렇게 황당한 질문을 할 수 있을까?

Neural Network 마니악들, AI 마니악들이 싹 시장에서 사라져야되는 이유 중 하나를 본 것 같다.

우리나라에서 행시치고 공무원되는 분들이 영미권처럼 경제학 학부 졸업반에 저정도 지식을 배우고 나갔으면 훨씬 더 쉽게 설명이 될텐데, 정부 출연 연구소에 있는 박사 친구들의 한숨쉬는 소리들 생각해보면, 어쩌면 공학 카르텔을 욕할게 아니라 그 전에 행시 시스템에 진입하는 한국 교육/인재 선발 방식 전반을 먼저 지적해야하는게 아닌가 싶다. 모든 걸 다 떠나서 한국 지식인 사회의 수학 실력 자체가 굉장히 뒤떨어지는게 원인이기는 하겠지만…

번외