[카테고리:] Thinking

최근에는 뇌의 작동 원리에 대한 책을 많이 읽고 있다. 인공 신경망의 연구자로서 실 세계에서 일어나는 뇌 활동과 컴퓨터 속에서 시뮬레이션 되는 인공 신경망의 활동이 유사하다는 것에 놀랄 때가 많다. 학습과 예측, 그리고 결과 되먹임이 뇌에서 일어나는 대부분의 일이며, 이는 인공 신경망 구조에서도 동일하다. 최근 나의 몇 가지 발견 중 인상 깊은 것을 기록한다.

놀람은 예측의 실패이다. 예측의 실패는 인공 신경망에서는 Loss 가 높다고 표현된다. 뇌는 예측(Prediction) 기계이다. 가능하면 많은 행동과 추론을 거의 기계적으로 이루어지는 예측에 의존한다. 뇌는 예측을 신속하게 하도록 진화했다. 예측은 사전 확률과 수집 된 데이터 샘플로 이루어진다. 여기서의 데이터 샘플이란 우리의 감각 기관에서 들어오는 다양한 형태의 데이터이다. 데이터 샘플이 사전 확률 분포, 즉 예측에서 벗어날 경우 뇌는 끊임없이 사전 확률을 업데이트 한다. 사전 확률을 얼마나 업데이트 할지, 어느 주기로 업데이트 할지 등이 사람마다 다르다.

전례 없던 경험을 하면 새롭게 예측을 해야 한다. 모든 감각 기관에서 들어오는 정보들을 최대한 받아들이고, 새롭게 분석을 하며 어떤 예측 모델을 써야 할지 결정해야 한다. 내 행동이 어떤 반응을 불러 일으키는지 세심히 관찰해야 한다. 이 경우 뇌는 신체를 ‘긴장’ 시킨다. 감각 기관을 예민하게 하고, 안정적인 환경에서 주로 수행하던 언어 처리 기능을 약화 시킨다. 사람이 많은 군중 앞에서 드문 발표 기회를 얻었을 때의 신체 반응을 생각해보라.

예측이 실패하려면 끊임없이 새로운 환경에 노출되어야 한다. 늘 같은 것을 먹고, 같은 행동을 한다면 예측이 실패할 일이 별로 없다. 이 경우 점점 더 예측 의존성이 높아지며 우리가 완고하다, 고집이 세다라고 부르는 성격 특징이 나타난다. 세상을 몇 가지 확신으로 설명하려 시도 한다. 나이가 들면 들 수록 이러한 현상이 더 강해지는 것을 흔히 볼 수 있다. 뇌는 최소한의 에너지만 쓰게 된다. 뇌의 기능이 약화되었기 때문에 결과적으로 이런 현상이 나타날지도 모른다. 결국 확신 몇 가지로 인생을 살아가게 된다.

반면 어린이는 예측이나 확신에 많이 의존하지 않으며 고도로 민감한 감각에 의존한다. 자극과 수용된 감각이 훨씬 많으므로 뇌에서는 지속적인 사전 확률 수정이 일어나며 세계에 대한 새로운 상(Model)이 형성된다. 인공 신경망에서 Learning Rate 라고 불리는 수치가 굉장히 높다. 그들에게는 예측의 정확도를 높이는 것 보다는 정확도는 낮지만 예측을 할 수 있게 만드는 기능을 구성하는 것이 훨씬 시급한 일이다. 바스락 거리는 네 발 달린 커다란 동물을 근처에서 느꼈을 때, 사자와 호랑이를 구분하는 것이 중요한 것이 아니라 사자나 호랑이 비슷한 것이라도 나타나면 도망가야 한다는 사실을 먼저 배우는 것이 중요한 것이다.

예측의 정확도는 객관적인 세상의 사실과 부합하느냐로 평가하는 것이 아니다. 가능하면 나의 생존에 유리하도록 판단하는 것이 예측의 목적이다. (Objective Function) 이 과정에서 객관적 현실과의 괴리가 발생하기도 하며, 감각을 다르게 왜곡하여 해석하기도 한다. 뇌는 세상의 진실에는 관심이 없다. 유명한 ‘사람은 그들이 믿고 싶은 것을 믿는다.’라는 말을 다시 해석해보면 ‘사람은 자신의 뇌에 생성된 확신에 부합하는 형태로 감각을 해석하는 경향이 있다.’로 말할 수 있다. 우리는 에너지의 30% 이상을 뇌의 활동에 쓴다. 이러한 뇌의 목적이 진리 탐구나, 세상에 대한 이해의 폭을 넓히는데 있다고 생각하면 순진한 것이다. 뇌도 마찬가지로 개체의 생존을 위해 존재한다.

한마디로 표현하면, 뇌는 적응적인 예측 기계이다. 뇌가 기계와 다른 점은 끊임 없이 수정되는 예측 모델이 존재한다는 점이다. 뇌는 세상을 보는 눈이 없고, 만질 수 있는 감각이 없다. 뇌는 오직 생리학적인 신호로 외부와 소통한다. 생명이 탄생한 이래 극도로 제한적인 정보만을 취하며 살아 남았다. 예측이 틀렸을 때의 유연한 업데이트, 모든 자극을 취합해 순식간에 결론을 내리는 고도의 병렬 프로세싱, 감각과 예측 사이의 가중치 벨런싱, 언어와 시각, 청각 모두에 예민한 멀티모달리티 등은 인간의 뇌, 인공 신경망 모델 양쪽을 서술하는 말이다.

따라서 인공 신경망에서도 어느 순간 우리가 인격의 특징이라고 여기는 의지와 감정이 창발 되리라. 이와 함께 인간 사회도 그 생존을 위해 전혀 다른 방향으로 진화할 것이다.

“앞으로 얻을 것은 무엇이고 잃을 것은 무엇일까?”

40살이 넘은 지금에 와서 문득 드는 생각이다. 몇 년 전까지는 앞으로 무엇을 더 얻을 수 있을지, 가질 수 있을지 생각하고 노력했다. 하지만 최근에는 내가 아무리 노력해도 가질 수 없는 것이 있다는 생각이다. 아니, 아무리 노력해도 잃을 수 밖에 없는 것이 있다. 그래, 나는 확실히 내리막 길이고 앞으로 시간이 지남에 따라 더 많은 것을 잃어갈 것이다.

예를 들면, 내 생명과 건강은 이제 내가 아무리 노력한다고 한들 점점 잃게 될 것이다. 친구들과의 관계도 지속적으로 잃어왔고, 앞으로도 그럴 가능성이 크다. 내가 아는 친척, 가족들도 그들의 소멸과 함께 관계는 끊어진다. 지금까지 내가 가진 물건들, 영원하지 않다. 몇 달 전에 큰 마음을 먹고 구입한 “Luxury Sedan”은 점점 녹이 슬고 헐거워지며 광택을 잃을 것이다.

반면에 얻을 수 있는 것은 무엇일까? 건강과 에너지는 잃을 수 있지만, 무엇을 새로 배울 수 있다면 그건 또 나름대로 얻는 것이다. 예를 들면 요즘 빠져있는 스키 같은 것이 그렇다. 열심히 웨이트 트레이닝을 하면 지방을 잃지만 근육을 얻을 것이다. 또 영어 공부를 열심히 하면 조금 더 괜찮은 실력을 가지게 될지 모른다. 가족과의 추억은 내가 소멸하거나 치매에 걸리지 않는한 영원할 것이다.

내가 자유 의지로 자유롭게 걸어다닐 수 있는 35년의 남은 시간 동안, 나는 무엇을 더 얻기 위해 노력할 것인가. 너무도 갑자기 잃어가는 것이 많아져 당황스러웠지만, 시간이 가면 바스러지는 모래성을 짓기는 않기로 한다. 나의 삶과 영원히 같이 할 것을 위해 시간과 돈을 쓰자. 세월의 풍파에도 바래지 않는 것을 찾아 나서자.