세상에서 가장 중요한 곡선, S자 곡선

세상에서 가장 중요한 곡선, S자 곡선

<마스터 알고리즘>, 페드로 도밍고스

신경세포는 주변과 관련하여 단 두 가지 상태 중 하나에 있을 수 있다. 즉 발화하거나 발화하지 않는다. 그런데 이런 식으로만 생각하면 미묘하지만 중요한 사실을 놓치고 만다. 활동 전위는 유지 시간이 짧다. 뾰족한 모양의 전압 파형voltage spike은 1초의 몇 분의 1 정도의 짧은 시간 동안 유지되며 곧 휴식 상태로 되돌아간다. 하나의 뾰족한 전압 파형은 수신 신경세포에 영향을 거의 주지 못한다. 수신 신경세포를 깨우려면 뾰족한 전압 파형 여러 개가 가깝게 붙어서 연이어 도달해야 한다. 일반적인 신경세포는 자극이 없을 때 가끔 뾰족한 전압 파형을 내보내다가 자극이 쌓이면 더욱더 자주 뾰족한 전압 파형을 발생시키고, 발휘할 수 있는 최대의 속도에 도달하면 자극을 더 주어도 파형의 발생 속도는 더 이상 빨라지지 않는다.

신경세포는 논리 회로보다는 전압 주파수 변환기와 더 비슷하다. 전압에 따른 주파수의 곡선은 다음의 그림과 같다.
 
​

 
S자를 옆으로 길게 늘인 것같이 보이는 이 곡선은 다양한 이름으로 알려졌는데 지수함수, 시그모이드 곡선 혹은 S자 곡선이라 부른다. 세상에서 가장 중요한 곡선이므로 꼼꼼히 살펴보기를 권한다. 처음에는 입력이 커지면 출력이 천천히 증가하는데 아주 천천히 증가하여 일정한 값을 유지하는 것으로 보인다. 그러다가 더 빠르게 변하기 시작하고 매우 빠르게 변하다가 점차 더 천천히 변하여 다시 일정한 값이 된다. 트랜지스터의 입력과 출력 사이의 관계를 나타내는 전달 곡선도 S자 곡선이다. 컴퓨터와 두뇌의 많은 부분에 이런 S자 곡선이 적용된다. 물론 S자 곡선은 거기서 끝나지 않는다. S자 곡선은 모든 종류의 상태 전이phase transition를 나타내는 곡선이다. 가해진 자기장에 따른 전자 스핀 변화의 확률함수와 철의 자석화, 하드디스크에 정보를 쓰는 동작, 세포에서 이온 채널의 열림, 얼음의 액화, 물의 기화, 초기 우주의 급속한 팽창, 진화론의 단속평형설, 과학에서 일어나는 패러다임 전환, 신기술 확산, 다인종 이웃에서 벗어나려는 백인들의 교외 이주, 소문, 유행병, 혁명, 제국의 쇠퇴 등 아주 많은 예가 있다. 급격한 변화 시점인 티핑 포인트도 똑같이 S자 곡선이라고 부를 수 있다. 지진은 이웃한 지질구조판 두 개의 상대적인 위치에서 나타난 상태 전이다. 한밤에 집에서 들리는 ‘딱’ 소리는 벽 속의 구조판이 미세하게 위치를 바꾸며 나는 소리일 뿐이니 겁먹을 필요 없다. 슘페터는 경제는 하강과 상승을 하며 발전한다고 말했다. S자 곡선은 창조적 파괴를 나타낸다. 재정 이득과 손실이 당신의 행복에 미치는 영향은 S자 곡선을 따르는 터, 엄청나게 큰 건에는 진땀 빼지 마라.

헤밍웨이의 소설 《태양은 다시 떠오른다》에서 마이크 켐벨은 어떻게 파산했느냐는 질문에 간단히 대답한다. “두 가지 상황이 있었다. 서서히 그러다가 갑자기 파산했다.” 리먼브라더스의 파산도 같은 식으로 말할 수 있다. 이런 방식이 S자 곡선의 본질이다. 미래학자 폴 사포Paul Saffo는 S자 곡선 찾기로 미래를 예측한다. 당신이 샤워기 물의 온도를 딱 맞추지 못할 때, 즉 처음에는 너무 차갑다가 너무 뜨겁게 바뀔 때는 S자 곡선을 탓하라. 팝콘을 튀길 때 S자 곡선을 따르는 과정을 살펴보자. 처음에는 아무 일도 일어나지 않다가 옥수수 알갱이 몇 개가 터지다 더 많이 터지고 갑자기 폭죽이 터지듯 전부 터진다. 그러다 몇 개가 더 터지고 드디어 먹을 준비가 된다. 당신 근육의 모든 움직임도 S자 곡선을 따른다. 천천히 그러다가 빨리, 다시 천천히 움직인다. 만화영화도 디즈니의 만화영화 제작자들이 근육의 움직임을 알고 따라 하기 시작하면서 새로운 자연스러움을 얻었다. 한 물체에 고정되었다가 의식과 함께 다른 물체로 이동하는 우리의 눈도 S자 곡선을 따른다. 기분이 바뀌는 것도 상태 전이다. 탄생과 사춘기, 사랑에 빠지는 일, 결혼하기, 임신하기, 일자리 얻기, 실직, 새로운 곳으로 이사하기, 승진, 은퇴, 죽음도 상태 전이다. 우주에서 현미경의 세계로, 그리고 일상적인 일에서 인생을 바꾸는 일로 변하는 세상은 상태 전이가 펼쳐지는 광대한 교향곡이다.
S자 곡선은 효과 있는 모형으로서 단지 중요한 것이 아니다. 이것은 또한 수학에서 팔방미인이다. S자 곡선의 중간 부분을 확대해 보면 직선에 가깝다. 우리가 선형적이라고 생각하는 많은 현상이 사실은 S자 곡선이다. 어떤 것도 무한으로 커질 수 없기 때문이다. 상대성 때문에 그리고 뉴턴 법칙에 반하여 가속도는 힘에 따라 선형적으로 증가하지 않고 원점을 지나는 S자 곡선을 따른다. 전자 회로나 필라멘트가 녹을 때까지 전구의 저항에 흐르는 전류도 전압에 따라 크기가 정해지지만 역시 S자 곡선을 따른다(필라멘트가 녹는 현상도 또 다른 상태 전이다). S자 곡선을 축소해 보면 계단함수와 비슷하여 입력의 한계값에서 출력이 갑자기 0에서 1로 바뀐다. 그래서 입력 전압 범위를 바꾼 S자 곡선은 디지털 컴퓨터와 증폭기, 라디오 동조기 등 모든 아날로그 장치에 사용되는 트랜지스터의 동작을 나타낸다. S자 곡선은 초기 부분에서 사실상 지수함수이고 후기의 포화 상태 시점에서는 지수함수적으로 감소하는 것에 가깝다.

누군가 지수함수적인 성장을 말한다면 당신 자신에게 이렇게 물어보라. 얼마나 빨리 이 성장이 S자 곡선을 따를 것인가? 인구 폭발은 언제 점차 작아질 것인가? 무어의 법칙(반도체 칩 하나에 들어가는 트랜지스터의 수가 18개월마다 두 배로 증가한다. — 옮긴이)은 언제 김이 빠질 것인가, 혹은 언제 더 이상 두 배로 증가하는 특이점이 일어나지 않는가? S자 곡선을 미분하면 종 모양의 곡선이 된다. 천천히, 빠르게, 천천히 변하는 S자 곡선의 미분은 낮고, 높고, 낮은 값이다. 위로 향하는 S자 곡선 다음에 아래로 향하는 S자 곡선을 시차를 두고 연결하면 정현파sine wave에 가까운 곡선을 얻는다. 사실 모든 함수는 S자 곡선의 합으로 상당히 가깝게 근사화할 수 있다. 함수가 증가하면 S자 곡선을 더하고 함수가 감소하면 S자 곡선을 뺀다. 어린이의 학습은 꾸준히 개선하는 것이 아니라 S자 곡선이 이어진 모양으로 나아진다. 기술 변화도 마찬가지다. 눈을 가늘게 뜨고 뉴욕의 스카이라인을 보면 S자 곡선이 연결되어 지평선을 따라 펼쳐져 있다. 물론 자세히 보면 날카로운 부분이 보이겠지만 그것은 고층 빌딩의 날카로운 모서리일 뿐이다.

우리에게 가장 중요한 점은 S자 곡선이 신뢰 할당 문제에 새로운 해결책을 제시한다는 것이다. 세상이 상태 전이의 교향곡이라면 S자 곡선으로 세상의 모형을 만들어 보자. 그것이 우리 두뇌가 하는 일이다. 두뇌는 내부의 상태 전이 시스템을 외부 상태 전이 시스템에 맞춘다.



----------------------
Quote.
"How did you go bankrupt?"
"Two ways. Gradually, then suddenly."
- Ernest Hemingway, The Sun Also Rises