효자병원 신경과장/연세대 외래교수
Scene 1
2016년 11월 8일 아침, 드디어 미국의 대선 투표가 시작되고 있을 때 힐러리 클린턴은 참모들과 45대 미국 대통령직 수락 연설을 상의하고 있었습니다. 투표 결과는 지금 막 나오기 시작했지만 모든 주요 언론들은 이미 클린턴의 당선을 기정 사실화하고 있었습니다.
정책의 실종, 극심한 흑색선전 등으로 힐러리의 몸과 마음은 지쳐 있었지만 투표 결과가 나오면 이 모든 일들은 등 뒤로 사라지고 최초의 여성 대통령이 탄생할 것입니다. 힐러리에게는 투표 결과 보다는 새로운 미국에 대한 비전을 어떻게 제시하냐가 중요한 과제였습니다.
하지만 믿을 수 없는 일이 벌어지고 말았습니다. 선거 하루 전까지만 하더라도 대다수의 미국 언론들은 힐러리의 승리를 낙관하고 있었습니다. 미국 언론의 양대 산맥이라고 할 수 있는 뉴욕타임스와 CNN은 투표 직전까지 각각 힐러리의 당선 가능성을 85%, 91%라고 말하며 그녀의 당선을 의심하지 않았습니다.
미국의 11개 여론 조사 중에 트럼프의 당선을 예측한 곳은 2군데에 불과하였습니다. 1948년 트루만 대통령 이후 68년 만이라고 합니다. 믿을 수가 없지만 힐러리는 이제 퇴장을 종용당하는, 아니 자신의 연극에서 자기 의사와 관계없이 막이 내려오는 광경을 지켜보아야만 했습니다.
Scene 2
2012년 12월 9일 대한민국 대선 투표가 있었습니다. 오후 6시 드디어 투표가 종료되자마자 언론사들은 앞다투어 출구조사를 발표하였습니다. 당시 출구조사를 진행한 삼성연구소는 박근혜 49.6% 대 문재인 50.8%로 문재인 후보의 승리를 예측하고 있었습니다.
하지만 실제로는 박근혜 51.6% 문재인 48.0%로 박근혜 후보의 근소한 승리로 막을 내렸습니다. 대한민국 최초의 여성 대통령이 탄생하는 순간이었습니다.
Scene 3
구글의 CIO(Chief Information Officer)였던 더글러스 메릴은 어느 날 잘나가던 직장을 때려 치우고 대출에 도움을 줄 수 있는 Zest Finance라는 신용회사를 설립하였습니다. 이 회사는 신용도가 낮은 고객에게 돈을 빌려줄 수 있는지를 결정해 주는 회사입니다.
이미 기존의 거대 신용회사들이나 금융기관의 자체 신용평가 기관이 건재한 가운데 설립된 이 회사는 위태로워 보였지만, 그런 우려에도 불구하고 치열한 신용평가 시장에서 선도주자가 될 수 있었습니다.
정확하기로 이름 높은 미국 여론 조사 기관이 왜 45대 미국 대통령 당선자를 예측하지 못하였을까요? 일반적인 여론 조사와 달리 거의 틀리지 않는다고 하는 출구 조사에서 왜 한국의 여론조사 기관들은 18대 대통령 선거 결과를 못 맞추었을까요? 그 까다롭고 치열한 신용대출시장에서 신생 Zest Finance 가 허가한 대출자들은 왜 다른 신용기관이 허가한 대출자보다 대출자 연체율이 현저히(1/3 이하) 낮을까요?
여러 가지 요인이 있겠지만 이들 사례들은 결측치(missing value)를 어떻게 해석했느냐와 공통적인 관련성이 있어 보입니다. 미국 45대 대통령 선거의 경우 인종차별, 여성비하 등 막말하는 트럼프에 대한 지지를 선뜻 말하기 어려워하는 샤이 트럼프 층이 두텁게 존재하고 이들은 각종 여론조사에서 자기의 의견을 내지 않는 무응답층(즉 여론조사의 결측치)으로 남은 것입니다.
18대 대한민국 대통령선거 출구조사에서도 무응답층이 12.2%였으며 50-60 대 이상에서는 이 비율이 15% 이상 올라갔습니다. 경기도의 경우 무응답비율이 12.9% 였는데 이곳에서 문재인 후보가 19만표 차이로 이길 것으로 예상되었으나 결과는 박근혜 후보가 8만 6천표 앞서게 됩니다.
Zest Finance를 설립한 더글러스 메릴이 주목한 것은 은행이나 신용회사에서 사용하는 한정되고 전형적인 자료, 즉 상환연체기록 뿐 아니라 고객들의 다양한 데이터에 주목하였습니다.
놀라운 것은 각 개개인들의 데이터가 모두 기록된 것은 거의 없다는 사실이었습니다. 또한, 사소한 항목들이라고 생각되는 것들은 그냥 무시되어진다는 점입니다.
이런 결측치의 대표적 이유 중 하나는 본인 사망입니다. 그런데, 본인이 사망한 경우에도 대출상환에는 놀랍게도 문제가 없었습니다. 즉, 미국 사회는 죽어도 채무에서 벗어 날 수 없는(?) 사회이며 대출기관은 내일 지구가 없어져도 할 일은 하고 있는 것입니다.
Zest Finance는 이런 결측치를 버리는 대신, 이를 '재해석'함으로써, 이 회사의 연체대출율을 다른 회사보다 현저히 낮은 수준으로 유지할 수가 있는 것입니다.
사실, 결측치가 5%미만일 경우라면, 대부분 전체 데이터 구조에 큰 영향을 주지는 않습니다. 하지만 10%, 20%, 이렇게 결측치가 많아지면 이를 어떻게 해석해야할까 하는 고민이 생기게 됩니다. 트럼프를 지지하는 샤이 트럼프나, 박근혜를 지지하는 장년층이 결측치에 어떤 영향을 미칠 수가 있는 것이지요.
즉 결측치는 그야말로 수학적으로 무작위(missing completely at random)일 수도 있지만, 위의 경우처럼 대부분의 경우 무작위적이지 않을(missing not at random) 수가 있습니다. 따라서 결측치가 어느 수준 이상 관찰된다고 하면 그 결측치의 특성을 예상할 수 있는 보정방법이 매우 중요합니다.
예를 들어 전화 응답을 하지 않으려 한다면 여론조사기관에 최소한 간단한 정보라도 주고 전화를 끊으면 좋겠지요. 물론 이런 일은 현실에서는 가능하지 않습니다. 이제 유일하게 남아 있는 것은 아주 단순한, 개방된 데이터 파편 뿐입니다. 물론 이것도 매우 유용하게 써 먹을 수가 있습니다.
예를 들어 우리가 어떤 새로 나온 약물에 대해서 임상 연구를 한다고 합시다. 이 경우, 치매 치료제처럼 노인과 관계된 약물은 임상 연구 도중에 알 수 없는 이유로 중간에 탈락하는 사람들이 있습니다. 중간에 임상연구에서 떨어져 나가는 사람들은 대개 어떤 부작용이 나타나거나, 또는 이 약물에 기대하였던 효과가 없었기 때문입니다.
그런 관점에서 보면 왜 제약회사가 실제로는 고령의 노인에게 사용할 약물을, 좀 더 젊고 협조적인 건강한 노인을 대상으로 임상 실험하는지, 아울러, 왜 임상결과가 실제 시판 후 결과와 차이가 나는지 이해가 될 것입니다.
치매환자를 검사하기 위해서는 반드시 인지기능 검사라는 것을 시행하여야 합니다. 그런데 MRI와 같은 검사는 가만히 누워만 있으면 특별히 환자가 협조를 하지 않아도 일관된 결과를 보이는데 반해, 인지기능 검사는 환자가 그 검사에 집중하여 수행해야 하는 협조가 필요하기 때문에 검사자가 환자를 어르고 달래야 하는 경우가 비일비재합니다.
특히 치매 환자는 기억력과 같은 인지 기능장애 뿐 아니라 거의 대부분의 환자에서 망상, 환각, 공격성, 우울증, 무감동증, 불안, 이상행동장애, 수면장애 등 다양한 행동심리증상을 보입니다.
그리고 이러한 행동심리증상은 묻고 대답하면서 검사해야 하는 인지기능 검사에 영향을 미칠 수가 있는 것입니다. 예를 들어 심한 우울증이 동반된 치매 환자의 경우에는 어떤 질문에도 반응을 하지 않을 수도 있고 특정 항목에 대해서는 더 검사에 응하지 않을 수도 있습니다.
인지기능 검사는 여러가지를 고려하여 전반적인 인지기능검사의 수준을 제시합니다. 이것을 치매 환자의 인지단계(clinical dementia rating scale등)로 제시하기도 하고, 또 간단한 검사점수(예를 들어 Mini Mental State Examination 등)로 제시하기도 합니다.
그런데 치매환자의 인지기능 검사 결과를 볼때, 어떤 환자는 전반적인 인지기능 수준에 비하여(CDR 이나 MMSE 점수가 좋은데 반하여) 특정 인지기능 검사 항목에 대해서 검사에 응하지 않는 경우(결측치)를 자주 볼 수가 있습니다.
보통은 이런 데이터들의 경우, 이들 항목은 빼고 나머지 항목을 활용해 연구를 진행하게 됩니다. 하지만 과연 그런 방식의 연구가 진실을 반영할까요?
실제로 행동심리적 증상을 보이는 알츠하이머병 환자와, 이 증상이 보이지 않는 알츠하이머병 환자의 인지기능 비교 연구를 하였을 때, 행동심리적 증상을 보이는 알츠하이머병 환자가, 행동심리적 증상을 보이지 않는 알츠하이머병 환자에 비하여 훨씬 많은 결측치가 나타나는 것을 관찰할 수 있었습니다1.
그런데 이 결측치를 교정하지 않았을 때는 행동심리증상을 보이는 환자와 보이지 않는 환자 사이의 인지기능 차이가 적지만, 결측치를 교정하면, 안보이던 차이가 보이게 됩니다.
특히 결측치 보정 시, 인지기능검사 중 기억력과 같은 뇌의 측두엽 기능보다, 억제(inhibition), 감독체계(supervisory system), 오류 혹은 갈등의 감시(error or conflict monitoring), 계획 및 실행을 위한 정보유지(working memory) 등과 같은 뇌의 전두엽기능이 손상되어 있는 것을 발견할 수가 있습니다.
다시 말하자면, 치매환자에서 행동심리증상이 특정 인지기능과 연관이 없다고 한 이전 연구들은 환자가 검사에 응하지 않아서 생기는 결측치를 고려하지 않았기 때문에 나오는 오류일 가능성이 매우 높습니다. 특히 망상, 우울중, 무감동증, 이상행동장애등을 동반하는 치매환자는 통계적으로 유의하게 인지기능검사에서 결측치가 많습니다.
이 연구가 보여주는 것은 보여주는 것만 보아서는 진실을 다 볼 수 없다는 것입니다. 특히 치매환자들은 많은 시간 검사자와 원활한 협조가 필요한 인지기능검사에서 제대로 그 검사를 수행할 수 없는 경우가 많기 때문입니다.
이것은 환자가 그 검사를 잘하던 못하던 검사를 끝까지 해서 정확하게 환자의 기능을 평가할 수 있어야 하는데 그러지 못하는 경우가 많다는 것입니다. 따라서 평가자는 끈기있게 환자를 지켜보아야 하며, 환자가 사소하게 흘리고 가는 것도 중요한 단서가 될 수가 있기 때문에 집중해야 합니다.
비록 환자가 검사 중에 길을 잃었다고 해서, 그 길이 사라진 것은 아닙니다. 환자가 잃어버린 그 길이 중요한 단서가 될 수도 있습니다. 여러분이 젊은 날 잃어버리고 방황했던 길이 지금 당신을 이 자리에 있게 했듯이 말입니다.
Reference
1. Kwak YT, Yang Y, Park SG. Missing data analysis in drug-naive Alzheimer's disease with behavioral and psychological symptoms. Yonsei Med J 2013;54:825-31.
