최근 연재가 늦어지고 있는 이유
안녕하세요 :)
이상한 옴니버스입니다 :D
최근 보름 정도 연재가 늦어지고 있습니다.
다음 주부터는 정상적으로 연재가 이뤄집니다.
왜냐하면..
'정말 제대로 된' 사이코패스 테스트를 만들고 있었습니다!
아주 오래전부터 한 번 제대로 만들어봐야겠다는 생각을, 몇 달 전부터는 실제 구상 및 설계와 더불어 틈틈이 제작을, 그리고 최근엔 막바지 작업 중에 있습니다.
'일반인'이 이용할 수 있는 '자기 보고식 테스트' 중에서는 최고라고 자신합니다.
아마, 인터넷에서 사이코패스 테스트를 한 번쯤 해보셨거나 지나가며 본 적이 있을 겁니다.
모든 인터넷 사이코패스 테스트가 이런 식입니다.
"장례식장에서 멋진.."
"당신은 거짓말을 자주 하는가", "평소 죄책감을 잘 느끼지 않는가", "쉽게 지루해하는가", "충동적인 편인가"
이런 자기 반성식(?) 질문에 대해 답을 하면 가산점 형식으로 점수가 합산돼 결과가 나옵니다. 18점, 27점, 34점. 그리고 숫자 옆에는 흔히 이런 문장이 붙습니다.
‘사이코패스 성향이 높네요’
국내에서는 한국판 PCL-R(Psychopathy Checklist-Revised, 헤어 정신병질 체크리스트 개정판)이 형사사법/교정 및 관련 법 심리 연구에서 활용돼 왔습니다.
한국판 표준화는 2008년에 이뤄졌고, 이후 국내 연구와 형사사법 현장에서 계속 활용되고 있습니다.
여기서 psychopathy는, 보통 한국어로 '사이코패시' 또는 '정신병질적 성향' 정도로 옮길 수 있겠습니다.
PCL-R은 20개의 평가 항목으로 구성됐고, 각 항목을 0점/1점/2점으로 평정합니다.
여기서 '평정'이라는 말이 중요합니다.
평정은 피검자가 자기 자신에게 점수를 매긴다는 뜻이 아니라, 훈련된 평가자가 정해진 기준에 따라 판단해 점수를 부여한다는 뜻입니다.
겉모습만 보면 인터넷 테스트와 비슷해 보일 수도 있겠습니다.
20개 항목. 0점, 1점, 2점. 총점 계산.
허나, 분명 중요한 차이가 있습니다.
PCL-R은 피평가자가 20개의 질문을 읽고 자기 자신에게 점수를 매기는 자기 보고식 설문지가 아닙니다.
공식 출판사 Pearson의 안내에 따르면 표준적인 PCL-R 시행에는 약 90-120분의 면담과 별도로 약 60분의 collateral information review, 즉 면담 외 기록과 부가 정보를 검토하는 과정이 포함됩니다.
규준規準 역시 일반 인터넷 유저를 기준으로 만들어진 것이 아니라 범죄자 및 forensic population, 즉 형사사법/법심리적 맥락에서 평가되는 집단을 중심으로 마련됐습니다.
국내 한국판 PCL-R에서의 가이드 지침도 비슷합니다.
반구조화 면담/범죄 관련 기록/기타 이용 가능한 기록과 부가 정보를 함께 검토하도록 돼 있고, 실시 시간은 약 1시간 30분-2시간으로 안내됩니다.
쉽게 정리하자면..
인터넷 자가 테스트에서는, '나는 거짓말을 자주 한다고 생각한다' -> 매우 그렇다 -> +2점
이런 식으로 진행이 이뤄지죠.
반면 PCL-R에서는 평가자가 단순히 '거짓말을 자주 합니까?'라고 물어보고 그 대답을 그대로 믿어 2점을 주는 것이 아닙니다.
피평가자가 자신을 어떻게 설명하는지, 실제 생활사와 행동 기록은 어떠했는지, 범죄 기록이나 기타 자료와 그 설명이 얼마나 일치하는지 등을 함께 살펴본 뒤 매뉴얼의 기준에 따라 평가합니다.
바로 이것이 같은 20개 항목과 같은 0/1/2라는 숫자를 사용한다고 해서 같은 검사가 되지 않는 이유입니다.
누가 답하는가, 누가 평가하는가, 어떤 정보를 사용하는가, 어떤 사람들을 기준으로 검사 결과를 해석하는가가 달라지면 측정 자체도 달라집니다.
그렇다면, 학계에서 검증된 검사를 골라 인터넷 테스트로 만들면 되는 걸까요?
그렇지가 않습니다.
왜냐하면..
PCL-R이 사이코패시 연구에서 매우 중요한 도구라는 사실과, PCL-R 하나가 사이코패시라는 개념의 최종 정답이라는 것은 같은 말이 아니기 때문입니다.
현대 사이코패시 개념의 역사에서는 정신과 의사 Hervey Cleckley(허비 클레클리)의 임상적 관찰이 중요한 출발점 가운데 하나였습니다.
이후 심리학자 Robert Hare(로버트 헤어)와 동료들의 PCL 및 PCL-R 연구가 등장하면서, 사이코패시라는 추상적인 임상 개념을 실제 연구와 평가에서 보다 일관되게 다룰 수 있는 기준으로 구체화하기 시작합니다.
학술적으로는 이런 과정을 operationalization, 조작화라고 합니다.
쉽게 말하면, '사이코패시란 이런 것이다'라는 추상적인 개념을 '그렇다면 실제로 무엇을 관찰하고, 어떤 기준으로 측정할 것인가?'라는 측정 가능한 형태로 바꾸는 과정이죠.
Hare와 Neumann의 2008년 대표적 리뷰 역시 현대 사이코패시 연구가 Cleckley의 임상적 전통과 PCL-R을 중심으로 발전한 경험적 측정 전통의 영향을 크게 받았다고 설명합니다. 동시에 사이코패시 개념은 구조/성격/유전/발달/신경생물학적 연구가 축적되면서 계속 검토되고 변화해왔습니다.
말인즉슨, PCL-R의 등장으로 기존의 모든 논쟁이 끝난 게 아니라는 것입니다.
오히려, 그때부터 더 정교한 논쟁이 시작됐습니다.
사이코패시를 대체 몇 가지 성향으로 봐야 할까요?
예를 들어 PCL-R 안에서도 대인 관계적 특성, 정서적 특성, 생활양식, 반사회적 행동을 사이코패시라는 개념 안에서 어떻게 구조화할 것인지에 대한 연구가 계속됐습니다.
여기서 말하는 요인(factor)은 여러 문항이나 행동 특성이 서로 함께 움직이면서 나타나는, 보다 큰 잠재적 성향 축 정도로 이해하시면 됩니다.
특히, 오랫동안 논쟁이 된 것은 반사회적 행동 자체를 사이코패시의 핵심 구성요소로 볼 것인가 하는 문제였습니다.
범죄나 반사회적 행동이 사이코패시와 강하게 관련되어 있다는 것과, 그것 자체가 사이코패시라는 성격 구조의 핵심인가 하는 것은 서로 다른 질문이기 때문입니다.
흥미로운 점은, 해당 논쟁이 아주 옛날 이야기만은 아니라는 것입니다.
2025년 국내 연구에서는 전국 38개 교정시설의 수형자 1,092명을 대상으로 PCL-R의 3요인/4요인 구조에서 확장한 14개의 통계 모형을 비교했습니다.
해당 국내 수형자 표본에서는 반사회성 요인을 제외한 3요인 계열이 여러 분석 모형에서 더 적절한 결과를 보였습니다.
물론 이것을 곧바로, '이제 PCL-R은 무조건 3요인이 정답'이라고 일반화할 수는 없습니다. 이 연구가 보여준 결과는 해당 국내 수형자 표본과 분석 조건에서의 결과이기 때문입니다.
허나, 적어도 한 가지는 분명합니다.
2025년에도 '사이코패시를 정확히 어떤 구조로 볼 것인가'라는 문제는 계속 연구됐다는 것입니다.
그렇다면, 모든 자기 보고식 검사는 전부 엉터리일까요?
그것도 아닙니다.
PCL-R이 전문가 평정 도구라고 해서 일반인이 자신의 성향에 대해 직접 답하는 self-report, 즉 자기 보고식 검사 자체가 잘못된 것은 아닙니다.
학계에서는 오래전부터 일반인이나 비수용자 집단에서 사이코패시 관련 성향을 연구하기 위한 별도의 자기보고 척도들을 개발해 왔습니다.
1995년 Levenson, Kiehl, Fitzpatrick은 대학생 487명을 대상으로 LSRP(Levenson Self-Report Psychopathy Scale, 레벤슨 자기 보고식 사이코패시 척도)를 개발했습니다.
전문가가 범죄 기록과 면담을 바탕으로 평가하는 PCL-R과 달리, 처음부터 일반 집단의 자기 보고를 목적으로 설계된 척도였죠.
1996년에는 Lilienfeld와 Andrews가 PPI(Psychopathic Personality Inventory, 사이코패시 성격목록)를 개발했습니다.
이 역시 비범죄 일반 집단에서 psychopathic personality traits, 즉 사이코패시와 관련된 성격특성을 자기 보고식으로 측정하기 위해 처음부터 별도로 개발된 검사였고요.
말인즉슨 이렇습니다.
자기 보고식 검사 자체가 잘못된 것이 아닙니다.
문제는, 전문가가 면담과 기록을 이용해 평가하도록 설계된 도구를 가져와 문항만 자기 보고식 체크리스트로 이른바 택갈이를 하는 것이죠.
전문가 평정 검사와 자기 보고검사는 측정 방식 자체가 다르기 때문에, 자기 보고를 하려면 자기 보고에 맞는 별도의 개발과 검증이 필요합니다.
사이코패시를 총점제 하나로만 설명하기 어려운 이유도 있습니다
2009년 Patrick, Fowles, Krueger는 Triarchic Model, 삼원 사이코패시 모형을 제안했습니다. 이 모델에서는 사이코패시와 관련된 특성을 크게 세 가지로 나눠 봅니다.
Disinhibition(탈억제)은 충동을 조절하거나 행동을 억제하는 데 어려움을 보이는 성향입니다.
Boldness(대담성)는 위협에 덜 민감하고, 사회적 상황에서 자신감이 높고, 위험을 감수하는 성향과 관련됩니다.
Meanness(냉혹성)는 타인의 이해나 고통을 덜 고려하면서 자기 목적을 추구하는 냉담하고 공격적인 성향과 관련됩니다.
세 가지는 서로 관련될 수 있어도 같은 것은 아닙니다.
이렇게 생각해 봅시다.
겁이 적은 사람과 타인에게 냉혹한 사람은 반드시 같은 사람일까요?
충동적인 사람은 반드시 사회적으로 대담한 사람일까요?
냉혹하지만 매우 계획적인 사람과, 충동적이지만 타인에게 특별히 냉혹하지 않은 사람을 같은 사이코패스 점수 하나로 표현하는 것이 옳은 걸까요?
실지로 여러 기존 사이코패시 측정 도구가 삼원 모형의 세 특성을 어느 정도 포착하는지 비교하면 각 도구가 강조하는 부분에도 차이가 나타납니다.
즉 하나의 총점이 편리하기는 하지만, 그 총점 뒤에 서로 다른 성향의 조합이 숨어 있을 수 있다는 겁니다.
또 중요한 연구 흐름 가운데 하나가 있으니, 바로 CAPP(Comprehensive Assessment of Psychopathic Personality, 사이코패시 성격 종합 평가)입니다.
CAPP는 기존 검사 하나의 총점 체계를 그대로 재배열하는 방식보다는, '사이코패시라는 성격 개념을 구성하는 특성 자체를 먼저 체계적으로 정리해 보자'라는 접근에 가깝습니다.
CAPP에서는 사이코패시를 33개의 symptom(세부적인 특성 기술)과 6개의 상위 domain(성격 영역)으로 구성한 concept map(개념지도)으로 정리했습니다.
2012년에는 국제 정신 건강 전문가 132명을 대상으로 각각의 특성이 실제 사이코패시라는 개념을 얼마나 잘 대표하는지 평가하는 content validation(내용타당도 검토) 이뤄졌고, 대부분의 CAPP 특성이 사이코패시를 잘 대표하는 것으로 평가됐습니다.
이후 CAPP를 자기 보고식으로 바꾼 CAPP-SR(Self-Report, 자기 보고형 CAPP)도 개발됐습니다.
여기에는 99개 문항이 사용됩니다.
헌데, 이것도 개발 완료가 끝이 아니었습니다.
2025년에 정식 게재된 독립 검증 연구에서 CAPP-SR의 여러 구조를 비교했지만 어느 하나가 압도적으로 우월하지 않았습니다.
행동/정서/대인관계의 세 영역으로 묶는 3요인 해석이 상대적으로 적절해 보였지만, 이 새로운 척도가 기존 사이코패시 척도들이 놓치는 의미 있는 정보를 얼마나 더 제공하는지는 추가 검증이 필요하다는 결론이었죠.
여기서 중요한 것은..
특정 모델이 맞고 다른 모델이 틀렸다는 이야기가 아닙니다.
오히려 학계의 흐름이 이렇다는 것입니다.
새로운 척도가 만들어지면 다시 묻습니다, 정말 의도한 심리 특성을 측정하고 있는가?, 다른 표본에서도 같은 구조가 나오는가?, 기존 검사와는 무엇이 같고 무엇이 다른가?, 다른 문화에서도 똑같이 작동하는가?
즉 심리검사는 한 번 만들어놓고 끝나는 물건이 아니라, 계속 증거를 쌓아가며 검증해야 하는 측정 도구인 것이죠.
그리고 또 중요한 문제가 있습니다.
외국에서 만든 검사를 한국에 가져올 때의 문제인데요.
영어권에서 검증된 검사를 정확하게만 번역하면 OK일까요?
국내 연구들을 보면 그렇게 간단하지가 않습니다.
같은 문항도 문화가 달라지면 다르게 작동할 수 있기 때문이죠.
2017년에 한국과 영국 수용자 자료를 비교하면서 IRT(Item Response Theory, 문항반응이론)를 이용한 연구가 진행됐습니다.
문항반응이론은 쉽게 말하면, '사람이 가진 실제 잠재적 성향 수준과 각각의 문항에 반응할 가능성이 어떤 관계를 가지는가'를 분석하는 방법입니다.
연구에서는 PCL-R 문항과 요인이 한국과 영국에서 계량적으로 같은 방식으로 기능하는지를 검토했고, 비교된 13개 문항 가운데 10개에서 변별력이나 난이도 측면의 차이가 나타났습니다. 이에 연구진은 PCL-R 평가에 유의미한 문화적 편향 가능성이 있음을 보고했고요.
2019년 한국과 캐나다 재소자를 비교한 또 다른 연구에서는 문화 사이에서 뚜렷한 차이를 보이는 8개의 DIF 문항이 확인됐습니다.
DIF는 Differential Item Functioning, 즉 차별 문항 기능의 약자입니다.
예컨대, 한국인 A와 캐나다인 B가 실지로 측정하려는 성향 수준이 같다고 가정해 보겠습니다.
그런데 문화적 이유 때문에 특정 문항에서는 한국인이 '그렇다'고 답할 확률이 체계적으로 더 높거나 낮다면, 그 문항은 두 집단에서 똑같이 기능하고 있다고 보기 어렵습니다.
이것이 DIF입니다.
그러니까..
문장을 정확하게 번역했다는 것과, 그 문항이 두 문화에서 심리측정학적으로 같은 기능을 한다는 것은 별개의 문제입니다.
같은 2019년 한국과 영국 PCL-R 자료를 비교한 연구에서도 두 문화의 점수가 metric equivalence(계량적 동등성)를 충족하지 않았습니다.
말인즉슨, 같은 결괏값의 숫자를 두 나라에서 얻었다고 해서 그 숫자의 의미까지 완전히 같다고 가정하기 어렵다는 뜻입니다.
연구진도 한국과 영국의 PCL-R 점수를 직접 비교하거나 임상적 판단에 사용할 때 주의가 필요하다고 결론 냈고요.
자기 보고식 검사에서도 동일한 문제가 나타납니다.
문화 차이로 인한 문제가 PCL-R 같은 전문가 평정 검사에만 해당하지 않았던 것이죠.
2021년 국내 성인 남녀 500명을 대상으로 CAPP-SR을 검토한 연구에서는 EFA(Exploratory Factor Analysis, 탐색적 요인분석)와 ESEM(Exploratory Structural Equation Modeling, 탐색적 구조방정식 모형)을 이용했습니다.
둘 다 쉽게 말하면, '실제 사람들의 응답을 모았을 때 문항들이 어떤 성향 묶음으로 나타나는가'를 찾아보는 통계적 방법을 의미하겠습니다.
원래 CAPP가 제안한 6개 영역을 그대로 확인하기보다는 한국 일반 집단에서는 8개 요인으로 분류하는 결과가 가장 적절했습니다.
성별에 따른 DIF 분석에서도 남성 쪽으로 다르게 기능한 문항 5개, 여성 쪽으로 다르게 기능한 문항 8개, 총 13개 문항이 확인됐습니다.
2022년에는 전국 교도소의 수형자 300명을 대상으로 TriPM, 즉 삼원 사이코패시 측정 도구를 검토했습니다.
11개 문항을 제외한 47문항을 분석한 결과, 기존의 세 영역을 그대로 재현하기보다 탈억제/자기중심성/대범함/반사회적 행동/과도한 유능감/나르시시즘이라는 6요인 구조가 가장 적합한 것으로 보고됐습니다.
2024년에는 EPA-SF(Elemental Psychopathy Assessment-Short Form, 성격 5요인 이론을 바탕으로 한 단축형 사이코패시 평가도구)의 국내 타당화 연구가 이루어졌습니다.
성인 559명의 자료를 이용해 Rasch 분석과 탐색적 요인분석, ESEM 등을 적용했습니다.
Rasch 분석은 문항마다 난이도와 반응 특성이 적절한지를 살펴보는 문항반응이론 계열 분석 방법이라고 이해하시면 됩니다.
연구에서는 원척도의 상위 4요인 틀은 대체로 유지됐지만 세부적인 구조에는 차이가 나타났습니다.
또, measurement invariance(측정 불변성)도 검토했습니다.
측정 불변성이란 성별처럼 집단이 달라져도 검사가 기본적으로 같은 구조와 의미로 작동하는지를 확인하는 절차입니다. 이 연구에서는 성별에 대한 불변성 검증도 수행됐습니다.
한국에서 일컬어지는, '26점부터 사이코패스'라는 이야기의 위험성도 잠시 짚고 넘어가겠습니다.
2009년 한국판 PCL-R 구성타당도 연구에서는 국내 범죄자 자료를 이용해 PCL-R의 요인 구조와 재범 예측 능력 등을 검토했습니다.
여기서 대중적으로 전파되기 좋은 숫자 하나가 떨어져 나왔습니다.
바로, 26점이었죠.
해당 연구에서는 출소 이후 실제 재범 여부를 예측하는 ROC 분석에서 26점을 기준으로 삼았을 때 예측 정확도가 71.5%로 가장 높았고, 민감도는 .61, 특이도는 .74였습니다.
ROC 분석은, 쉽게 말하면 기준점수를 여러 위치에 놓아보면서 어떤 점수에서 예측 성능이 가장 나은지 비교하는 방법입니다. 민감도는 실제 재범자를 얼마나 잘 잡아내는지를, 특이도는 재범하지 않은 사람을 얼마나 잘 구분하는지를 나타냅니다.
따라서 해당 연구가 의미하는 것은, '대한민국 사람은 PCL-R 26점부터 사이코패스다'가 아닙니다.
정확한 의미는, '연구에 포함된 범죄자 표본에서, 출소 후 재범이라는 특정 결과를 구분할 때 26점이라는 기준이 가장 좋은 예측성능을 보였다.'인 것이죠.
일반인이 유사 인터넷 자기보고 테스트에서 26점을 얻었을 경우 그 표본도, 검사방법도, 목적도 전혀 다른 꼴인 것입니다.
2024년에는 지금껏 국내에서 이루어진 사이코패시 평가도구 타당화 연구를 종합적으로 비교한 리뷰가 발표됐습니다.
강민성&서동기&서종한 연구진은 국내 타당화 연구 16편과 해당 원척도의 요인 구조를 다룬 해외 연구 9편을 비교했습니다.
그 결과 국내 사이코패시 척도 연구에서 제한된 연구 방법, 남성 중심 표본, 원척도의 요인구조를 부적절하게 그대로 적용하는 문제 등이 지적됐습니다.
또 여러 국내 타당화 연구에서 원척도와 다른 요인 구조가 나타났음에도, '한국에서 사이코패시라는 개념이 어떻게 나타나는가'에 대한 개념적 논의가 충분하지 않았다고 평가했습니다.
이런 자료들을 따라가다 보면 한 가지 결론에 도달합니다.
외국에서 잘 만들어진 검사를 한국어로 정확히 번역하는 것만으로는 충분하지 않다는 겁니다.
번역의 정확성 외에도 실제 한국인이 문항을 어떻게 이해하는지, 문항들이 어떤 구조로 묶이는지, 성별이나 문화에 따라 다르게 작동하는 문항은 없는지 등을 실제 데이터로 다시 확인해야 합니다.
그래서 이상한 옴니버스는 '검사 하나' 형식을 선택하지 않았습니다
여기서 잠시..
이상한 옴니버스가 제작 중인 테스트를 이렇게 오해할 수도 있겠습니다.
"PCL-R, LSRP, PPI, TriPM, CAPP 같은 유명 사이코패시 검사를 적당히 섞어서 새로운 점수를 만든 것 아님?"
그렇게 제작하지 않았습니다.
각 검사의 문항과 점수를 한데 섞어 새로운 '종합 사이코패스 점수'를 만든 게 아닙니다.
실제 작업은, 서로 다른 연구 전통이 사이코패시라는 개념을 어떻게 정의하고 나누고 측정해 왔는지를 비교하는 작업에 가까웠습니다.
PCL/PCL-R 계열에서는 전문가 평가와 법 심리 분야에서 사이코패시가 어떻게 측정 가능한 형태로 구체화돼 왔는지를 확인했습니다.
LSRP와 PPI/PPI-R 계열에서는 일반 집단에서 자기 보고식으로 관련 성향을 측정할 때 어떤 문제가 있고 어떤 방법이 사용돼 왔는지를 살펴봤습니다.
Triarchic Model과 TriPM에서는 대담성/냉혹성/탈억제처럼 서로 다른 특성을 분리해서 볼 필요성을 검토했습니다.
CAPP와 CAPP-SR에서는 특정 기존 검사 하나에 종속되지 않고 사이코패시라는 성격 개념 자체의 내용을 먼저 정리하는 '개념지도' 접근을 검토했습니다.
Five-Factor Model, 즉 성격 5요인 모형과 EPA 계열에서는 사이코패시 관련 특성이 일반적인 성격 구조와 어떻게 연결되는지도 비교했습니다.
그리고 국내 PCL-R, CAPP-SR, TriPM, EPA-SF 연구와 문항반응이론/DIF/측정 불변성 연구를 통해, '외국에서 나온 구조와 문항이 한국어와 한국 문화에서도 그대로 작동할 것이라고 가정해서는 안 된다'라는 점을 지속적으로 확인했습니다.
그래서 총점 하나로 사람 전체를 설명하지 않기로 했습니다.
여러 연구모형을 비교하면 사이코패시 관련 성향이 하나의 단일한 성격특성으로만 나타나지 않는다는 점이 반복해서 드러납니다.
하여, 이상한 옴니버스의 사이코패스 테스트에서는 처음부터 '당신은 사이코패스 73%입니다'라는 식의 단일 총점으로 사람 전체를 설명하는 것을 배제했습니다.
문화 간 DIF와 요인 구조의 차이를 확인했기에 기존 영어 척도 몇 문항을 번역해서 '한국판 사이코패스 테스트'라고 만들지도 않았습니다.
전문가 평정 검사와 자기 보고 검사의 반응 과정이 전혀 다르기에 PCL-R 항목을 그대로 가져와 일반인이 자기 자신에게 점수를 매기도록 하지도 않았습니다.
이상한 옴니버스가 추구한 방식을 영어로 표현하면 translation-first가 아니라 construct-first라고 할 수 있습니다.
즉, '번역부터 하는 검사'가 아니라 '측정할 개념부터 정하는 검사'로 만들었습니다.
여기서 construct(구성개념)는 검사가 실제로 측정하려는 심리적 특성을 뜻합니다.
먼저 '정확히 어떤 성향을 측정할 것인가?' 그리고 '어디까지를 같은 성향으로 보고 어디부터는 다른 성향으로 구분할 것인가?'를 정한 뒤, 그 개념을 한국어 자기보고 환경에서는 어떻게 질문해야 하는지를 다시 설계했습니다.
이와 같은 방식은 국제적인 검사 개발 원칙과도 연결됩니다.
ITC(International Test Commission, 국제검사위원회)의 제2판 검사 번역/적응 지침은 단순히 '영어를 자연스럽게 번역하는 방법'을 설명하는 문서가 아닙니다.
18개의 지침을 사전 조건, 검사 개발, 경험적 확인, 검사 실시, 점수와 해석, 문서화라는 여섯 영역으로 나누고 있죠.
특히 번역/적응된 검사에서 문항 의미가 비슷한지, 검사 형식이 적절한지, 그리고 실제 자료를 통해 신뢰도와 타당도, 집단 간 동등성이 확보되는지를 확인하도록 권고합니다.
또 AERA/APA/NCME, 즉 미국교육연구학회/미국심리학회/미국교육측정위원회가 공동 발간한 Standards for Educational and Psychological Testing(교육 및 심리검사 표준도 검사)에서는 '타당함' 도장이 한 번 찍히면 모든 문제가 끝난다는 식으로 접근하지 않습니다. 검사 점수를 어떤 목적으로 어떻게 해석할 것인가, 그리고 그 해석을 뒷받침하는 증거가 충분한가를 계속 확인하는 것이 핵심입니다.
따라서, 이상한 옴니버스가 제작하는 테스트에서도 서로 다른 검증단계를 구분하고 있습니다.
문헌을 검토하는 것. 문항을 반복해서 공격적으로 검토하는 것. AI 등을 이용해 오류 가능성을 찾는 QA(Quality Assurance, 품질 보증/품질 검증). 실제 사람이 문장을 어떻게 이해하는지 확인하는 cognitive interview(인지 면담). 그리고 실제 참가자 자료를 이용해 신뢰도와 타당도, 요인 구조 등을 확인하는 인간 자료 검증까지 말입니다.
(현재 제작 로드맵은 PRE-HUMAN, 즉 실제 인간 자료에 의한 심리측정 검증 전 단계까지)
그렇게 테스트에 활용될 54문항이 탄생했습니다.
물론, 처음부터 54문항짜리 사이코패스 테스트를 만들자고 정한 것은 아니었습니다.
관련된 구성개념(construct)의 범위를 넓게 펼쳐놓은 뒤 훨씬 많은 후보 문항을 만들고, 반복적으로 제거하고 수정했습니다.
문항 하나를 볼 때도 계속 다음의 질문을 던졌습니다.
이 문장이 정말 의도한 성향을 묻고 있는가, 다른 기본 성격 때문에 점수가 올라갈 가능성은 없는가, 그 행동을 해볼 기회 자체가 없었던 사람을 낮은 성향으로 잘못 판단하지는 않는가, 지나치게 오래된 기억을 요구하지는 않는가, 어떤 답이 '도덕적으로 좋은 답'인지 너무 뻔하지 않은가, 서로 다른 두 문항이라고 해놓고 사실상 같은 행동을 두 번 측정하고 있지는 않은가, 한국어에서는 원래 의도했던 인과관계와 뉘앙스가 자연스럽게 전달되는가, 특정 상황에서만 나타난 행동을 안정적인 성격특성처럼 묻고 있지는 않은가.
이런 식으로 후보 문항을 계속 줄이고 다시 쓰는 과정을 거친 끝에 Core 54, 즉 핵심 54문항이 frozen 상태입니다.
이렇듯 뼈대는 완성됐습니다.
그리고 지금은 '테스트 참여자의 재미'를 위해 캐릭터 100명을 조사하고 있습니다.
여기까지 읽으셨다면 테스트가 상당히 딱딱해 보일 수도 있겠습니다.
하여, 결과란에 캐릭터 매칭을 넣기로 했습니다.
현재 한국 작품 캐릭터 50명, 미국 작품 캐릭터 50명, 총 100명의 가상 캐릭터를 별도로 조사하고 있습니다.
물론, 캐릭터마다 임의로
조종성 90점
냉담성 85점
충동성 40점
같은 숫자를 붙인 뒤 참여자와 단순 계산을 통한 매칭 방식은 사용하지 않습니다.
'당신은 월터 화이트와 87% 일치합니다' 같은 방식이 아니라는 뜻입니다.
사람에게 근거 없는 총점을 만들지 않기로 했다면, 캐릭터에게도 동일한 기준을 적용해야 한다고 봤습니다.
현재 캐릭터 작업에서는 canon evidence, 즉 작품의 공식 설정과 실제 극 중 사건에서 확인되는 근거를 장면/사건 단위로 수집하고 있습니다.
그리고 claim, 즉 아주 좁게 한정된 성향 판단이 실제 그 사건에서 확인되는지를 하나씩 검토합니다.
캐릭터가 악역이라는 이유만으로 특정 성향을 자동으로 부여하지 않습니다. 인상만으로 점수를 주지도 않습니다. 한 장면에서 여러 특성이 보이는 것 같더라도 각각의 판단 조건을 따로 통과해야 합니다. 한 사건을 아무 제한 없이 여러 성향의 증거로 중복 사용하지도 않습니다. 근거가 부족하면 억지로 채우지 않고 '확인되지 않음'으로 남깁니다.
그래서 캐릭터 100명 각각의 인생을 최대한 학문적으로 들추는 일이 현재 만만치 않게 시간 소요와 난이도가 있는 실정입니다.
그래도 지금 이 캐릭터 작업은 남은 고난도 근거들을 정리하는 후반부 단계에 돌입해 있습니다.
종합하자면, 참여자의 테스트에서 확인된 좁은 성향과 캐릭터에서 실제 작품 근거로 확인된 좁은 성향이 어디에서 어떤 방식으로 겹치는지를 보여주는 구조로 설계했습니다.
이제 제품의 큰 뼈대는 상당 부분 완성됐습니다
현재 핵심 54문항은 동결 상태입니다.
문항을 어떻게 시행하고 응답을 처리할지, 결과에서 어떤 범위까지 해석할지, 캐릭터 근거를 어떤 기준으로 인정할지 등에 대한 기본 규칙도 구축됐습니다.
캐릭터 매칭 파트 쪽에서는 이제 남은 고난도 근거와 예외 사례를 하나씩 정리하는 작업이 이어지고 있습니다.
그리고 제품 측면에서 앞으로 크게 남은 작업은 실제 이용자가 보게 될 UI와 UX, 그리고 결과 화면의 실제 구현이겠습니다.
결국, 전체 개발 및 제작에 수개월이 소요된 꼴이지만..
실지로 완성된 테스트에 참여해 결과를 확인하는 데에는 불과 10분 내외가 소요될 것입니다.
54개의 문항에 답하고, 자신의 결과를 읽고, 어떤 캐릭터와 어떤 부분이 겹치는지 확인하게 될 겁니다.
허나..
그 몇 분짜리 결과 화면 뒤에서는 끊임없이 이런 질문을 던지고 있습니다.
이 문항이 정말 의도한 특성을 묻고 있는가, 한국어에서도 같은 의미인가, 다른 성격특성을 잘못 측정하고 있지는 않은가, 이 결과들을 정말 하나의 총점으로 합쳐도 되는가, 낮은 점수를 곧바로 '좋은 사람'이라는 뜻으로 해석하고 있지는 않은가, 높은 점수를 진단이나 위험성으로 과장하고 있지는 않은가, 캐릭터가 악역이라는 이유로 근거 없는 특성을 붙이고 있지는 않은가.
하여..
테스트 이름을 조금 거창하게, 그러나 자신 있게 붙였습니다.
정말 제대로 된 사이코패스 테스트
곧 이상한 옴니버스에서 공개하겠습니다.
제작에 참조한 학술적 기반
6개 주요 사이코패시 연구 계열
PCL-R&LSRP&PPI/PPI-R&Triarchic/TriPM&CAPP/CAPP-SR&FFM/EPA
16편+ 연구논문&13종 학술지&2종 전문 문헌/검사 매뉴얼
3종 국제 심리검사 기준&2종+ PCL-R 공식 실무 자료
10개 인접 구성개념 연구 영역
반사회성&외현화&마키아벨리즘&나르시시즘&가학성&공격성&공감&감정인식곤란&애착&ADHD&충동성/실행통제
8개+ 심리측정 검증 영역
요인구조&신뢰도&타당도&IRT&DIF&측정불변성&반응과정&문화 간 측정동등성
현재 서지 및 공식출처 확인 핵심자료 23건+
(전체 프로젝트 참조문헌이 아닌, 현재 공개용으로 출처를 개별 확인한 핵심 자료 기준입니다)
