같은 고객을 심사했는데 전문가가 매긴 보험료가 평균 55%나 달랐다

전문가들이 같은 자료를 검토한다면 결론도 비슷할 것이라고 기대합니다. 지식과 경험을 갖춘 사람이라면 주관적인 흔들림을 걸러낼 수 있다고 믿기 때문입니다.

하지만 한 보험사의 감사 결과는 달랐습니다. 같은 고객을 평가한 심사자들이 책정한 보험료가 평균 55%나 차이 났습니다. 누가 심사하느냐에 따라 고객이 받아든 결과가 크게 달라진 것입니다.

판단을 흔드는 보이지 않는 변수

『노이즈』의 저자들은 같은 문제를 두고 생기는 불필요한 판단의 차이를 ‘소음’이라고 부릅니다. 판단자는 자신이 정해진 기준에 따라 결론을 내렸다고 생각하지만, 실제 판단에는 그날의 기분과 시간대, 직전에 접한 사례 같은 요소가 스며듭니다.

어떤 사례를 먼저 보았는지도 다음 판단의 기준점을 바꿀 수 있습니다. 각각의 변화는 작아 보여도, 여러 사람의 결론을 모아 놓으면 조직이 예상한 것보다 훨씬 큰 차이로 드러납니다.

편향과 소음은 서로 다른 문제입니다. 편향이 한쪽으로 기울어진 저울이라면, 소음은 같은 물건을 올릴 때마다 눈금이 제각각 달라지는 저울에 가깝습니다.

편향은 판단의 평균이 어느 방향으로 치우쳤는지 살펴보면 발견할 수 있습니다. 반면 소음은 평균 뒤에 숨습니다. 전체 평균이 그럴듯해 보여도 개별 판단이 널뛰고 있다면, 누군가는 심사자를 잘 만났다는 이유로 유리해지고 누군가는 반대의 결과를 받을 수 있습니다.

경험만으로 해결되지 않는 이유

경험이 쌓이면 판단도 자연스럽게 일치할 것 같지만 반드시 그렇지는 않습니다. 사람마다 중요하게 보는 질문과 증거, 합격이라고 여기는 수준이 다르다면 숙련된 전문가 사이에서도 차이는 계속됩니다. 저자들이 “판단이 있는 곳에는 소음이 있다”고 경고하는 이유입니다.

문제는 판단자를 없애는 것이 아니라 판단 과정을 정돈하는 데 있습니다. 결론을 내리기 전에 무엇을 질문할지, 어떤 항목을 살필지, 각 항목을 어떤 기준으로 평가할지 미리 정해야 합니다. 개인의 능력에만 기대지 않고 과정 자체가 흔들림을 줄이도록 설계하는 것입니다.

면접이 대표적인 사례입니다. 첫인상으로 지원자에 대한 결론을 먼저 내리면, 이후의 답변은 그 결론을 뒷받침하는 방향으로 읽히기 쉽습니다. 반대로 모든 지원자에게 같은 질문을 하고 항목별 평가를 독립적으로 기록하면 막연한 느낌이 개입할 여지가 줄어듭니다.

상사의 평가가 자신의 능력 전부처럼 느껴질 때도 기억할 점이 있습니다. 그 평가에는 실제 성과뿐 아니라 평가자의 상태와 비교 순서, 조직 분위기가 함께 섞일 수 있습니다. 한 번의 판단을 절대적인 진실로 받아들이기보다 여러 근거를 나누어 확인하고, 스스로도 일관된 기준을 세울 필요가 있습니다.

노이즈 · 대니얼 카너먼·올리비에 시보니·캐스 선스타인

대니얼 카너먼, 올리비에 시보니, 캐스 선스타인의 『노이즈』는 전문가의 판단조차 왜 매번 달라지는지 추적합니다. 편향과 소음을 구분하고, 질문과 평가 기준을 미리 정하는 방식으로 판단의 흔들림을 줄이는 길을 보여주는 책입니다.