한 사람의 착각, 백 사람의 확신

집단이 개인보다 나아지는 조건

여러 사람의 판단을 모으면 개인보다 정확해진다는 이야기는 오래됐다. 소의 무게를 맞히는 대회에서 참가자들의 추측을 평균하면 실제 무게에 가까웠다는 유명한 관찰이 있다.

그런데 이 현상은 항상 일어나지 않는다. 조건이 맞을 때만 일어난다. 그리고 그 조건을 아는 것이 우리 설계의 핵심이다.

조건은 대략 세 가지다.

1. 판단이 독립적이어야 한다. 서로의 답을 보고 따라 하면 안 된다. 한 사람의 오류가 전체로 퍼진다.

2. 오류가 한 방향으로 쏠리지 않아야 한다. 모두가 같은 방향으로 틀리면, 평균도 그 방향으로 틀린다.

3. 각자가 조금이라도 정보를 갖고 있어야 한다. 완전히 무작위로 찍는 사람들을 모아도 아무것도 안 나온다.

우리 경우에 대입하면

조건 1 — 독립성

여기서 중요한 설계 결정이 나온다.

신고할 때 다른 사람의 신고를 보여주지 않는다.

만약 지도에 이미 표시된 지점이 보이면, 사람은 그 근처에서 더 예민해진다. “여기 위험하다고 나와 있네” 하고 그 지점에 자기 표시를 덧붙인다. 이러면 첫 신고가 뒤의 신고들을 만들어낸다. 겹침이 생기지만 정보는 늘지 않는다. 하나가 열로 복제된 것뿐이다.

그래서 흐름을 이렇게 나눴다.

• 주행 중 (신고 모드) — 지도에 다른 사람의 표시를 보여주지 않는다
• 주행 후 (열람 모드) — 전체 지도를 본다

같은 앱에서 두 모드를 분리한다. 열람은 자유롭게 하되, 판단하는 순간에는 남의 답을 안 보게 한다.

이건 편의를 희생하는 결정이다. “지금 지나는 길에 뭐가 표시돼 있나”를 보고 싶은 것이 자연스러운 요구니까. 그런데 그걸 허용하면 데이터의 독립성이 무너진다. 데이터의 질을 위해 기능을 뺀 것이다.

조건 2 — 오류의 방향

여기에는 실제 위험이 있다.

모두가 같은 방향으로 틀리는 경우가 존재한다.

과속방지턱. 모두가 같은 지점에서 큰 충격을 느낀다. 완벽하게 겹치고, 완벽하게 틀렸다. 10편에서 이야기한 문제다.

비 온 다음 날. 노면이 젖으면 소음과 느낌이 달라진다. 그날 신고가 전반적으로 늘어난다. 도로가 나빠진 게 아니다.

특정 차종. 서스펜션이 단단한 차를 타는 사람들은 전반적으로 더 많이 느낀다.

이런 편향은 겹침 논리로 걸러지지 않는다. 별도의 대응이 필요하다.

• 알려진 구조물 목록 — 과속방지턱, 건널목, 맨홀 위치를 사전에 알고 있으면 제외할 수 있다
• 시간 변화 — 10편의 두 번째 축. 꾸준한 것은 구조물, 늘어나는 것은 주목 대상
• 날씨·시간대 보정 — 그날 전체의 신고량이 평소보다 높으면 기준선을 조정
• 사용자별 성향 보정 — 어떤 사람은 원래 많이 신고한다. 그 사람의 기준으로 정규화

마지막 두 개가 흥미롭다. 절대 개수가 아니라 “그 사람의 평소에 비해”, “그날 전체에 비해” 얼마나 이례적인지를 본다.

조건 3 — 각자가 정보를 가지고 있는가

이건 우리 경우 유리하다. 7편에서 이야기한 대로, 매일 그 길을 지나는 사람은 그 구간의 기준선을 몸으로 갖고 있다. 무작위로 찍는 것이 아니다.

다만 조건이 붙는다. 처음 지나는 사람은 기준선이 없다. 관광객이나 배달 기사처럼 낯선 길을 지나는 사람의 판단은 상대적으로 약하다.

그래서 그 구간을 반복해서 지난 사람의 신고에 더 무게를 둘 수 있다. 이건 사람을 차별하는 게 아니라, 그 사람이 그 구간에 대해 실제로 더 많은 관측을 했다는 사실을 반영하는 것이다.

위키백과가 넘은 문제

여러 사람의 기여로 신뢰를 만드는 시스템 중 가장 크게 성공한 예가 위키백과다. 처음에 많은 사람이 “누구나 편집할 수 있으면 엉망이 될 것”이라고 예상했지만 그렇게 되지 않았다.

무엇이 그것을 막았는지 보면, 우리에게 옮길 수 있는 것이 몇 가지 있다.

첫째, 이력이 남는다. 누가 언제 무엇을 바꿨는지 전부 기록된다. 되돌릴 수 있다. 틀린 것을 막는 것이 아니라 틀린 것을 되돌릴 수 있게 만든 것이 핵심이었다.

우리도 신고를 지우지 않고 이력으로 쌓는다. 나중에 “그건 아니었다”고 판단되면 무효 처리하되 기록은 남긴다.

둘째, 근거를 요구한다. 위키백과는 주장에 출처를 붙이게 한다.

우리 경우의 “출처”는 가속도 신호다. 사람이 표시한 지점에 실제로 신호의 이상이 있는지 대조할 수 있다. 신고와 신호가 어긋나면 그 신고의 무게를 낮춘다. 사람의 판단을 기계가 부분적으로 감사하는 구조다.

셋째, 기여자의 이력이 쌓인다. 오래 활동하고 신뢰를 얻은 편집자와 방금 만든 계정은 다르게 취급된다.

우리도 같은 방식을 쓴다. 과거 신고가 다른 사람들의 신고와 대체로 일치했던 사용자는 무게가 높아진다. 이 이야기는 다음 편에서 자세히 다룬다.

그런데 결정적인 차이가 하나 있다

위키백과와 우리 사이에는 중요한 차이가 있다. 위키백과에는 정답이 존재한다.

어떤 인물의 생년월일은 확인할 수 있다. 문헌을 찾으면 된다. 편집 분쟁이 벌어져도 최종적으로는 사실로 판정된다.

우리에게는 정답이 없다. 어떤 구간의 땅속에 공동이 있는지 확인하려면 실제로 파보거나 정밀 조사를 해야 한다. 그건 거의 일어나지 않는다.

그러니 우리는 정답 없이 신뢰를 만들어야 한다. 이건 훨씬 어려운 조건이다.

가능한 우회로가 몇 가지 있다.

• 사후 확인. 실제로 싱크홀이나 함몰이 발생한 구간을 나중에 확인하면, 우리 데이터가 그 전에 무엇을 말했는지 대조할 수 있다. 드물지만 가장 강한 검증이다.
• 보수 기록 대조. 도로 관리 기관이 실제로 보수한 구간의 기록과 맞춰볼 수 있다.
• 자체 일관성. 정답 없이도, 서로 다른 사람들의 판단이 계속 일치한다면 무언가 실재하는 것을 보고 있을 가능성이 높다.

세 번째가 당장 쓸 수 있는 유일한 것이다. 그리고 이건 증명이 아니라 정황이다. 이 한계를 분명히 인식하는 것이 중요하다. 우리 시스템이 만드는 것은 “여기 위험합니다”라는 판정이 아니라 “여기를 확인해 보십시오”라는 우선순위다.

---

다음 편 예고 — 위키는 어떻게 틀린 정보를 걸러내는가. 이력·되돌리기·기여자 신뢰라는 장치가 실제로 어떻게 작동하는지, 그리고 우리 시스템에 어떻게 옮기는지 구체적으로 본다.