오경보와 놓침 사이 — 임계값의 윤리

기술이 답하지 않는 질문

4부의 마지막 편이다. 그리고 이 편의 문제는 기술로 풀리지 않는다.

지금까지 신호를 다루고 학습을 설계했다. 그 끝에는 결국 하나의 판단이 남는다. 어느 지점부터 경고할 것인가.

이건 계산으로 정해지지 않는다. 값을 하나 골라야 하고, 그 선택에 따라 다른 종류의 피해가 발생한다.

두 종류의 실패

어떤 판정 시스템이든 두 방향으로 틀릴 수 있다.

놓침 — 위험한데 경고하지 않았다. 오경보 — 위험하지 않은데 경고했다.

그리고 이 둘은 서로 맞바꾸는 관계다. 기준을 느슨하게 하면 놓침이 줄고 오경보가 늘어난다. 엄격하게 하면 반대가 된다.

둘을 동시에 줄이려면 판별 능력 자체가 좋아져야 한다. 그건 기술의 문제이고 시간이 걸린다. 그 사이에도 우리는 어딘가에 선을 그어야 한다.

각 실패의 비용

두 실패의 대가가 얼마나 다른지 보자.

놓침의 비용 — 붕괴가 일어나면 인명 피해가 발생할 수 있다. 되돌릴 수 없다.

오경보의 비용 — 여러 층이 있다.

직접 비용. 불필요한 정밀 조사에 예산과 인력이 쓰인다. 그 예산은 다른 곳에 쓰일 수 있었다.

신뢰 상실. 이게 더 심각하다. 경고가 자주 틀리면 사람들이 무시하기 시작한다. 그러면 진짜 경고도 무시된다. 오경보가 놓침을 만드는 경로다.

불필요한 불안. 우리 동네 도로가 위험하다는 표시가 계속 뜨면 주민이 불안해진다. 그리고 그 불안이 근거 없는 것이라면 해를 끼친 것이다.

재산 가치 영향. 특정 구간에 위험 표시가 붙으면 그 주변 부동산에 영향을 줄 수 있다. 근거가 약한데 그런 영향을 미치는 것은 무겁다.

마지막 두 항목이 우리 프로젝트에 특별히 무겁다. 우리 데이터는 동네 단위이고 지도에 표시된다. 개인의 생활 공간에 직접 붙는다.

그래서 우리가 정한 원칙

이 문제에 대해 우리가 세운 원칙은 하나다. 우리는 “위험”이라고 말하지 않는다.

11·12·13편에서 반복한 표현이 여기서 정책이 된다. 우리가 산출하는 것은 확인 우선순위다.

• ❌ “이 구간은 위험합니다”
• ✅ “이 구간에 최근 이례적인 기록이 쌓였습니다. 확인이 필요할 수 있습니다”

이 표현 차이가 사소해 보이지만 실제로는 시스템의 성격을 결정한다.

첫째, 우리가 할 수 있는 말만 한다. 우리는 땅속을 보지 못한다. 정황을 모았을 뿐이다.

둘째, 판단의 주체가 달라진다. 위험 여부를 판정하는 것은 전문 조사이고 행정이다. 우리는 그 판단에 입력을 제공한다.

셋째, 오경보의 비용이 줄어든다. “확인이 필요하다”가 틀리는 것은 “위험하다”가 틀리는 것보다 피해가 작다.

누가 임계값을 정하나

그런데 원칙을 정해도 실무적인 선은 여전히 그어야 한다. 목록에 몇 개를 올릴지, 어느 정도의 정황부터 표시할지.

이걸 누가 정해야 하나. 세 가지 답이 가능하다.

① 우리가 정한다. 데이터를 아는 것은 우리다. 그런데 우리는 결과에 책임을 지지 않는다. 그리고 이해 상충이 있다 — 경고가 많이 나오는 것이 서비스의 존재감에 유리하다.

② 도로 관리 기관이 정한다. 책임을 지는 주체이고, 조사 예산의 제약을 안다. 합당하다. 다만 협력 관계가 성립해야 하고, 그건 지금 없다.

③ 사용자가 정한다. 자기 동네의 정보를 얼마나 민감하게 볼지 스스로 선택한다.

우리 판단은 ②가 원칙이고, 그때까지는 ③을 쓰는 것이다.

구체적으로는 표시 방식을 사용자가 조절할 수 있게 한다. 확실한 것만 보고 싶은 사람과, 애매한 것도 다 보고 싶은 사람이 다르다. 그리고 각 표시에 근거를 함께 보여준다. 몇 명이 표시했고, 며칠간이고, 신호에 어떤 변화가 있었는지.

판정을 내리지 않고 근거를 보여주면, 판단을 사용자에게 넘길 수 있다. 이게 12편에서 위키의 방식을 참고한 것과 같은 태도다. 결론을 주는 것이 아니라 출처를 주는 것.

그럼에도 남는 무거운 경우

원칙을 세워도 다루기 어려운 상황이 있다.

우리 데이터가 강하게 이상을 가리키는데 아무 조치도 없는 경우.

여러 사람이 표시했고, 신호도 이상하고, 최근 급격히 늘었다. 그런데 우리는 관리 기관과 연결되어 있지 않고, 민원을 넣어도 조사가 안 될 수 있다.

이 상황에서 무엇을 해야 하나.

더 강하게 경고해야 하나? 그러면 우리가 판정을 내리는 것이고, 틀렸을 때의 책임이 우리에게 온다. 그리고 원칙을 어긴다.

가만히 있어야 하나? 만약 실제로 사고가 나면, 우리는 알고 있었는데 말하지 않은 것이 된다.

솔직히 말하면 우리는 이 문제에 대한 완전한 답을 갖고 있지 않다.

지금 정한 방향은 이렇다. 강도를 높이는 대신 전달 경로를 늘린다. 표현은 “확인 필요”에 머물되, 그 정보가 닿아야 할 곳에 닿게 한다. 주민이 민원의 근거로 쓸 수 있는 형태로 정리해 주고, 관리 기관이 조회할 수 있는 창구를 만들려 한다.

판정하지 않고 전달한다. 그게 지금 우리가 감당할 수 있는 선이다.

4부를 정리하며

여섯 편에 걸쳐 physical AI 단계를 다뤘다. 정리하면 이렇다.

데이터가 0건에서 시작한다. 그래서 이상 탐지, 시뮬레이션, 사람 판단 학습을 함께 쓴다(22편).

시뮬레이션은 실제 데이터를 보강하는 도구여야 한다. 출발점이 되면 검증 없는 모델이 만들어진다(23편).

우리가 배우는 것은 사람의 감각이다. 그래서 사람의 한계를 물려받는다. 그것을 넘어서려면 물리 모델과의 결합이 필요하다(24·25편).

사람과 기계는 서로를 검증한다. 어느 쪽도 혼자서는 부족하다(26편).

그리고 마지막 선은 기술이 아니라 판단이다. 우리는 판정하지 않고 우선순위를 제시한다(27편).

4부 전체가 아직 계획이라는 점을 다시 적어둔다. 22편에서 말한 대로, 현재 동작하는 것은 1단계다. 이 부의 내용은 데이터가 쌓인 뒤의 방향이고, 그 가설이 틀릴 가능성도 열어두고 있다.

5부에서는 지금 실제로 만들고 있는 것과 앞으로의 그림을 이야기한다.

---

다음 편 예고 — 위험 지도를 그리다. 5부의 시작. 모인 정보를 어떤 형태로 보여줄 것인가, 그리고 무엇을 보여주지 않을 것인가.