드문 재난을 어떻게 학습하는가

4부를 시작하며

3부에서 신호를 다루는 도구를 갖췄다. 그리고 하나의 문제를 남겼다. 무엇을 찾을지 모른다.

4부는 그 문제에 답하려는 시도다. 기계에게 배우게 하는 것.

그런데 시작부터 큰 장애가 있다. 기계학습에는 예시가 필요한데, 우리가 배우려는 사건은 거의 일어나지 않는다.

얼마나 드문가

싱크홀은 뉴스에 나올 만큼 드물다. 그리고 뉴스에 나오는 것은 이미 붕괴한 뒤다.

우리가 정말 필요한 것은 붕괴 전 3~4단계 구간의 데이터다(5편). 그 구간을 지나가며 스마트폰으로 측정한 기록. 그리고 그 구간이 실제로 위험했다는 확인.

이런 데이터가 세상에 몇 건 있을까. 아마 0건이다. 아무도 그런 기록을 남긴 적이 없다.

일반적인 기계학습에서는 수천에서 수만 건의 예시로 학습한다. 우리는 0에서 시작한다.

이건 단순히 “데이터가 부족하다”는 문제가 아니다. 학습이라는 접근 자체가 성립하지 않는 조건이다.

드문 사건 학습의 일반적 어려움

이 문제는 우리만의 것이 아니다. 희귀 질환 진단, 설비 고장 예측, 금융 사기 탐지가 다 같은 성격이다. 그 분야에서 알려진 어려움을 정리하면 이렇다.

① 예시가 절대적으로 적다.

② 아무것도 안 하는 것이 정답에 가깝다. 만 건 중 한 건만 위험이라면, “항상 안전하다”고 답하는 모델의 정확도가 99.99%다. 숫자로는 훌륭하고 실제로는 무용지물이다.

③ 놓침과 오경보의 비용이 다르다. 위험을 놓치면 사고가 나고, 오경보를 내면 헛수고를 유발한다. 어느 쪽으로 기울일지가 기술이 아니라 판단의 문제가 된다. (27편에서 다룬다.)

④ 소수 사례의 특수성. 몇 건 있는 사례가 그 유형을 대표하지 못할 수 있다. 하필 특이한 경우만 기록에 남았을 수도 있다.

접근 1: 정상만 배우고 벗어난 것을 찾는다

첫 번째 우회로다. 위험을 배우려 하지 않고, 정상을 배운다.

논리는 이렇다. 정상 데이터는 넘쳐난다. 대부분의 주행이 정상이다. 그러면 “정상이란 어떤 모습인가”를 아주 정확하게 배울 수 있다.

그리고 새로 들어온 데이터가 그 정상 범위에서 벗어나면 표시한다. 무엇이 이상한지는 몰라도, 이상하다는 것은 안다.

이런 접근을 이상 탐지라 부른다. 우리 문제에 잘 맞는 이유가 있다.

정답이 필요 없다. 위험 사례가 0건이어도 시작할 수 있다.

21편의 방법 2와 같은 발상이다. 기준선을 만들고 차이를 본다. 다만 여기서는 그 기준선을 기계가 훨씬 정교하게 만든다.

한계도 분명하다.

이상하지만 위험하지 않은 것들이 대량으로 걸린다. 공사, 눈, 이례적인 정체, 새로 깐 포장. 전부 “정상에서 벗어난 것”이다.

무엇이 위험인지 구분하지 못한다. 결국 사람이 판정해야 한다.

그래서 이상 탐지는 최종 판단이 아니라 후보 생성기로 쓴다. 수천 구간에서 검토할 만한 수십 개를 뽑아내는 역할.

접근 2: 데이터를 만들어낸다

두 번째 우회로는 없는 데이터를 만드는 것이다.

지반과 포장의 물리는 알려져 있다. 공동이 있을 때 도로가 어떻게 반응하는지 계산할 수 있다. 유한요소해석으로 모델을 세우고, 공동의 크기와 깊이를 바꿔가며 시뮬레이션한다.

그러면 (공동 조건, 예상 응답) 짝을 만들 수 있다. 실제 사례 없이 학습 데이터를 얻는다.

23편에서 이 방법을 자세히 다룬다. 여기서는 근본적인 위험만 짚어둔다.

시뮬레이션은 우리가 아는 것만 재현한다. 모델에 넣지 않은 요인은 데이터에 나타나지 않는다. 그리고 실제 도로는 우리 모델보다 훨씬 복잡하다.

시뮬레이션 데이터로만 학습한 모델은 시뮬레이션을 잘 맞히고 현실에서 틀릴 수 있다. 이건 잘 알려진 함정이다.

접근 3: 사람의 판단을 정답 대신 쓴다

세 번째가 우리의 주력이다. 2부 전체가 이걸 위한 준비였다.

진짜 정답(공동이 있었다)은 얻을 수 없다. 대신 사람의 판단(여기 이상하다)을 정답 대신 쓴다.

이건 대체물이고, 정확하지 않다. 사람이 이상하다고 느낀 것이 공동이라는 보장이 없다. 착각일 수도, 다른 원인일 수도 있다.

그런데 0건에서 시작하는 것보다는 낫다. 그리고 2부에서 만든 장치들 — 겹침, 시간 변화, 신뢰 점수 — 이 이 대체물의 품질을 어느 정도 높인다.

여기서 학습의 목표가 달라진다는 점이 중요하다.

• 원래 목표 — “공동이 있는가”를 예측
• 실제 목표 — “사람들이 이상하다고 느낄 만한 신호인가”를 예측

둘은 다르다. 후자를 배운 모델은 사람의 감각을 모방한 것이다. 공동을 찾는 것이 아니다.

이 구분을 흐리면 안 된다. 그리고 이 구분이 25편의 주제다.

세 접근을 어떻게 조합하나

정리하면 이렇다.

접근	정답 필요	역할
이상 탐지	불필요	후보 생성 — 지금 시작 가능
시뮬레이션	불필요	물리적 근거 제공 — 현실 격차 위험
사람 판단 학습	사람 신고	주력 — 실제 감각을 모방

세 개를 같이 쓴다. 그리고 서로를 검증한다.

이상 탐지가 뽑은 후보와 사람 신고가 겹치는 지점. 시뮬레이션이 예측한 패턴과 실제 신호가 닮은 지점. 여러 경로가 같은 곳을 가리키면 신뢰가 올라간다.

이건 2부와 3부에서 반복된 논리와 같다. 흩어지는 것과 모이는 것. 여기서는 사람도 지표도 아니라 접근 방법들이 서로를 검증한다.

그리고 시간이 필요하다

마지막으로 이 부의 전제를 분명히 해두자.

4부의 이야기는 아직 실현되지 않았다. 1단계(사람의 신고)는 지금 만들 수 있고 실제로 만들고 있다. 2단계(기계 학습)는 데이터가 쌓인 뒤에야 시작된다.

얼마나 걸릴까. 정직하게 말하면 모른다. 사용자가 얼마나 모이는지, 신고가 얼마나 쌓이는지, 그중 검증 가능한 사례가 몇 건 나오는지에 달려 있다.

그러니 이 부에서 다루는 것은 계획이고 방법론이다. 완성된 기술의 설명이 아니다.

이 구분을 흐려서 “이미 되는 것처럼” 쓰지 않으려 한다. 되는 것과 되게 하려는 것을 섞으면, 나중에 실제로 무엇을 달성했는지 스스로도 모르게 된다.

---

다음 편 예고 — 시뮬레이션으로 데이터를 만든다. 없는 사례를 계산으로 만들어내는 방법과, 그것이 현실과 어긋나는 지점.