← 느린 정의, 빠른 질서 Vol. 4 7 / 12 English
Vol. 4 — 느린 정의, 빠른 질서

7장 — 3초의 판단, 3년의 규제

1. 3초의 판단이란 무엇인가

AI 대출 심사 시스템은 수 초 안에 결정한다.

미국 핀테크 기업 업스타트(Upstart)의 AI는 신용 심사에 1,600개 이상의 데이터 포인트를 사용한다(2020년 IPO 공시 기준, 이후 2,500개 이상으로 확대)[주6]. 학력, 직업 경력, 거래 패턴까지. 회사에 따르면 IPO 시점 약 70%였던 자동 처리율은 이후 90%를 넘겼다 — 대부분의 대출 신청이 인간 개입 없이 처리된다. 수 초 뒤 화면에 "승인" 또는 "거절"이 뜬다. 결정은 끝이다. 또 다른 AI 대출 회사 제스트 AI(Zest AI)는 부도율 20% 감소, 승인률 25% 증가를 자체 보고했다. 그러나 이 수치들은 회사 자체 주장(self-reported)이며, 독립적으로 검증된 적이 없다[주7].

이의를 제기하면 수개월에서 수년이 걸린다. CFPB 민원은 15~60일 안에 처리되지만, 구조적 변화 — 규제 지침 발표, 집단 소송 인증, 입법 — 까지는 5년에서 10년이 걸린다.

수 초와 수년. 이것이 AI 시대의 시간 비대칭이다.

이 비대칭은 추상적 개념이 아니다. 사람의 하루를 지배한다.

새벽 5시, 경기도 수원 영통구. 원룸 한켠의 멀티탭에 보조배터리 두 개가 꽂혀 충전되고 있다. 이 기사 — 1장의 박 사장처럼 이 책에 등장하는 조합적 인물이다 — 가 잠옷 위에 패딩을 걸치고 현관문을 연다. 주차장에 세워둔 오토바이 시동을 건다. 차가운 엔진이 떠는 소리가 아파트 벽에 부딪혀 돌아온다. 핸들 위 거치대에 스마트폰을 끼우면 배달 앱이 이미 첫 콜을 띄우고 있다.

34세. 월 순수입 약 280만 원. 하루 10~12시간을 오토바이 위에서 보낸다. 그의 일과를 지배하는 것은 배차 알고리즘이다. 0.3초마다 경로를 재계산한다. 어디로 갈지, 몇 분 안에 도착해야 하는지, 어떤 순서로 배달할지. 알고리즘이 정한다. 이 기사는 따를 뿐이다.

학술 연구에 참여한 한국 배달 노동자는 이렇게 증언했다.

"인공지능이 물량과 경로를 함께 계산합니다. 누구에게, 얼마만큼, 어떤 경로로 배분할지를 AI가 설정한다는 뜻입니다."

— 익명 배달 라이더, Frontiers in Public Health (2025)

원문: "Artificial intelligence calculates the quantity and route together. It means that the AI sets up for whom, how much volume, and which route to allocate."

알고리즘이 누구에게, 얼마만큼, 어떤 경로로 — 모든 것을 결정한다. 이 기사에게 고용주는 보이지 않는다. 앱이 일감을 주고, 앱이 평가하고, 앱이 계정을 정지시킨다. "고용주가 누군지도 모르니까요." 그가 2024년 인터뷰에서 한 말이다.

비 오는 날 배달이 지연되면 별점 1점이 찍힌다. 안전과 평점 사이에서 선택의 여지가 없다. 0.3초마다 경로를 바꾸는 알고리즘 앞에서, 이의 제기 창구는 존재하지 않는다. 기다림은 무한이다.

역설은 이것이다. 한국의 마이데이터 서비스 가입자는 약 1억 1,787만 명에 달한다(2024년 2월 기준, 중복 포함)[주8]. 69개 사업자를 통해 금융 데이터가 완벽하게 통합되어 있다. 이 기사의 카드 사용 내역, 보험 가입 현황, 국민연금 납부 이력 — 모든 것이 투명하게 연결되어 있다. 그러나 그 데이터를 알고리즘이 어떻게 읽고 판단하는지에 대한 설명 의무는 어디에도 없다. 금융안정위원회(FSB)의 2024년 보고서에 따르면, 전 세계 40개 이상의 관할권이 금융 분야 AI 관련 정책 대응을 발표했지만, 대부분은 원칙 수준의 가이드라인에 머물러 법적 구속력이 없다[주9]. 투명한 데이터, 불투명한 판단.

그리고 노동 시장의 반대편에서는 또 다른 3초의 판단이 작동한다. 15년 차 IT 헤드헌터 노상범의 증언이다.

"소위 컴퓨터 앞에 앉아 일하는 사람들은 다 위기입니다. 기업 입장에서는 연봉 5천만 원 이상을 주고 주니어 개발자를 뽑는 것보다 월 30만 원짜리 AI를 1년 쓰는 것이 훨씬 가성비가 높으니까요."

— 노상범, 15년 차 IT 헤드헌터 (KBS 추적60분, 2026)

연봉 5,000만 원 대 월 30만 원. 기업의 비용 판단은 3초면 충분하다. 그 판단의 대상이 된 주니어 개발자가 다른 직업을 찾는 데는 3년이 걸릴 수도 있다.

반론도 존재한다. AI 대출 심사와 AI 면접이 도입된 것은 단지 기업의 편의 때문만이 아니었다. 기존 인간 심사에는 구조적 문제가 있었다. 은행 창구 직원의 첫인상, 면접관의 출신 학교 편견, 대출 심사관의 기분 — 이런 주관적 요소들이 전통적 심사를 지배했다. 실제로 AI 대출 심사를 도입한 일부 핀테크 기업들은 기존 은행이 거절하던 신용 이력 부족 계층 — 이민자, 자영업자, 사회 초년생 — 에게 대출 기회를 열었다. 전통 금융에서 소외된 사람들이 AI 덕분에 처음으로 신용 시장에 진입할 수 있었다는 연구도 있다. AI 면접이 도입된 배경 역시 마찬가지였다. 채용 담당자의 무의식적 편향을 줄이고, 외모나 말투가 아닌 내용으로 지원자를 평가할 수 있다는 기대였다. AI가 속도의 문제가 아니라 공정성의 도구가 될 수 있다는 가능성, 그것은 근거 없는 희망이 아니었다.

그러나 가능성이 현실이 되려면 조건이 필요하다. 검증이다. AI의 속도 자체가 문제가 아니라, 그 속도에 대한 감독의 부재가 문제다. 빠른 판단이 빠른 피해를 낳을 때, 그 피해를 감지하고 교정할 수 있는 속도도 함께 갖추어야 한다. 업스타트가 1,600개의 데이터 포인트를 활용한다고 해서 그 판단이 공정한 것은 아니다. 문제는 그 판단이 누군가에게 불공정하게 작동하고 있는지를 아무도 빠른 속도로 확인하지 않는다는 것이다. AI가 새로운 접근성을 열 수도 있고, 새로운 배제를 만들 수도 있다 — 그 차이를 결정하는 것은 알고리즘이 아니라 감독의 구조다.

판단은 빠르다. 회복은 느리다.

2. 속도의 비대칭 — 세 가지 사례

2016년 5월 7일, 플로리다. 테슬라 모델S가 오토파일럿 모드로 주행 중이었다. 시속 119킬로미터. 전방의 흰색 트레일러 측면을 하늘로 인식했다. 경고 없이 충돌했다. 운전자 조슈아 브라운이 사망했다.

"이것은 0에서 5까지의 자율주행 등급 척도에서 겨우 레벨 2에 불과합니다. 레벨 2는 정의상 운전자의 개입이 반드시 필요합니다."[주5]

NTSB 위원장 서멀트의 진단이었다. 0에서 5까지의 자율주행 등급 중 겨우 레벨 2. 정의상 운전자의 개입이 필수적인 단계였다. 그러나 테슬라는 이 시스템에 "오토파일럿"이라는 이름을 붙였다. 비행기 자동항법 장치에서 따온 이름이었다.

마케팅이 기술을 과장했고, 과장이 방심을 불렀고, 방심이 사람을 죽였다. 시속 119킬로미터의 판단은 밀리초 단위였다. 이 사고에 대한 NTSB 보고서가 나오는 데는 16개월이 걸렸다.

도로 위에서 판단이 빗나가면 사람이 죽는다. 그러나 보이지 않는 곳에서의 판단이 빗나가면, 사람은 천천히, 조용히 밀려난다.

테슬라가 마케팅으로 기술을 과장했다면, 아마존은 데이터로 편견을 증폭했다.

아마존은 2014년부터 AI 기반 이력서 심사 시스템을 개발했다. 지난 10년간의 채용 데이터로 학습시켰다. 문제는 그 10년이 기술 산업의 남성 편향기와 겹친다는 것이었다. "성공적 지원자"는 대부분 남성이었으니, 남성적 이력서가 좋은 이력서라고 학습했다.

로이터 통신의 제프리 다스틴이 보도했다. AI는 "women's"라는 단어가 들어간 이력서를 감점 처리했다. 여성 체스 클럽 주장 — 뛰어난 리더십과 전략적 사고를 보여주는 이력이다. AI에게는 마이너스였다. 여자 축구팀 주장, 여자대학 졸업 — 모두 감점. 다스틴은 원인을 한 문장으로 요약했다. "쓰레기가 들어가면 쓰레기가 나온다(Garbage in, garbage out)." 편향된 데이터가 들어가면 편향된 판단이 나온다.

아마존은 2017년에 이 시스템을 폐기했다. 3년 동안 이 AI가 몇 명의 여성 지원자를 걸러냈는지는 공개되지 않았다. 숫자는 묻혔다.

아마존의 편견은 적어도 데이터의 흔적을 남겼다. 로이터 기자가 그 흔적을 추적해 보도할 수 있었다. 그러나 흔적조차 남지 않는 경우가 있다.

그리고 아마존의 편견이 데이터에 숨어 있었다면, 한국 AI 면접의 문제는 더 근본적이었다. 판단 기준 자체가 부재했다.

2021년 기준 한국에서 다수의 공공기관이 AI 면접을 도입했다. 인천국제공항공사, 한국공항공사, KOICA, 한전KDN 등이 포함되었다. AI가 지원자의 표정, 음성, 단어 선택을 분석하여 점수를 매겼다.

인천국제공항공사에서 기묘한 결과가 나왔다. AI 면접 상위 10%에서 최종 합격자가 전무했다. 하위 10%에서 35%가 합격했다. AI의 판단과 실제 결과 사이에 체계적 괴리가 있었다.

시민단체 관계자는 이렇게 지적했다. 어떤 질문을 하고 어떤 작동으로 해서 사람을 평가하는지, 공공기관이 전혀 신경 쓰지 않았다는 사실이 "정보 부존재의 형태로 드러났다"고. 검증 방법은 더 황당했다 — "직원 5명이 테스트해봤다"는 것이 한 기관의 사전 검증 전부였다.

5명의 테스트로 수천 명의 미래를 결정하는 시스템을 도입했다.

공정하게 말하면, AI 면접이나 AI 대출 심사가 도입된 배경에는 인간 심사의 한계가 있었다. 면접관의 무의식적 편견, 대출 심사관의 주관적 판단 — 이런 문제를 AI가 줄일 수 있다는 기대는 근거 없는 것이 아니었다. 실제로 일부 연구는 구조화된 알고리즘이 인간의 일관성 없는 판단보다 나은 결과를 낼 수 있다고 보고한다. 그러나 문제는 "인간보다 나은가"가 아니라 "충분히 검증되었는가"였다. 검증 없이 배포된 알고리즘은 인간의 편견을 줄이는 대신 새로운 편견을 대규모로 확산시킬 위험을 안고 있었다.

세 사례의 공통점은 하나다. AI의 판단은 밀리초에서 수 초 사이에 이루어진다. 그 판단이 틀렸을 때, 피해자가 이의를 제기하고 제도가 대응하는 데는 수개월에서 수년이 걸린다.

속도의 비대칭은 곧 권력의 비대칭이다.

3. 규제의 시간 — NTSB 16개월, CFPB 5년

기술은 밀리초 단위로 판단한다. 제도는 연 단위로 반응한다.

2018년 3월 18일, 엘레인 허즈버그가 사망했다. NTSB가 최종 조사 보고서를 발표한 것은 2019년 11월이었다. 약 20개월. 보고서가 나온 뒤에도 우버의 자율주행 시험은 일시 중단되었다가 재개되었다. 연방 차원의 자율주행차 안전 법안은 2026년 현재까지 의회를 통과하지 못했다.

테슬라 오토파일럿 사고의 궤적도 비슷했다. 2016년 5월 사고, 2017년 9월 NTSB 보고서. 16개월. 보고서는 테슬라의 오토파일럿 설계와 운전자 모니터링 부재를 비판했지만, 구속력 있는 규제 변화로 이어지지 않았다. 비판은 기록이 되었고, 기록은 서랍에 들어갔다.

AI 신용차별의 시간축은 더 길었다. AI 기반 대출 심사가 인종과 성별에 따라 차별적 결과를 낳는다는 연구가 축적되기 시작한 것은 2017년경이었다. UC 버클리 연구진은 AI 대출 알고리즘이 흑인과 히스패닉 대출자에게 연간 약 4.5억 달러의 추가 이자를 부과하고 있다는 분석을 발표했다[주10].

CFPB가 "블랙박스 AI 모델을 신용 거절 설명 회피 수단으로 사용할 수 없다"는 공식 지침을 발표한 것은 2023년 9월이었다. 문제 인식에서 규제 지침까지, 5년 이상.

그리고 2025년 5월, 새로운 이정표가 세워졌다. Mobley v. Workday 사건. AI 채용 시스템에 의한 차별을 다룬 최초의 집단적 법적 절차가 캘리포니아 북부 연방법원에서 진행되었다. ADEA(연령차별금지법) 청구에 대해 예비 집단 인증(preliminary collective certification)이 부여된 것이다[주11]. 워크데이(Workday)의 AI 채용 선별 시스템이 40세 이상 지원자, 흑인, 장애인을 체계적으로 배제했다는 주장이었다. 법원은 워크데이의 알고리즘이 "집단 전체에 적용 가능한 통일된 정책"에 해당한다고 판시했다. 더 중요한 것은 법원이 워크데이를 단순한 소프트웨어 판매업체가 아니라 "채용 과정의 능동적 참여자"로 인정한 것이었다. AI를 만든 회사가 그 AI의 결과에 대해서도 책임을 진다는 의미였다 — AI 벤더 책임론의 근본적 전환이었다.

같은 해 3월에는 ACLU가 HireVue와 Intuit을 상대로 콜로라도 민권부(Colorado Civil Rights Division) 및 EEOC에 차별 진정(complaint of discrimination)을 제기했다[주12]. 원주민이자 청각장애인인 지원자가 HireVue의 비디오 면접 플랫폼에서 자동음성인식 시스템으로 인해 정당한 평가를 받지 못했다는 주장이었다. 비백인 지원자에 대한 유의미하게 낮은 평가도 지적되었다. 2025년은 AI 벤더에 대한 법적 책임이 처음으로 구체화되기 시작한 해였다. 그러나 COMPAS가 처음 배포된 것은 2000년대 초반이었다. 법적 대응이 시작되기까지 약 20년이 걸린 셈이었다.

시간축을 그려보면 이렇다.

AI가 판단하는 데 걸리는 시간: 0.001~3초. 그 판단에 의해 피해가 발생하는 데 걸리는 시간: 즉시. 피해를 인식하는 데 걸리는 시간: 수개월~수년. 제도가 대응하는 데 걸리는 시간: 5~10년.

기술과 제도 사이의 시간 간극이 존재하는 한, 그 사이에서 사람들이 밀려난다. 엘레인 허즈버그는 5.6초 안에 밀려났다. 아마존 AI에 의해 걸러진 여성 지원자들은 3년간 조용히 밀려났다. 박 사장의 대출이 거부된 3초와, 그가 이의를 제기할 수 있는 제도가 정비되기까지의 연 수 — 그 간극이 이 책의 주제다.

4. 3년의 규제가 의미하는 것

1장에서 제시한 5가지 구조 패턴 중 두 가지가 이 장에서 선명하게 드러난다.

첫째, 정보 비대칭.

엘레인 허즈버그는 자신에게 접근하는 차량의 AI가 자신을 "미확인 물체"로 분류하고 있다는 사실을 알 수 없었다. 아마존에 이력서를 제출한 여성 지원자들은 "여성 체스 클럽"이라는 단어가 감점 요인이라는 사실을 알 수 없었다. 한국 AI 면접 응시자들은 자신이 어떤 기준으로 평가받는지 알 수 없었다.

알고리즘의 내부 작동은 블랙박스다. 피해자는 피해 사실조차 인지하기 어렵다.

조이 부올라므위니(Joy Buolamwini)는 이 구조를 정확히 짚었다. 알고리즘 편향은 인간의 편향과 마찬가지로 불공정을 낳지만, 알고리즘은 바이러스처럼 대규모로, 빠른 속도로 편향을 확산시킨다고. 인간의 편향은 한 사람의 판단에 머문다. 알고리즘의 편향은 코드가 배포되는 순간 수백만 명에게 동시에 적용된다.

부올라므위니의 Gender Shades 연구가 보여준 수치가 이를 증명했다. IBM의 안면인식 시스템에서 어두운 피부 여성(darker-skinned females)에 대한 오인식률이 34.7%에 달한 반면, 밝은 피부 남성(lighter-skinned males)에 대한 최대 오류율은 0.8%에 불과했다. 편향이 기술적 스케일로 증폭되는 현실이었다.

"코드를 소유한 사람들이 그것을 다른 사람들에게 배포하지만, 책임은 어디에도 없다."[주13]

캐시 오닐(Cathy O'Neil)의 지적이다. 코드의 소유자가 타인에게 배포하고, 책임은 없다. 1장에서 원로원 의원들이 법을 만들고 집행하지 않은 것처럼, 알고리즘의 설계자가 코드를 배포하고 결과에 책임지지 않는다.

구조는 같다. 결정권자와 피해자 사이의 정보 비대칭이, 책임의 비대칭으로 이어진다.

둘째, 위기의 점진성.

엘레인 허즈버그의 죽음은 극적이었기에 뉴스가 되었다. 그러나 대부분의 AI 피해는 극적이지 않다. 거절된 대출 한 건. 탈락한 이력서 한 장. 낮아진 별점 하나. 각각은 사소하다.

수백만 건이 누적되어야 통계가 된다. 통계가 보도되어야 인식이 된다. 인식이 정치적 의지로 전환되어야 규제가 된다.

우버 사고가 나기 전, 자율주행차의 아차 사고(near-miss)는 수없이 보고되었다. 테슬라 오토파일럿 관련 사고는 조슈아 브라운 이전에도 여러 건 있었다. AI 채용 차별은 아마존 내부에서 이미 알려져 있었다. 그러나 누적된 경고는 각각의 시점에서 "아직은 견딜 만한" 수준이었다.

1장에서 로마 소농의 몰락이 130년에 걸쳐 진행되었듯, AI 피해도 점진적으로 축적된다. 콜루멜라가 "라티푼디움이 이탈리아를 망쳤다"고 썼을 때 아무도 움직이지 않은 것처럼, AI 편향 연구가 발표되어도 제도는 천천히, 너무 천천히 움직인다.

사고가 쌓여야 규제가 온다. 그러나 쌓이는 시간 동안 피해는 알고리즘의 속도로 확산된다.

5. 거울 — 300명의 죽음과 한 명의 보행자

1장으로 돌아가자.

기원전 133년 카피톨리움 언덕에서 300명이 넘는 사람이 죽었다. 단 한 명도 칼에 의해 죽지 않았다. 모두 둔기에 맞아 죽었다. 원로원 의원들이 의사당 의자를 부러뜨려 만든 몽둥이로.

2018년 3월 18일 템피의 밀 애비뉴에서 한 명이 죽었다. 자율주행 알고리즘이 5.6초 동안 그녀를 분류하지 못한 채 시속 63킬로미터로 돌진한 결과였다.

규모는 다르다. 구조는 같다.

1장에서 법은 있었다. 렉스 리키니아-섹스티아, 공유지 점유 상한 500유게라. 234년 동안 시행되지 않았다. 7장에서 기술은 있었다. AEB — 자동긴급제동장치. 충돌을 감지하고 스스로 멈추는 기술. 우버가 의도적으로 비활성화했다.

법이 있었으나 집행되지 않았다. 기술이 있었으나 안전장치가 꺼져 있었다.

로마에서 법을 집행하지 않은 것은 집행이 기득권의 이해에 반했기 때문이었다. 원로원 의원들이 라티푼디움의 소유자였다. 우버에서 안전장치를 끈 것은 안전이 속도의 이해에 반했기 때문이었다. AEB가 불필요한 급제동을 유발하면 시험 주행 일정이 지연된다.

속도가 안전보다 우선이었다. NTSB의 진단이 바로 그것이었다 — "안전을 최우선에 두지 않은 조직."

원로원이 스스로를 규제하지 않았듯, 기술 기업은 스스로를 규제하지 않았다. 원로원의 폭력은 즉흥적이었다 — 미리 무기를 준비한 것이 아니라 의자를 부러뜨렸다. 우버의 안전 해제는 오히려 더 계획적이었다. 누군가가 코드 안에서 AEB를 끄는 결정을 내렸고, 그 결정이 검토되지 않은 채 유지되었다.

300명의 죽음과 한 명의 죽음 사이에 2,151년이 있다. 그 시간 동안 문명은 도로를 만들고, 법전을 쓰고, 의회를 세우고, 인공지능을 개발했다. 그러나 제도가 위험을 따라가지 못하는 구조, 피해자가 결정권 밖에 있는 구조, 기득권이 안전을 후순위로 미루는 구조는 바뀌지 않았다.

도구만 바뀌었다.

이 장에서 우리는 AI가 판단하는 속도와 제도가 대응하는 속도의 간극을 보았다. 5.6초와 16개월. 3초와 5년. 0.3초와 무한 — 이의 제기 창구가 없다면 기다림은 영원하다.

그러나 다음 장에서 우리는 알고리즘이 죽이는 것보다 더 은밀한 방식을 본다. 분류하고, 등급 매기고, 차별하는 방식. 엘레인 허즈버그의 죽음은 뉴스가 되었다. 그러나 COMPAS가 18세 흑인 소녀 브리샤 보든을 "고위험"으로 분류한 것은 뉴스가 되기까지 수년이 걸렸다.

보이지 않는 판단이, 보이지 않는 차별이, 보이지 않는 배제가 — 알고리즘의 속도로 확산되고 있다.

주

이 챕터의 인용 출처와 참고 문헌은 Vol. 4 참고 문헌에서 확인할 수 있습니다.