뉴욕시 – Rachel S는 뉴욕 브루클린의 걷기 좋은 동네에 살고 있습니다. 대부분의 날 그녀는 차 없이도 편안하게 생활할 수 있습니다. 그녀는 원격으로 일하는 경우가 많지만 때로는 사무실에 가야 할 때도 있습니다. 그것이 그녀의 상황이 약간 어려워지는 곳입니다. 그녀의 작업 공간은 대중교통으로 쉽게 접근할 수 없습니다.
그녀는 자주 운전할 필요가 없기 때문에 가끔 필요한 것을 충족시키기 위해 자동차 공유 플랫폼 Zipcar를 신청했습니다. 신청 절차는 매우 빠르므로 소비자는 비교적 빠르게 차량을 이용해 도로에 나갈 수 있습니다.
불행히도 Rachel에게는 그렇지 않았습니다. 그녀가 제출 버튼을 누르자마자 회사가 사용하는 인공지능 소프트웨어는 그녀를 부적격자로 간주했습니다. 결과에 대해 당황한 Rachel은 회사의 고객 서비스 팀에 연락했습니다.
결국, 그녀는 자신이 무책임한 운전자임을 암시하는 단점이 없습니다. 그녀의 면허에는 아무런 감점도 없습니다. 유일한 실수는 그녀가 17세 때 받은 교통 위반 딱지였는데, 그 벌금은 몇 년 전에 지불되었습니다.
이후 교통 위반 딱지가 정정되었지만 이제 30대가 된 그녀는 여전히 그 결과에 대해 고민하고 있습니다.
그녀는 Zipcar의 고객 서비스 팀과 이야기했지만 아무 소용이 없었습니다. 깨끗한 운전 기록에도 불구하고 그녀는 거절당했습니다. 그녀는 회사가 자신에게 의지할 수 있는 방법이 없으며 사람이 결정을 덮어쓸 수 없다고 말했다고 주장합니다.
“인간에게 어필할 수 있는 방법이나 과정은 없었고 다시 시도하는 유일한 방법은 다시 지원하는 것이 타당합니다.” 지원 수수료는 환불되지 않습니다. Rachel은 Al Jazeera와의 인터뷰에서 회사와의 대화를 회상했습니다.
Zipcar는 Al Jazeera의 논평 요청에 응답하지 않았습니다.
Rachel은 기업이 일상 생활에 영향을 미치는 주요 결정을 내리기 위해 AI에 계속 의존함에 따라 어떤 상환 청구나 항소 정책도 없이 AI 시스템에 의해 대출, 멤버십, 심지어 취업 기회까지 거부된 많은 소비자 중 한 명입니다.
여기에는 최근 직장을 잃은 D도 포함됩니다.
인터뷰 조건으로 D는 개인 정보 보호를 위해 이니셜만 사용하도록 요청했습니다. D는 종교적으로 새로운 기회를 찾았지만 소용이 없었습니다.
몇 달 간의 고민 끝에 D씨는 마침내 일자리를 얻었지만 한 가지 큰 문제가 있었습니다. 바로 타이밍이었습니다.
D가 새 직장을 시작하기까지는 아직 몇 주가 남았고, D가 첫 월급을 받은 지 몇 주가 지났습니다.
추가적인 도움을 받기 위해 D는 약탈적인 급여 담보 대출을 피하기 위해 여러 플랫폼에서 개인 대출을 신청했습니다.
D는 신청한 모든 대출에 대해 거절당했다. D는 특정 회사를 확인하지 않았지만 해당 부문에는 Upstart, Upgrade, SoFi, Best Egg 및 Happy Money 등 다양한 옵션이 있습니다.
D씨는 온라인으로 지원서를 제출한 후 해당 업체에 전화를 걸어도 도움을 줄 수 있는 사람이 없었고 이의를 제기한 사람도 없었다고 한다.
D씨는 20대 초반에 신용카드를 가지고 있었는데 요금이 연체됐다. 그게 그들의 유일한 신용카드였어요. 그들은 또한 아파트를 임대하고 대중교통을 이용합니다.
AI가 운영하는 온라인 대출 기관에 따르면 6년 전 미결제 부채를 갚았음에도 불구하고 신용 기록과 담보가 부족하여 대출 자격이 없습니다.
D씨는 구체적으로 어떤 기업이 대출을 시도했는지 확인하지 않았다. Al Jazeera는 프로세스에 대한 의견을 얻기 위해 각 회사에 연락했으며 출판 당시에는 Upgrade와 Upstart라는 두 회사에서만 응답했습니다.
“추가 정보, 즉 원래 신청서에 제공되지 않은 다른 소득원에 대한 증거를 바탕으로 대출 결정을 변경할 수 있는 경우가 있지만 '인간의 판단 요구'에 관해서는 '규제 기관과 업계 리더들이 제거하기 위해 열심히 노력한 개인적인 편견의 여지가 많이 있습니다.'라고 업그레이드 회사 대변인이 알자지라에 보낸 이메일에서 말했습니다. “기술은 대출 과정에 객관성과 공정성을 가져왔고, 이제는 신청자의 진정한 장점에 따라 결정이 내려집니다.”
역사적 편견이 증폭됨
그러나 그것은 그렇게 간단하지 않습니다. 기존의 역사적 편견은 현대 기술로 인해 증폭되는 경우가 많습니다. The Markup 매체의 2021년 조사에 따르면 흑인 미국인은 백인보다 대출 승인 기관에 의해 자동 거부될 가능성이 80% 더 높습니다.
글로벌 AI 및 데이터 회사인 SAS의 수석 고문인 Naeem Siddiqi는 “AI는 과거 데이터를 기반으로 훈련된 모델일 뿐입니다.”라고 말하면서 은행에 신용 위험에 대한 조언을 제공했습니다.
이는 미국이 유색인종 공동체를 향한 은행 업무에 있어 오랜 차별 관행을 보여온 역사에 힘입은 것입니다.
Siddiqui는 “편향된 데이터를 취하면 모든 AI 또는 모든 모델이 수행하는 작업은 본질적으로 입력한 내용을 반복하는 것입니다.”라고 말했습니다.
“이 시스템은 객관적인 결정을 내릴 수 있도록 편견과 인간의 판단을 최소화하면서 최대한 많은 결정을 내릴 수 있도록 설계되었습니다. 이것은 상황의 아이러니입니다. 물론 균열을 뚫고 나가는 부분도 있습니다.”라고 Siddiqi는 덧붙였습니다.
단지 인종만을 기준으로 한 것이 아닙니다. Apple이나 Goldman Sachs와 같은 회사는 남성보다 여성에게 체계적으로 낮은 신용 한도를 부여했다는 비난을 받기도 했습니다.
이러한 우려는 세대적으로도 마찬가지입니다. Siddiqi는 이러한 거부가 모든 인구통계학적 그룹에 걸쳐 젊은 밀레니얼 세대(1981년에서 1996년 사이에 태어난 세대)와 Z세대(1997년에서 2012년 사이에 태어난 세대)와 같은 젊은 세대의 사회적 이동성을 압도적으로 제한한다고 말합니다.
이는 누군가의 재정적 책임을 평가할 때 신용카드, 주택, 자동차 등 건전한 재정 건전성을 나타내는 표준적인 명칭이 점점 더 관련성이 낮아지고 있기 때문입니다. Z세대 중 약 절반만이 신용카드를 가지고 있습니다. 이는 이전 모든 세대에 비해 감소한 것입니다.
또한 Z세대는 대출을 신청할 때 자동차와 같은 담보를 베팅할 가능성이 적습니다. McKinsey의 최근 연구에 따르면, 연령대는 이전 세대에 비해 운전면허 취득을 선택할 가능성이 적습니다. 16세의 4분의 1, 17세의 45%만이 운전면허를 소지하고 있습니다. 이는 각각 18%와 17% 감소한 수치입니다.
소비자금융보호국은 소비자 보호를 강화했습니다. 지난 9월, 해당 기관은 신용 대출 기관이 이제 대출 거부 이유를 설명해야 한다고 발표했습니다.
“채권자들은 종종 소비자 감시에서 수집할 수 있는 데이터를 포함하여 대규모 데이터 세트를 이러한 복잡한 알고리즘에 제공합니다. 결과적으로 소비자는 자신의 재정과 특별히 관련이 없다고 생각하는 이유로 신용이 거부될 수 있습니다.”라고 해당 기관은 발표했습니다.
하지만 소속사는 D씨가 직접 처리했다고 주장하는 만큼 인적 항소 절차가 부족한 점에 대해서는 언급하지 않고 있다.
D는 장기적인 재정 건전성에 해를 끼치고 향후 합리적인 이자율로 대출을 받을 수 있는 능력에 영향을 미칠 수 있는 일부 청구서 지불을 연기해야 한다고 말했습니다.
'기회에서 탈락'
Siddiqi는 대출 기관이 임대료 및 공과금 지불은 물론 소셜 미디어 행동 및 지출 패턴까지 포함할 수 있는 대출에 대한 결정을 내릴 때 대체 데이터를 고려하기 시작해야 한다고 제안합니다.
소셜 미디어에서는 외국인 체크인이 주요 지표입니다.
Siddiqi는 “돈이 더 많으면 여행을 더 많이 하는 경향이 있고, Bloomberg, Financial Times, Reuters와 같은 페이지를 팔로우하면 재정적으로 책임을 질 가능성이 더 높습니다”라고 덧붙입니다.
자동 거절 문제는 대출이나 회원 신청만의 문제가 아니라 취업 기회에도 해당됩니다. Reddit과 같은 소셜 미디어 플랫폼에서 사용자는 신청서를 제출하자마자 받는 거부 이메일을 게시합니다.
“저는 모든 요구 사항을 충족하고 모든 키워드를 충족했으며 지원서를 제출한 지 1분 이내에 지원서 승인과 거절 편지를 모두 받았습니다.”라고 원본 포스터인 Matthew Mullen이 알 자지라에 말했습니다.
코네티컷에 거주하는 비디오 편집자는 이것이 그에게 처음이라고 말했습니다. 인적 자원 컨설팅 회사인 Magnificent Differences Consulting의 대표인 Lakia Elam과 같은 전문가들은 지원자 추적 시스템과 기타 AI 기반 도구 사이에서 이것이 점점 더 큰 주제가 되고 있으며 점점 더 문제가 되고 있다고 말합니다.
지원자 추적 시스템은 지원자의 기술 세트와 종이에 항상 일치하지 않을 수 있는 양도 가능한 기술을 간과하는 경우가 많습니다.
Elam은 Al Jazeera와의 인터뷰에서 “다양한 배경을 가진 비선형적인 경력 경로를 가진 지원자들이 기회에서 제외되는 경우가 많습니다.”라고 말했습니다.
Elam은 “저는 이 과정에서 인간적인 접촉을 유지해야 한다고 여러 조직에 계속 말하고 있습니다.”라고 말했습니다.
그러나 점점 더 많은 조직이 ATS 및 ChatGPT와 같은 프로그램에 더 많이 의존하고 있습니다. Elam은 그로 인해 자신을 포함하여 많은 가치 있는 취업 지원자가 제외된다고 주장합니다.
Elam은 “만약 제가 오늘 AI 시스템을 통과해야 한다면, 저는 거절당할 것이라고 장담합니다.”라고 말했습니다.
그녀는 4년제 학위가 아닌 GED(고등학교 졸업장과 동등한 자격)를 가지고 있습니다.
Elam은 “그들은 내 이력서에 GED가 있는 것을 보고 우리가 이 일을 멀리해야 한다고 말합니다.”라고 덧붙였습니다.
부분적으로는 미국인들이 채용 과정에 AI가 참여하는 것을 원하지 않는 이유도 있습니다. Pew Research의 2023년 4월 보고서에 따르면 미국인의 41%는 입사 지원서를 검토하는 데 AI를 사용해서는 안 된다고 생각합니다.
Rachel은 “이것은 적법 절차를 따르지 못하는 것에 대한 더 큰 대화의 일부입니다.”라고 말했습니다.
