Reddit의 CEO인 스티브 허프먼은 Microsoft와 다른 AI 검색 엔진이 플랫폼에서 데이터 스크래핑을 계속하려면 이제 비용을 지불해야 한다고 발표했습니다.
올해 초 Reddit은 Google과 OpenAI와 계약을 맺고 Reddit 데이터 API에서 실시간 콘텐츠에 액세스하여 AI(인공지능) 모델을 훈련시킬 수 있게 되었습니다.
허프먼의 최근 움직임은 인기 있는 플랫폼에서의 무료 데이터 스크래핑을 종식시키고, 데이터 사용 방법을 통제하며, 책임감 있는 사용을 보장하려는 시도입니다.
“이러한 계약 없이는 우리는 데이터가 어떻게 표시되고 무엇에 사용되는지에 대해 말할 수 없고 알 수도 없습니다. 따라서 우리는 데이터를 어떻게 사용하거나 사용하지 않기를 원하는지에 대해 합의하지 않으려는 사람들을 차단해야 하는 입장에 처하게 되었습니다.”라고 Huffman은 인터뷰에서 말했습니다. 더 버지.
그는 “협상을 거부한 마이크로소프트, 앤트로픽, 퍼플렉시티에 대해” “이런 회사들을 차단하는 건 정말 골치 아픈 일”이라고 덧붙였다.
“우리는 더 이상 완전히 개방될 수 없습니다. 데이터가 어디로 가는지, 무엇에 사용되는지 매우 신중하게 고려해야 하기 때문입니다. 정식 계약을 맺지 않은 크롤러는 이제 차단하고 있습니다.”
2024년 6월, Reddit은 로봇 배제 프로토콜(robots.txt)을 업데이트하여 일부 차단을 구현했습니다. 이 프로토콜은 회사가 승인 없이 타사가 Reddit 플랫폼에서 Reddit을 크롤링하는 것을 허용하거나 허용하지 않는 방법에 대한 높은 수준의 지침을 제공합니다.
검색 결과에서 데이터에 액세스하려는 사람은 웹 검색에서의 사용을 포함하여 모든 종류의 콘텐츠에 대해 Reddit과 라이선스 계약을 맺어야 합니다. 이는 이미 Microsoft의 Bing 검색 엔진이 공식 계약이 없는 한 플랫폼의 모든 댓글과 게시물에 액세스하는 것을 차단했다고 뉴스에서 확인했습니다. Microsoft의 검색 책임자 Jordi Ribas가 X에 대해 언급했습니다..
Reddit과 Microsoft가 거래를 시도했지만, 협상은 합의 없이 끝났습니다. Reddit의 대변인은 또한 “Reddit 콘텐츠에 액세스하는 모든 사람은 Redditor를 보호하기 위해 마련된 정책을 포함하여 당사의 정책을 준수해야 합니다. 우리는 Reddit 콘텐츠에 대한 대규모 액세스를 누구와 함께 작업하고 신뢰할지 선택합니다.”라고 말했습니다.
현재 Reddit 콘텐츠에 접근할 수 있는 유일한 검색 엔진은 Google이며, 올해 2월에 Reddit과 6,000만 달러 규모의 계약을 체결했습니다.
Microsoft와 Perplexity는 아직 이에 대해 언급하지 않았습니다. 더 버지의 보도에 따르면, Anthropic 대변인 Jennifer Martinez는 성명을 통해 “Reddit은 5월 중순부터 웹 크롤링 차단 목록에 올랐으며, 그 이후로 Reddit의 URL을 크롤러에 추가하지 않았습니다. 웹 크롤링 차단을 위한 업계에서 인정하는 신호인 robots.txt를 존중합니다.”라고 답했습니다.