아티클FRESH EDIT
ChatGPT 봇, robots.txt 차단 무시할 수도 있어요
OpenAI Says Robots.txt May Not Apply To ChatGPT’s Fetch Bot via @sejournal, @MattGSouthern
30초 요약
OpenAI의 페이지 수집 봇이 robots.txt로 거부된 사이트에도 접근하고 있다는 데이터가 나왔어요. OpenAI 문서에서도 이 파일이 봇을 막지 못할 수 있다고 설명하네요.
빠르게 보기
- ChatGPT 봇이 robots.txt로 금지된 사이트에 접근하는 사례 발견
- OpenAI 문서 내에서도 해당 파일이 봇을 막지 못할 수 있음을 명시
왜 볼만해?
콘텐츠 저작권 보호나 자사 데이터의 AI 학습 방지를 위해 기술적인 대응책을 고민해봐야 해요.
내 일에 써먹기
우리 브랜드 콘텐츠의 크롤링 허용 범위를 다시 점검해봐요. AI 봇 차단이 꼭 필요하다면 다른 기술적 수단도 같이 살펴봐야 하죠.
에디터 한마디 · 사이트 운영자가 설정한 크롤링 차단이 ChatGPT 앞에서는 소용없을 수도 있겠어요.
원문 출처Search Engine JournalOpenAI Says Robots.txt May Not Apply To ChatGPT’s Fetch Bot via @sejournal, @MattGSouthern
원문 읽으러 가기 →