아티클FRESH EDIT
OpenAI 크롤러 유저 에이전트 정보가 바뀔 수 있대요
OpenAI Crawlers Can Update Its User Agent String
30초 요약
OpenAI가 크롤러 도움말을 수정했어요. 이제 유저 에이전트 문자열의 버전 번호가 업데이트되거나 robots.txt 마커가 추가된 형태를 사용할 수도 있다고 해요.
빠르게 보기
- OpenAI 크롤러 유저 에이전트 버전 번호 업데이트 가능성
- robots.txt 마커가 추가된 유저 에이전트 사용 가능성
왜 볼만해?
웹사이트를 운영할 때 OpenAI 크롤러를 제어하거나 식별하는 기준이 달라질 수 있어요.
내 일에 써먹기
우리 웹사이트의 robots.txt 설정이랑 크롤러 차단/허용 규칙을 다시 한번 확인해 봐요.
에디터 한마디 · 크롤러를 식별하는 방식에 변화가 생길 것 같아요.
원문 출처Search Engine RoundtableOpenAI Crawlers Can Update Its User Agent String
원문 읽으러 가기 →