robots.txt 검색 엔진 접근 제한.
나도 뒤늦게 알고선 만들어 넣었지만, 혹시 아직까지도 모르고 계셨을 분들을 위해서 깔끔하게 정리해서 올린다.
검색 엔진을 통해서 유입되는 트래픽을 차단하고 싶으면 아래와 같이 따라하시면 되며... 물론 이러한 표준 규약을 어기고 있는 사이트도 있기 때문에, 백프로 효과가 있는 건 아니지만, 대부분의 검색 엔진에는 효과가 있다고 한다.
그 효과는 좀더 지켜봐야 알겠지만, 지금으로서는 뭔가 대단한 보호막을 하나 씌워 놓은 기분이랄까.
1. <META> tag
아래 소스를 <HEAD> 와 </HEAD> tag 사이에 넣어 주세요.
<META NAME="robots" CONTENT="noindex, nofollow">
noindex : 현재 문서의 검색을 막음
nofolllow : 현재 문서와 연결된 문서의 검색을 막음
[Example]
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>
2. robots.txt
홈페이지의 루트 디렉토리에 아래와 같이 작성된 robots.txt 파일을 만들어서 넣어 주세요. (다른 하위 디렉토리에 넣을 경우 효과가 없으므로, 반드시 루트에 넣도록 합니다.)
이는 모든 검색엔진으로부터 정보 수집을 차단하고, 차단 대상 디렉토리를 루트의 모든 디렉토리로 정의한 것입니다.
User-agent: *
Disallow: /
User-agent: (차단 검색 엔진) 으로, *은 모든 검색엔진을 의미
Disallow: (차단을 원하는 디렉토리) /는 루트에 포함된 모든 디렉토리를 의미
[Example]
Disallow: /cgi-bin/
Disallow: /tmp/
* 로봇 접근 제한 표준 규약(Robot Exclusion Standard) : http://www.robotstxt.org