robots.txt 란? - 검색엔진 크롤링 막기

서버에서 사이트 페이지 index.html 이 있는 곳에 robots.txt 파일을 보신 분들이 계실겁니다.

 

구글 검색 엔진은 크롤러를 이용해서 세상에 있는 사이트들의 정보를 수집합니다.

 

이 때, robots.txt 파일을 이용하면 크롤러가 내 사이트 정보를 가져가지 않도록 할 수 있습니다.

 

 

그렇다고 내 사이트가 구글에서 검색이 안 되는 것은 아니고, 크롤링만 막는 것이지요.

 

지금 이 글을 올리고 있는 제 티스토리 볼로그에도 robots.txt 파일이 있습니다.

 

 

 

검색엔진 크롤러들이 robots.txt 파일에 따를지 아닐지는 검색엔진 크롤러마다 다르다고 합니다. 구글의 검색엔진 크롤러들은 robots.txt 파일을 따르지만요.

 

references

 

Google Help Center

https://support.google.com/webmasters/answer/6062608?hl=en