검색엔진 (1) 썸네일형 리스트형 robots.txt 란? - 검색엔진 크롤링 막기 서버에서 사이트 페이지 index.html 이 있는 곳에 robots.txt 파일을 보신 분들이 계실겁니다. 구글 검색 엔진은 크롤러를 이용해서 세상에 있는 사이트들의 정보를 수집합니다. 이 때, robots.txt 파일을 이용하면 크롤러가 내 사이트 정보를 가져가지 않도록 할 수 있습니다. 그렇다고 내 사이트가 구글에서 검색이 안 되는 것은 아니고, 크롤링만 막는 것이지요. 지금 이 글을 올리고 있는 제 티스토리 볼로그에도 robots.txt 파일이 있습니다. 검색엔진 크롤러들이 robots.txt 파일에 따를지 아닐지는 검색엔진 크롤러마다 다르다고 합니다. 구글의 검색엔진 크롤러들은 robots.txt 파일을 따르지만요. references Google Help Center https://suppor.. 이전 1 다음
