*** robots 메타 태그 ***
검색엔진 웹크롤러의 정보 수집 허용 여부를 문서별로 설정.
content가 index 이면 해당 문서 정보 수집, noindex 이면 정보 수집 X.
content가 follow 이면 문서에 링크된 문서 정보 수집, nofollow 이면 정보 수집 X.
*** 사용예 ***
<meta name="robots" content="index,follow" />
=> 해당 문서 및 링크된 문서 정보 수집
<meta name="robots" content="noindex,follow" />
=> 해당 문서는 수집하지 않고, 링크된 문서 정보 수집
<meta name="robots" content="index,nofollow" />
=> 해당 문서 정보 수집, 링크된 문서는 정보 수집하지 않음.
<meta name="robots" content="noindex,nofollow" />
=> 해당 문서 및 링크된 문서 정보 수집하지 않음.
