네이버 및 구글에서 게시한 자료가 검색되고 노출이 잘 되도록하여 주는 도구입니다.

그래서 반드시 설정하여 주어야 합니다.

User-agent: *

Allow: /

이런 식으로 작성하면 전세계 검색로봇에게 나의 자료를 검색하여도 좋다는 의미입니다.

그러나 이렇게 할 경우 트래픽 문제가 있고 또한 불필요한 검색로봇이 너무 많아 속도가 느려지는 현상이 있어

그다지 권하지 않는 작성법입니다.

그래서 가장 많이 검색을 하는

네이버, 구글, 다음, 야후, Msn, Bing 등을 기준으로 작성을 하도록 하겠습니다.

User-agent: Naverbot
Allow: /

User-agent: Yeti
Allow: /

User-agent: Naverbot
Disallow:

User-agent: Yeti
Disallow: 

User-agent: Googlebot
Disallow:

User-agent : Daumoa
Disallow:

User-agent : Yahoo! Slurp
Disallow:

User-agent : Bingbot
Disallow:

User-agent : Msnbot
Disallow:

Sitemap : http://www.songjs.com/sitemap.xml

User-agent: *
Disallow: /

이렇게 작성한 후 robots.txt로 저장하신 후 반드시 root 아래에 붙여놓아야 합니다.

예를 들면 저의 경우는

http://www.songjs.com/robots.txt 이런 식으로 되겠지요

다음에는 Sitemap.xml 작성하는 법을 설명하도록 하겠습니다