웹사이트 등록 후 robots, sitemap 추가

웹사이트를 구글, 네이버와 같은 검색 엔진에 등록한 후, SEO(검색 엔진 최적화) 작업의 일환으로 robots.txt와 sitemap.xml을 추가하는 것이 중요합니다.

이 두 파일은 검색 엔진의 웹 크롤러가 당신의 웹사이트를 올바르게 이해하고 인덱싱할 수 있도록 도와줍니다.

1) robots.txt 파일 설정

robots.txt 파일은 웹 크롤러가 웹사이트를 어떻게 크롤링할지 지시하는 파일입니다. 

이를 통해 검색 엔진에게 어떤 페이지를 크롤링할 수 있는지, 어떤 페이지를 크롤링하면 안 되는지를 설정할 수 있습니다.

작성방법

아래와 같은 구조를 가집니다.

User-agent: 허용할 검색엔진 ( * 는 모든 검색 엔진 봇을 대상으로 합니다)

Disallow(or Allow) (허용할 url) ( /는 모든 페이지에 대한 크롤링을 허용합니다)

Sitemap : https://www.yourwebsite.com/sitemap.xml은 사이트맵의 URL을 지정하여 검색 엔진이 사이트맵을 찾을 수 있도록 합니다.

저는 모두 허용으로 설정하였습니다.

User-agent: *

Allow:/

Sitemap: https://www.develop-blog.pe.kr/sitemap.xml

민감 정보 보호: 특정 페이지나 디렉토리를 검색 엔진이 크롤링하지 못하게 하려면 다음과 같이 설정합니다

User-agent: *

Disallow: /private/

Disallow: /secret-page.html

Sitemap: https://www.yourwebsite.com/sitemap.xml

• Disallow: /private/는 /private/ 디렉토리의 모든 페이지에 대한 크롤링을 금지합니다.
• Disallow: /secret-page.html은 특정 페이지의 크롤링을 금지합니다.

1. 위의 설정을 포함한 텍스트 파일을 생성하고, 파일 이름을 robots.txt로 지정합니다.

2.루트 디렉토리에 배포: 웹사이트의 루트 디렉토리에 robots.txt 파일을 업로드합니다.

예를 들어, 웹사이트 주소가 https://www.yourwebsite.com이라면 https://www.yourwebsite.com/robots.txt에서 확인할 수 있어야 합니다.

확인 방법: 브라우저에서 https://www.yourwebsite.com/robots.txt에 접속하여 설정이 제대로 적용되었는지 확인합니다.

그 후 주소/robots.txt 실행 시 아래처럼 나오면 적용완료 입니다.

2) sitemap.xml 파일 설정

다음은 sitemap.xml은 내 웹사이트의 목차라고 생각하시면 됩니다.

sitemap.xml 파일은 웹사이트의 구조를 검색 엔진에 제공하여 페이지가 더 잘 인덱싱될 수 있도록 도와줍니다.

검색 엔진은 사이트맵을 통해 사이트의 중요한 페이지를 발견하고 크롤링할 수 있습니다.

저는 사이트맵생성 사이트에서 sitemap.xml 을 생성하였으니 참고하시기 바랍니다.

생성된 파일도 위와 마찬가지로 루트디렉토리에 넣고 웹주소/sitemap.xml 가 잘 나오는지 확인합니다.

그 후 Google search console에 접속하셔서 Sitemaps 탭에 추가하시면 성공입니다.

3) 마무리

robots.txt와 sitemap.xml 파일을 적절히 설정하면 검색 엔진 크롤러가 웹사이트를 효과적으로 탐색하고 인덱싱할 수 있습니다.

이를 통해 검색 결과에서의 가시성을 높이고, 웹사이트의 SEO 성과를 개선할 수 있습니다.

추가적인 질문이나 도움이 필요하면 언제든지 댓글을 남겨주세요.

읽어주셔서 감사합니다! 😊