# robots.txt for 외도민업 현황 지도 # https://host-search.com # 모든 검색엔진 크롤러에 대한 규칙 User-agent: * Allow: / # 구글봇 특별 규칙 User-agent: Googlebot Allow: / Crawl-delay: 1 # 네이버봇 특별 규칙 User-agent: Yeti Allow: / Crawl-delay: 1 # 다음/카카오봇 규칙 User-agent: Daumoa Allow: / Crawl-delay: 1 # 빙봇 규칙 User-agent: bingbot Allow: / Crawl-delay: 1 # 크롤링하지 않을 파일/디렉토리 Disallow: /src/ Disallow: *.js.map Disallow: /node_modules/ Disallow: /.git/ Disallow: /package.json Disallow: /vite.config.js Disallow: /firebase.json Disallow: /data_1.csv Disallow: /data_2.csv Disallow: /markerclustering.js Disallow: /csv-worker.js # 중요한 파일들은 허용 Allow: /favicon-32x32.png Allow: /icon.png # 사이트맵 위치 Sitemap: https://host-search.com/sitemap.xml # 호스트 정보 Host: host-search.com