## 유럽연합봇 : 이거 방법이 없는데 agent 설명하는 url이 없다.
## 이렇게 막는 방법 밖에.
User-agent: WeBot/0.1
Disallow: /

User-agent: webbot
Disallow: /

# uk 봇인데 장난아니군 
User-agent: MJ12bot/v1.3.1
Disallow: /
User-agent: MJ12bot
Disallow: /


# MSN은 무조건 이미지봇도 막는다. 영양가 없다.
User-agent: Twiceler-0.9
Disallow: /


# MSN은 무조건 이미지봇도 막는다. 영양가 없다.
User-agent: MSNBot
Disallow: /

#msn 대소문자?? 
User-agent: msnbot 
Disallow: / 

#msn 이미지봇 
User-agent: psbot
Disallow: /


## cuil  bot  
User-agent: Twiceler-0.9
Disallow: /


##naver 정확하지 않지만 2종류 
User-agent: Cowbot
Disallow: /

User-agent: NaverBot
allow: /


#DAUM(DAUMOA-web)
User-agent: daumoa
allow: /


## 엠파스봇 
User-agent: empas
allow: /


## 1noon 네이버에 인수된 Yeti 첫눈봇 정확하지 않지만 3종류 
 User-agent: yetibot 
 Disallow: / 
 User-agent: 1Noonbot 1.0
 Disallow: / 
 User-agent: Yeti/1.0
 Disallow: /  
 User-agent: Yeti
 Disallow: /


## 구글봇
 User-agent: Googlebot
 allow: /

#구글이미지봇
 User-agent: Googlebot-Image
 allow: /


## Yahoo
 User-agent: Slurp
 allow: /
 User-agent: yahoo-mmcrawler
 allow: /


#Yahoo 블로그봇  
 User-agent: yahoo-blogs/v3.9
 allow: / 


# 홈페이지 전체가 수집되길 원하지만 특정 검색엔진을 거부하고 싶을 때
# User-agent: EvilRobot
# Disallow: / 


# 홈페이지 전체가 수집되길 원하지만 특정 검색엔진에게만 노출되기를 원할 때
# User-agent: *
# Disallow: /
# User-agent: NaverBot
# Allow: /
# User-agent: Yeti
# Allow: / 


## 홈페이지 전체가 모든 검색엔진에 노출되는 것을 원하지 않을 때
# User-agent: * 
# Disallow: / 

# 홈페이지 전체가 모든 검색엔진에 노출되기를 원할 때
# User-agent: *
# Disallow: 

# 웹로봇의 방문 주기를 지정(초 단위)하고 싶을 때
# User-agent: NaverBot
# Crawl-delay: 30
# User-agent: Yeti
# Crawl-delay: 120