# robots.txt # 230503, 010302, 270100, 25-260100 last # User-agent:MSIECrawler Disallow: / # User-agent:.*HTTrack.* Disallow: / # ansonsten alle Agenten erlaubt fuer folgende Verzeichnisse: User-agent: * Disallow: /cgi-bin Disallow: /stats Disallow: /presse Disallow: /index_presse.htm Disallow: /index_voice.htm Disallow: /index_werbung.htm # Disallow: /index_werbung.htm # Disallow: /index_abo_finanztip.htm