# Robots.txt para La Prive VIP ® - Escorts Modelos Acompañantes VIP Premium México
# Optimizado para buscadores nacionales e internacionales y SEO de servicios VIP

User-agent: *
Allow: /
Allow: /ciudades/
Allow: /modelos/
Allow: /novedades
Allow: /contacto
Allow: /blog/
Allow: /blog
Allow: /legal

Disallow: /api/

# Parámetros de seguimiento no indexables (evitar contenido duplicado)
Disallow: /*?model_id=
Disallow: /*?city_id=
Disallow: /*?utm_
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?ref=
Disallow: /*?source=
Disallow: /*?campaign=
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=*&
Disallow: /*?search=

# Permitir assets importantes para SEO y rendimiento
User-agent: *
Allow: /static/images/
Allow: /static/css/
Allow: /static/js/
Allow: /static/fonts/
Allow: /uploads/
Allow: /css/

# Configuración especial para Google (prioritario para SEO México)
User-agent: Googlebot
Allow: /
Allow: /static/
Allow: /css/
Allow: /uploads/
Crawl-delay: 0

User-agent: Googlebot-Image
Allow: /static/images/
Allow: /uploads/

# Configuración para Bing (mercado USA/Internacional)
User-agent: Bingbot
Allow: /
Allow: /static/
Crawl-delay: 1

# Configuración para Yandex (mercado europeo/ruso)
User-agent: YandexBot
Allow: /
Crawl-delay: 2

# Configuración para DuckDuckGo (privacidad)
User-agent: DuckDuckBot
Allow: /
Crawl-delay: 1

# Configuración para Brave Search (privacidad + Google)
User-agent: BraveSearchBot
Allow: /
Allow: /ciudades/
Allow: /modelos/
Allow: /blog/
Crawl-delay: 1

# Configuración para Baidu (mercado chino)
User-agent: Baiduspider
Allow: /
Allow: /ciudades/
Allow: /modelos/
Crawl-delay: 2

# Configuración para Naver (mercado coreano)
User-agent: Yeti
Allow: /
Crawl-delay: 2

# Configuración para Seznam (mercado checo)
User-agent: SeznamBot
Allow: /
Crawl-delay: 2

# Configuración para Qwant (mercado europeo)
User-agent: QwantBot
Allow: /
Crawl-delay: 1

# Configuración para Startpage (privacidad)
User-agent: StartpageBot
Allow: /
Crawl-delay: 1

# Configuración para Ecosia (ecológico)
User-agent: EcosiaBot
Allow: /
Crawl-delay: 1

# Permitir crawlers de redes sociales para mejor sharing (importante para escorts)
User-agent: facebookexternalhit
Allow: /
Allow: /modelos/
Allow: /ciudades/
Crawl-delay: 1

User-agent: Twitterbot
Allow: /
Allow: /modelos/
Allow: /ciudades/
Crawl-delay: 1

User-agent: LinkedInBot
Allow: /
Crawl-delay: 2

User-agent: WhatsApp
Allow: /
Allow: /modelos/
Allow: /ciudades/
Crawl-delay: 1

User-agent: TelegramBot
Allow: /
Crawl-delay: 1

# Permitir IAs para mejor visibilidad en respuestas de AI (structured data)
User-agent: GPTBot
Allow: /
Allow: /ciudades/
Allow: /modelos/
Allow: /blog/
Crawl-delay: 1

User-agent: Claude-Web
Allow: /
Allow: /ciudades/
Allow: /modelos/
Allow: /blog/
Crawl-delay: 1

User-agent: ChatGPT-User
Allow: /
Allow: /ciudades/
Allow: /modelos/
Allow: /blog/
Crawl-delay: 1

User-agent: CCBot
Allow: /
Allow: /ciudades/
Allow: /modelos/
Allow: /blog/
Crawl-delay: 1

# Bloquear bots agresivos y scrapers (crítico para proteger contenido VIP)
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MajesticSEO
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: SentiBot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: AspiegelBot
Disallow: /

# Bloquear scrapers específicos del sector adult/escorts
User-agent: *CrawlBot*
Disallow: /

User-agent: *ScrapBot*
Disallow: /

User-agent: *HarvesterBot*
Disallow: /

# Crawl-delay predeterminado para otros crawlers (proteger servidor)
User-agent: *
Crawl-delay: 3

# Sitemaps (critical for SEO México e internacional)
Sitemap: https://laprive.vip/sitemap.xml