# Нецелевые краулеры, дающие основную нагрузку — ограничены 06.08.2026
User-agent: Bytespider
Disallow: /

User-agent: TikTokSpider
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-render
Disallow: /

User-agent: Baiduspider-image
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: AspiegelBot
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: GeedoShopProductFinder
Disallow: /

User-agent: GeedoProductSearch
Disallow: /

# Все остальные, включая Googlebot, YandexBot, Bingbot и AI-краулеры — без ограничений
User-agent: *
Allow: /

Sitemap: https://marinetec.com/sitemap_index.xml