# robots.txt для AstroNumer
# Разрешаем индексацию для всех поисковых систем
# Контекст для ИИ: /ai.txt и /llms.txt

User-agent: *
Allow: /
Allow: /static/
Allow: /styles/
Allow: /ai.txt
Allow: /llms.txt
Allow: /about
Allow: /consultation
Allow: /faq
Allow: /blog
Allow: /blog/
Allow: /reviews
Allow: /feedback
Allow: /p/
Allow: /prognoz/
Allow: /services/
Allow: /services/natal-chart
Allow: /services/compatibility
Allow: /services/forecast
Allow: /services/matrix-of-destiny
Allow: /services/transit-analysis
Allow: /agreement
Allow: /privacy

# Запрещаем индексацию служебных страниц
Disallow: /admin/
Disallow: /api/
Disallow: /payment/
Disallow: /api/chat/
Allow: /chat
Allow: /chat/
Allow: /chat/*/*
Disallow: /profile
Disallow: /login
Disallow: /register
Disallow: /forgot_password
Disallow: /reset_password/
Disallow: /result
Disallow: /result/
Disallow: /*.pdf$
Disallow: /static/files/
Disallow: /static/admin*
Disallow: /styles/admin*

# Специальные правила для Yandex
User-agent: Yandex
Allow: /
Allow: /static/
Allow: /styles/
Allow: /about
Allow: /consultation
Allow: /faq
Allow: /blog
Allow: /blog/
Allow: /reviews
Allow: /feedback
Allow: /p/
Allow: /prognoz/
Allow: /services/
Disallow: /admin/
Disallow: /api/
Disallow: /payment/
Disallow: /api/chat/
Allow: /chat
Allow: /chat/
Allow: /chat/*/*
Disallow: /profile
Disallow: /login
Disallow: /register
Disallow: /forgot_password
Disallow: /reset_password
Disallow: /result
Disallow: /result/
Disallow: /*.pdf$
Disallow: /static/files/
Crawl-delay: 1

# Специальные правила для Google
User-agent: Googlebot
Allow: /
Allow: /about
Allow: /consultation
Allow: /faq
Allow: /blog
Allow: /blog/
Allow: /reviews
Allow: /feedback
Allow: /p/
Allow: /prognoz/
Allow: /services/
Disallow: /admin/
Disallow: /api/
Disallow: /payment/
Disallow: /api/chat/
Allow: /chat
Allow: /chat/
Allow: /chat/*/*
Disallow: /profile
Disallow: /login
Disallow: /register
Disallow: /forgot_password
Disallow: /reset_password
Disallow: /result
Disallow: /result/
Disallow: /*.pdf$
Disallow: /static/files/

# Разрешаем доступ для ИИ-краулеров (используют те же правила, что User-agent: *)
# GPTBot, ChatGPT-User, PerplexityBot, Claude-Web, Cohere-AI и др. не блокируются

# Указываем расположение sitemap (абсолютный URL для Яндекс и Google)
Sitemap: https://astro-numer.ru/sitemap.xml