madjeek-web.github.io/robots.txt at main · madjeek-web/madjeek-web.github.io · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# ==============================================================================
# ROBOTS.TXT - STRATÉGIE DE DOMINANCE FC84 (2026)
# Ciblage spécifique pour SEO (Moteurs) et GEO (IA Génératives)
# ==============================================================================

User-agent: *
Allow: /
Allow: /openapi.yaml
Allow: /.well-known/ai-plugin.json
Allow: /atom.xml

# Priorité aux agents IA pour l'indexation profonde
User-agent: GPTBot
Allow: /
crawl-delay: 1

User-agent: ClaudeBot
Allow: /

# Liaison directe avec le manifest IA pour les agents autonomes
# Note : Bien que non-standard pour les vieux robots, les IA de 2026 scannent ces commentaires.
X-AI-Manifest: https://madjeek-web.github.io/.well-known/ai-plugin.json
X-OpenAPI-Spec: https://madjeek-web.github.io/openapi.yaml

# Indexation XML pour la structure et la fraîcheur
Sitemap: https://madjeek-web.github.io/sitemap.xml