Fonctionnalité : Robots.txt Manager #

Génération dynamique du fichier `robots.txt` avec plusieurs profils de sécurité, gestion d'une base de bots référencés, politiques spécifiques pour les crawlers IA et intégration du sitemap.

---

Installation et Configuration #

Par FTP : Déposer le répertoire `robotstxt/` dans `/plugins/`.

Par package manager : Sélectionner `robotstxt` dans la liste des plugins disponibles.

Chemins :

• Plugin principal : `/plugins/robotstxt/robotstxt.php`
• Configuration : `/plugins/robotstxt/conf/robotstxt.conf.inc.php`
• Handlers : `/plugins/robotstxt/handlers/`
• Classes : `/plugins/robotstxt/lib/RobotsTxtGenerator.php`, `BotDatabase.php`
• CSS : `/plugins/robotstxt/css/`

Paramètres de configuration :

| Variable | Valeur par défaut | Description |

|---|---|---|

| `$basedisplevel` | `BASE_LEVEL_HIGHUSER` | Niveau minimum requis |

| `$ftype` | `3` | Type plugin (système) |

---

Utilisation #

Profils de sécurité #

| Profil | Description |

|---|---|

| `default` | Configuration standard |

| `private` | Bloque la majorité des crawlers |

| `open_research` | Autorise les crawlers académiques |

| `corporate` | Configuration entreprise stricte |

| `aegis_sovereign` | Maximalise le contrôle |

Politiques IA #

| Politique | Description |

|---|---|

| `allow` | Autorise les crawlers IA |

| `block` | Bloque les crawlers IA connus |

| `honeypot` | Piège les crawlers non déclarés |

| `ignore` | Aucune règle spécifique IA |

Workflow #

1. Sélectionner un profil et une politique IA

2. Configurer le délai de crawl et les éléments à inclure (sitemap, honeypot)

3. Prévisualiser le fichier généré

4. Déployer (écrit `robots.txt` à la racine du site)

Migration de base de bots #

L'outil de migration `run_migration` met à jour la base de bots connus et les catégorise.

---

Hooks et Points d'entrée #

?obj=robotstxt.php                — Interface principale

Actions via POST :

| Action | Description |

|---|---|

| `generate_preview` | Génère un aperçu |

| `deploy` | Écrit le fichier `robots.txt` |

| `run_migration` | Met à jour la base de bots |

---

Dépendances #

• `Beamreactor\Database\SQL` — base de données des bots
• Permission d'écriture sur `robots.txt` à la racine