Fonctionnalité : Robots.txt Manager #

Génération dynamique du fichier robots.txt avec plusieurs profils de sécurité, gestion d'une base de bots référencés, politiques spécifiques pour les crawlers IA et intégration du sitemap.

Par FTP : Déposer le répertoire robotstxt/ dans /plugins/.

Par package manager : Sélectionner robotstxt dans la liste des plugins disponibles.

Chemins :

• Plugin principal : /plugins/robotstxt/robotstxt.php
• Configuration : /plugins/robotstxt/conf/robotstxt.conf.inc.php
• Handlers : /plugins/robotstxt/handlers/
• Classes : /plugins/robotstxt/lib/RobotsTxtGenerator.php, BotDatabase.php
• CSS : /plugins/robotstxt/css/

Paramètres de configuration :

| Variable | Valeur par défaut | Description |

|---|---|---|

| $basedisplevel | BASE_LEVEL_HIGHUSER | Niveau minimum requis |

| $ftype | 3 | Type plugin (système) |

Profils de sécurité #

| Profil | Description |

|---|---|

| default | Configuration standard |

| private | Bloque la majorité des crawlers |

| open_research | Autorise les crawlers académiques |

| corporate | Configuration entreprise stricte |

| aegis_sovereign | Maximalise le contrôle |

Politiques IA #

| Politique | Description |

|---|---|

| allow | Autorise les crawlers IA |

| block | Bloque les crawlers IA connus |

| honeypot | Piège les crawlers non déclarés |

| ignore | Aucune règle spécifique IA |

Workflow #

1. Sélectionner un profil et une politique IA

2. Configurer le délai de crawl et les éléments à inclure (sitemap, honeypot)

3. Prévisualiser le fichier généré

4. Déployer (écrit robots.txt à la racine du site)

Migration de base de bots #

L'outil de migration run_migration met à jour la base de bots connus et les catégorise.

?obj=robotstxt.php                — Interface principale

Actions via POST :

| Action | Description |

|---|---|

| generate_preview | Génère un aperçu |

| deploy | Écrit le fichier robots.txt |

| run_migration | Met à jour la base de bots |

• Beamreactor\Database\SQL — base de données des bots
• Permission d'écriture sur robots.txt à la racine