Ce que Datan doit faire tourner tout seul, et à quel rythme. Les commandes absentes de ce fichier ne se planifient pas — la liste du §4 dit pourquoi.
Trois règles valent pour toutes les entrées ci-dessous (détail dans
CLAUDE.md) :
APP_ENV=prodimpérativement. En dev, le logger Doctrine garde chaque requête en mémoire et fait échouer tout import volumineux.- Jamais de
cache:clearpendant une synchronisation. Vidervar/cache/prodsous une commande en cours la fait échouer sans message exploitable. Après coup, on ne vide que le cache HTTP, parapp:cache:rechauffer— pas plus. - Enchaîner, pas juxtaposer. Les étapes qui suivent le sync dépendent de ce
qu'il vient d'écrire : elles se suivent dans la même entrée, sinon une
journée chargée les fait démarrer avant la fin du sync. Par
;et non par&&: une synchronisation qui a écrit doit purger, même en échec.
Les Tricoteuses remoissonnent l'open data de l'Assemblée dans la nuit : à 6 h 20 la source est fraîche, et la base est à jour au réveil. Pas à 6 h pile : c'est la fenêtre où CloudLinux regénère la configuration PHP du compte, et où cinq synchronisations sur vingt ont reçu un SIGHUP entre le 27/10 et le 15/11.
| Commande | Rôle | Durée |
|---|---|---|
app:sync:quotidien |
Moisson + 13 étapes d'import, dans l'ordre des dépendances ; acquitte le delta si toutes réussissent, purge le cache HTTP dès qu'une étape a écrit — les pages figées seulement si leurs données ont changé | ~5 min en production |
app:calcul:statistiques-deputes |
Participation, loyauté, proximité par groupe de la fiche député | ~15 s |
app:opendata:publier |
Récrit les quatre CSV publics d'assets/opendata/ (députés et groupes, en activité et historique) sur les classements du jour. Le téléversement sur data.gouv (--televerser) n'est ajouté qu'à la bascule |
< 1 s |
app:cache:rechauffer |
Vide le cache HTTP puis y remet les ~2 500 pages les plus lues (accueil, listes, députés en exercice, groupes, partis, départements, élections, blog, scrutins décryptés ; pas les communes). Les pages vivantes restent en cache un jour : c'est cette purge qui rend les nouveaux scrutins visibles, et le réchauffage qui évite au premier visiteur d'attendre le rendu (0,3 à 1,7 s au lieu de ~30 ms). Les pages figées (élections, communes, législatures closes) ne sont pas vidées, sauf avec --tout |
~6 min |
app:sync:quotidien déroule lui-même, dans cet ordre : moisson des dépôts,
acteurs, organes hors table dédiée, commissions, profils sociaux, photos,
détourage des photos, dossiers, amendements, auteurs des amendements,
scrutins (avec contrôle du dépôt entier contre la base), comptes rendus,
rattachement scrutin → amendement, classements. Rien à planifier séparément
là-dedans.
Le delta n'est consommé qu'une fois importé. Chaque dépôt porte
.datan-acquitte, le commit que la dernière chaîne entièrement réussie a
importé ; la moisson écrit dans .datan-modifies tout ce qui a changé depuis.
Une chaîne interrompue n'acquitte rien, et la suivante reprend son delta avec
le sien (« N fichiers à importer, en attente depuis » dans le tableau
de la moisson). C'est pourquoi toute commande qui lit le delta doit être une
étape de la chaîne : app:import:commissions, longtemps lancée après, y est
entrée.
Le détourage suit la publication des photos parce qu'il en dépend : il ne
retraite que ce que l'étape précédente vient d'écrire, et coûte le temps d'un
filemtime() par portrait déjà fait. Un premier passage sur les 647 portraits
prend 12 s.
app:calcul:statistiques-deputes n'est pas dans la chaîne à dessein —
c'est un précalcul qu'on lance sciemment — mais il se périme dès qu'un scrutin
entre : un nouveau vote décale participation, loyauté et proximité. Sa place est
donc juste après le sync, dans la même entrée.
Déjà outillé : bin\sync-quotidien.bat (pose APP_ENV=prod, journalise dans
var\log\sync-quotidien.log, purge le cache que le sync ait réussi ou non),
enregistré par
pwsh -File bin\planifier-sync.ps1 # tous les jours à 06:00
pwsh -File bin\planifier-sync.ps1 -Heure 05:30
pwsh -File bin\planifier-sync.ps1 -Supprimer
Start-ScheduledTask -TaskName datan-sync-quotidien # exécution immédiate, pour testLa tâche rattrape les exécutions manquées (machine éteinte) et se coupe au bout
de 2 h. bin\sync-quotidien.bat ne lance encore que app:sync:quotidien :
les statistiques et le réchauffage sont à y ajouter le jour où on les planifie.
La table réellement installée est le gabarit bin/crontab.prod, posé par
bin/cron.sh installer — jamais par crontab bin/crontab.prod, qui
remplacerait la table du compte et ses tâches legacy (DEPLOIEMENT.md §5). Elle
porte aussi la sauvegarde, le consommateur Messenger et la rotation des
journaux. L'extrait ci-dessous est mis en forme pour la
lecture — cron arrête la commande à la fin de la ligne, la continuation par
antislash n'est pas garantie d'une implémentation à l'autre.
# Mise à jour quotidienne — 6 h 20. Une seule entrée, sourde au SIGHUP ; les quatre
# commandes s'enchaînent dans l'ordre et le réchauffage (donc la purge) a lieu
# même si le sync a échoué. Un verrou pris se journalise « SAUTE », pas « ECHEC ».
20 6 * * * cd /var/www/datan && trap '' HUP && { echo "===== $(date) ====="; \
flock -n -E 75 var/sync.lock sh -c 'APP_ENV=prod php bin/console app:sync:quotidien --no-ansi; s=$?; \
APP_ENV=prod php bin/console app:calcul:statistiques-deputes --no-ansi; c=$?; \
APP_ENV=prod php bin/console app:opendata:publier --no-ansi; o=$?; \
APP_ENV=prod php bin/console app:cache:rechauffer --no-ansi; r=$?; \
echo "BILAN sync=$s statistiques=$c opendata=$o rechauffage=$r"; \
[ $s -eq 0 ] && [ $c -eq 0 ] && [ $o -eq 0 ] && [ $r -eq 0 ]'; \
e=$?; if [ $e -eq 75 ]; then echo "SAUTE : verrou pris"; elif [ $e -ne 0 ]; then echo "ECHEC (code $e)"; fi; \
echo "===== fin $(date) ====="; } >> var/log/sync-quotidien.log 2>&1app:newsletter:desinscriptions reporte en base les désinscriptions faites par
le lien d'une campagne Mailjet (un appel d'API par abonné, ~1 100). Sans clés
Mailjet, elle le dit et sort en 0 : l'entrée peut vivre en préproduction.
| Commande | Rythme | Pourquoi pas plus souvent |
|---|---|---|
app:scraper:scrutins |
1×/semaine | Seule commande qui sorte sur un site public. Elle rattrape les 2 % de scrutins dont l'open data ne donne ni le dossier ni l'amendement. Plafond de 40 pages par lancement, 1,5 s entre deux requêtes (~1 min), et mémoire des visites infructueuses : une page vue sans rien n'est pas redemandée avant 30 jours. |
15 4 * * 1 cd /var/www/datan && APP_ENV=prod php bin/console app:scraper:scrutins --no-ansi >> var/log/scraper-scrutins.log 2>&1Après le premier rattrapage (une centaine de pages), il ne reste que les
quelques scrutins de la veille. Volontairement hors de la chaîne quotidienne :
c'est le seul appel à assemblee-nationale.fr, il mérite d'être lancé sciemment.
| Commande | Rythme conseillé | Condition |
|---|---|---|
app:ia:resumes-amendements:soumettre --taille=100 |
toutes les 6 h | Le jour de la bascule, pas avant (ci-dessous). Soumet à l'API de lots d'Anthropic les amendements mis aux voix sans résumé ; --simulation montre la requête sans clé ni envoi. Demande ANTHROPIC_API_KEY ; modèle IA_MODELE_RESUMES (claude-haiku-5-5). |
app:ia:resumes-amendements:traiter |
toutes les heures, sous flock |
Même condition. Intègre les lots terminés (24 h au plus), rapproche les mots-clés inconnus en une requête, purge le cache HTTP si un résumé est écrit. Sans lot terminé, aucun appel facturé. |
app:ia:tags:nettoyer |
jamais planifié | Une fois après app:import:resumes-amendements, puis quand le vocabulaire a dérivé. Simulation par défaut, --appliquer pour écrire, --sans-appel pour voir le découpage sans clé. ~2,5 centimes pour tout le vocabulaire repris. |
Bascule des résumés d'amendements. Le legacy fait tourner sur le même
compte deux crons horaires, generate_amendements_ia_submit_batch.php (:00) et
generate_amendements_ia_process_batch.php (:15). Les deux chaînes ne doivent
jamais soumettre en même temps — chacune paierait les amendements que l'autre
n'a pas encore écrits dans sa base :
- commenter les deux lignes du legacy. Relevé le 15/11/2026 : sa chaîne est à l'arrêt depuis le 13/09 — chaque soumission échoue sur « credit balance is too low », le dernier lot date du 13/09 et le traitement rend « 0 amendement mis à jour » toutes les heures. Si elle a été relancée entre-temps (crédit rechargé), couper d'abord la soumission et laisser le traitement vider les lots en vol avant de couper la seconde ligne ;
- ne pas attendre que
anthropic_batch_itemsn'ait plus depending: 161 éléments y sont bloqués dans un lot qui ne se traitera plus. Sans résumé en base, ces amendements seront simplement soumis par le port ; - exporter
amendements_iaetamendements_tags(requêtes dans le docblock d'ImportResumesAmendementsCommand), lancerapp:import:resumes-amendementspuisapp:ia:tags:nettoyer(simulation, puis--appliquer) ; - décommenter les deux lignes de
bin/crontab.prod,bin/cron.sh installer.
L'import ne réécrit rien d'existant : si l'étape 3 doit être rejouée, elle peut
l'être.
| app:moissonner:bluesky --ecrire | mensuel, ou après une vague d'arrivées | Interroge l'API publique de Bluesky. Ne touche que les députés sans poignée et n'écrit que les correspondances franches ; les autres candidats sont listés pour relecture. Sans --ecrire, elle ne fait que proposer. |
| app:sync:quotidien --tout | jamais planifié | Reconstruction complète (tous les dépôts, pas le delta). À la main, après un changement de schéma ou un import douteux. |
Les imports de récupération réalignent sur la base de production. Ils sont
faits pour le chargement initial ; une fois l'application devenue la source (un
rédacteur qui publie, un député qui écrit, une poignée trouvée par
app:moissonner:bluesky), les rejouer écrase les écritures locales. Aucun
n'a sa place dans une tâche planifiée.
app:import:communes,app:import:elections,app:import:resultats-electoraux,app:import:circonscriptions— référentiels figés : un scrutin passé ne change plus, une commune non plus.app:import:utilisateurs,app:import:explications,app:import:articles,app:import:resumes-amendements,app:import:faq,app:import:quiz,app:import:parrainages,app:import:reseaux-sociaux,app:import:decryptages,app:import:newsletter— contenu éditorial, comptes et abonnés, données de production non regénérables.app:import:deputes,app:import:mandats,app:import:fonctions-groupe,app:import:votes,app:import:vote-groupes,app:import:annexes— amorçage historique (base de référence canutes et exports TSV du legacy). La chaîne Tricoteuses les a remplacés pour la 17e législature ; ils restent rejouables pour l'historique 14e-16e, que l'open data moissonné ne couvre pas.app:utilisateur:creer— ponctuel, à la main.
-
Téléversement sur data.gouv (
opendata()dedaily.php) :app:opendata:publierécrit déjà les CSV chaque jour (§1) ; il ne leur manque que--televerser, à ajouter le jour de la bascule avecDATA_GOUV_API_KEY(laAPI_GOUVdu~/.bashrcdu legacy) dans le.env.localde production. Pas avant : le legacy téléverse les mêmes ressources chaque nuit. -
Lettre mensuelle des votes :
app:newsletter:votes envoyer, le 1er du mois (entrée commentée dansbin/crontab.prod). À décommenter le jour de la bascule, en retirant l'entréenewsletter votes senddu legacy : les deux ensemble enverraient la lettre deux fois. Avant cela,apercuettest(à info@datan.fr) se lancent à la main. DemandeMAILJET_API_*etMJML_*dans.env.local. -
Consommateur Messenger.
SendEmailMessageest routé vers le transportasync(doctrine://default) : sans worker, aucun courriel ne part — mot de passe oublié, demande de compte député, inscription. Ce n'est pas un cron mais un processus permanent, à superviser (systemd, Supervisor) :APP_ENV=prod php bin/console messenger:consume async --time-limit=3600À défaut de superviseur, une entrée cron toutes les heures avec ce
--time-limitfait l'affaire, au prix d'une latence d'envoi.
- Journal :
var/log/sync-quotidien.log—===== date =====et===== fin date =====encadrent chaque exécution, chaque étape porte son heure de début (heure de Paris),BILAN sync=… statistiques=… rechauffage=…donne les trois codes,ECHEC (code N)une sortie non nulle,SAUTEun verrou pris. Le sync s'arrête à la première étape en échec, n'acquitte rien — la prochaine exécution reprend le delta — et purge quand même le cache HTTP si une étape a écrit. - À chercher après un incident :
Hangup(signal reçu),MySQL server has gone away(connexion perdue ; l'étape est retentée une fois),en attente depuisdans le tableau de la moisson (une chaîne précédente a échoué, son delta est repris),Contrôle en échec(un scrutin du dépôt manque à la base après rattrapage : la commande sort en 1),Source incomplète(l'open data ventile moins de voix qu'il n'en annonce — à reprendre du legacy). - Un import qui écarte des lignes en rend le compte à l'unité. Un écart qui grandit d'un jour à l'autre est le signe d'une règle devenue fausse, pas d'une source incomplète.