Grouper des enregistrements en fonction d’un champ avec itertools.groupby
En Python, il est fréquent de manipuler des séquences d’enregistrements : dictionnaires, objets ou tuples et de vouloir les parcourir par blocs logiques, souvent en fonction d’un champ commun : une date, un identifiant, un statut, etc.
Par exemple :
- Grouper des ventes par date
- Grouper des logs par niveau de sévérité
- Grouper des fichiers par extension
- Grouper des objets par type ou catégorie
Python fournit un outil puissant pour cela : itertools.groupby(). Mais encore faut-il savoir l’utiliser correctement… et éviter les pièges classiques.
Grouper les lignes par date
Partons de la liste suivante :
rows = [
{'address': "Rue Jean Jaurès", 'date': date(2015, 9, 21)},
{'address': "23 rue Michel Colucci", 'date': date(2014, 1, 25)},
{'address': "42, boulevard Jean Moulin", 'date': date(2009, 6, 12)},
{'address': "28 avenue Charles De Gaulle", 'date': date(2011, 5, 13)},
{'address': "21, avenue Pompidou", 'date': date(2020, 3, 30)},
{'address': "Boulevard Napoléon III", 'date': date(2009, 2, 10)},
{'address': "10, place Serge Gainsbourg", 'date': date(2011, 3, 31)},
]
Notre but est d’itérer sur ces lignes groupées par date, dans l’ordre chronologique.
Pourquoi groupby() exige un tri préalable ?
La fonction groupby() regroupe uniquement les éléments consécutifs ayant la même clé. Elle ne cherche pas dans la liste entière : elle se contente d'observer les valeurs adjacentes. Si les données ne sont pas triées selon la clé de regroupement, le résultat sera incorrect.
Exemple complet avec groupby() :
from pprint import pprint
from datetime import date
from operator import itemgetter
from itertools import groupby
rows = [
{'address': "Rue Jean Jaurès", 'date': date(2015, 9, 21)},
{'address': "23 rue Michel Colucci", 'date': date(2014, 1, 25)},
{'address': "42, boulevard Jean Moulin", 'date': date(2009, 6, 12)},
{'address': "28 avenue Charles De Gaulle", 'date': date(2011, 5, 13)},
{'address': "21, avenue Pompidou", 'date': date(2020, 3, 30)},
{'address': "Boulevard Napoléon III", 'date': date(2009, 2, 10)},
{'address': "10, place Serge Gainsbourg", 'date': date(2011, 3, 31)},
]
rows.sort(key=itemgetter('date')) # Étape indispensable
pprint(rows, indent=4)
print("*" * 80)
for d, items in groupby(rows, key=itemgetter('date')):
print(d)
for item in items:
print(" ", item)
Le code ci dessous produit une sortie propre, avec des blocs par date :
[ {'address': 'Boulevard Napoléon III', 'date': datetime.date(2009, 2, 10)},
{ 'address': '42, boulevard Jean Moulin',
'date': datetime.date(2009, 6, 12)},
{ 'address': '10, place Serge Gainsbourg',
'date': datetime.date(2011, 3, 31)},
{ 'address': '28 avenue Charles De Gaulle',
'date': datetime.date(2011, 5, 13)},
{'address': '23 rue Michel Colucci', 'date': datetime.date(2014, 1, 25)},
{'address': 'Rue Jean Jaurès', 'date': datetime.date(2015, 9, 21)},
{'address': '21, avenue Pompidou', 'date': datetime.date(2020, 3, 30)}]
********************************************************************************
2009-02-10
{'address': 'Boulevard Napoléon III', 'date': datetime.date(2009, 2, 10)}
2009-06-12
{'address': '42, boulevard Jean Moulin', 'date': datetime.date(2009, 6, 12)}
2011-03-31
{'address': '10, place Serge Gainsbourg', 'date': datetime.date(2011, 3, 31)}
2011-05-13
{'address': '28 avenue Charles De Gaulle', 'date': datetime.date(2011, 5, 13)}
2014-01-25
{'address': '23 rue Michel Colucci', 'date': datetime.date(2014, 1, 25)}
2015-09-21
{'address': 'Rue Jean Jaurès', 'date': datetime.date(2015, 9, 21)}
2020-03-30
{'address': '21, avenue Pompidou', 'date': datetime.date(2020, 3, 30)}
Comment fonctionne groupby() ? (Schéma mental)
Liste triée → Balayage séquentiel → Détection des “runs” consécutifs → Groupes
groupbyrenvoie (valeur_groupe, itérateur_sur_les_éléments)- Chaque itérateur contient uniquement les éléments adjacents ayant cette valeur
- Les itérateurs sont consommés au fur et à mesure
C’est simple… à condition d’avoir trié la liste avant !
Piège classique : oublier le tri
Sans tri préalable :
- les groupes seraient incohérents,
- certains éléments seraient dupliqués ou manqueraient,
- et vous passeriez peut-être à côté d’un bug silencieux.
C’est l’erreur n°1 des débutants comme des développeurs expérimentés pressés.
Alternative : regrouper sans tri grâce à defaultdict
Si votre objectif est simplement de créer une structure de données accessible par clé, alors groupby() n’est pas toujours la meilleure option. Voici une alternative simple et efficace :
from collections import defaultdict
rows_by_date = defaultdict(list)
for row in rows:
rows_by_date[row['date']].append(row)
Avantages de cette méthode
- pas besoin de trier la liste,
- accès direct par clé (rows_by_date[date]),
- idéal pour une utilisation ultérieure en lecture aléatoire,
- plus performant si votre liste est très grande (et si la mémoire n’est pas un problème).
Cas d’usage typique
- construire un dictionnaire regroupant les commandes par client,
- regrouper des logs par date,
- collecter des objets par catégorie dans une application Flask ou Django.
Quand utiliser quoi ?
| Situation | Outil recommandé |
|---|---|
| Vous devez itérer sur les éléments groupés | itertools.groupby() |
| Vous devez accéder aux groupes aléatoirement | defaultdict(list) |
| Vous avez besoin d’un regroupement stable, sans tri préalable | defaultdict(list) |
| Vous devez afficher ou traiter les données dans l’ordre trié | groupby() (avec tri) |
Bonus : version compacte et pythonique
from itertools import groupby
from operator import itemgetter
for d, items in groupby(sorted(rows, key=itemgetter("date")), key=itemgetter("date")):
print(d, list(items))
Publié le