Grouper des enregistrements en fonction d’un champ avec itertools.groupby

En Python, il est fréquent de manipuler des séquences d’enregistrements : dictionnaires, objets ou tuples et de vouloir les parcourir par blocs logiques, souvent en fonction d’un champ commun : une date, un identifiant, un statut, etc.

Par exemple :

  • Grouper des ventes par date
  • Grouper des logs par niveau de sévérité
  • Grouper des fichiers par extension
  • Grouper des objets par type ou catégorie

Python fournit un outil puissant pour cela : itertools.groupby(). Mais encore faut-il savoir l’utiliser correctement… et éviter les pièges classiques.

Grouper les lignes par date

Partons de la liste suivante :

rows = [
    {'address': "Rue Jean Jaurès", 'date': date(2015, 9, 21)},
    {'address': "23 rue Michel Colucci", 'date': date(2014, 1, 25)},
    {'address': "42, boulevard Jean Moulin", 'date': date(2009, 6, 12)},
    {'address': "28 avenue Charles De Gaulle", 'date': date(2011, 5, 13)},
    {'address': "21, avenue Pompidou", 'date': date(2020, 3, 30)},
    {'address': "Boulevard Napoléon III", 'date': date(2009, 2, 10)},
    {'address': "10, place Serge Gainsbourg", 'date': date(2011, 3, 31)},
]

Notre but est d’itérer sur ces lignes groupées par date, dans l’ordre chronologique.

Pourquoi groupby() exige un tri préalable ?

La fonction groupby() regroupe uniquement les éléments consécutifs ayant la même clé. Elle ne cherche pas dans la liste entière : elle se contente d'observer les valeurs adjacentes. Si les données ne sont pas triées selon la clé de regroupement, le résultat sera incorrect.

Exemple complet avec groupby() :

from pprint import pprint
from datetime import date
from operator import itemgetter
from itertools import groupby


rows = [
    {'address': "Rue Jean Jaurès", 'date': date(2015, 9, 21)},
    {'address': "23 rue Michel Colucci", 'date': date(2014, 1, 25)},
    {'address': "42, boulevard Jean Moulin", 'date': date(2009, 6, 12)},
    {'address': "28 avenue Charles De Gaulle", 'date': date(2011, 5, 13)},
    {'address': "21, avenue Pompidou", 'date': date(2020, 3, 30)},
    {'address': "Boulevard Napoléon III", 'date': date(2009, 2, 10)},
    {'address': "10, place Serge Gainsbourg", 'date': date(2011, 3, 31)},
]

rows.sort(key=itemgetter('date'))  # Étape indispensable
pprint(rows, indent=4)
print("*" * 80)

for d, items in groupby(rows, key=itemgetter('date')):
    print(d)
    for item in items:
        print(" ", item)

Le code ci dessous produit une sortie propre, avec des blocs par date :

[   {'address': 'Boulevard Napoléon III', 'date': datetime.date(2009, 2, 10)},
    {   'address': '42, boulevard Jean Moulin',
        'date': datetime.date(2009, 6, 12)},
    {   'address': '10, place Serge Gainsbourg',
        'date': datetime.date(2011, 3, 31)},
    {   'address': '28 avenue Charles De Gaulle',
        'date': datetime.date(2011, 5, 13)},
    {'address': '23 rue Michel Colucci', 'date': datetime.date(2014, 1, 25)},
    {'address': 'Rue Jean Jaurès', 'date': datetime.date(2015, 9, 21)},
    {'address': '21, avenue Pompidou', 'date': datetime.date(2020, 3, 30)}]
********************************************************************************
2009-02-10
  {'address': 'Boulevard Napoléon III', 'date': datetime.date(2009, 2, 10)}
2009-06-12
  {'address': '42, boulevard Jean Moulin', 'date': datetime.date(2009, 6, 12)}
2011-03-31
  {'address': '10, place Serge Gainsbourg', 'date': datetime.date(2011, 3, 31)}
2011-05-13
  {'address': '28 avenue Charles De Gaulle', 'date': datetime.date(2011, 5, 13)}
2014-01-25
  {'address': '23 rue Michel Colucci', 'date': datetime.date(2014, 1, 25)}
2015-09-21
  {'address': 'Rue Jean Jaurès', 'date': datetime.date(2015, 9, 21)}
2020-03-30
  {'address': '21, avenue Pompidou', 'date': datetime.date(2020, 3, 30)}

Comment fonctionne groupby() ? (Schéma mental)

Liste triée  →  Balayage séquentiel  → Détection des “runs” consécutifs  → Groupes
  • groupby renvoie (valeur_groupe, itérateur_sur_les_éléments)
  • Chaque itérateur contient uniquement les éléments adjacents ayant cette valeur
  • Les itérateurs sont consommés au fur et à mesure

C’est simple… à condition d’avoir trié la liste avant !

Piège classique : oublier le tri

Sans tri préalable :

  • les groupes seraient incohérents,
  • certains éléments seraient dupliqués ou manqueraient,
  • et vous passeriez peut-être à côté d’un bug silencieux.

C’est l’erreur n°1 des débutants comme des développeurs expérimentés pressés.

Alternative : regrouper sans tri grâce à defaultdict

Si votre objectif est simplement de créer une structure de données accessible par clé, alors groupby() n’est pas toujours la meilleure option. Voici une alternative simple et efficace :

from collections import defaultdict


rows_by_date = defaultdict(list)
for row in rows:
  rows_by_date[row['date']].append(row)

Avantages de cette méthode

  • pas besoin de trier la liste,
  • accès direct par clé (rows_by_date[date]),
  • idéal pour une utilisation ultérieure en lecture aléatoire,
  • plus performant si votre liste est très grande (et si la mémoire n’est pas un problème).

Cas d’usage typique

  • construire un dictionnaire regroupant les commandes par client,
  • regrouper des logs par date,
  • collecter des objets par catégorie dans une application Flask ou Django.

Quand utiliser quoi ?

Situation Outil recommandé
Vous devez itérer sur les éléments groupés itertools.groupby()
Vous devez accéder aux groupes aléatoirement defaultdict(list)
Vous avez besoin d’un regroupement stable, sans tri préalable defaultdict(list)
Vous devez afficher ou traiter les données dans l’ordre trié groupby() (avec tri)

Bonus : version compacte et pythonique

from itertools import groupby
from operator import itemgetter

for d, items in groupby(sorted(rows, key=itemgetter("date")), key=itemgetter("date")):
    print(d, list(items))

Publié le

me contacter

* champ obligatoire