Supprimer les doublons d’une liste sans perdre l’ordre : méthode simple et rapide
Vous travaillez sur un fichier contenant des milliers de lignes, ou vous recevez des données d’une API, et vous devez retirer les doublons… sans chambouler l’ordre des éléments ?
Avec set(), vous perdez l’ordre original. Heureusement, Python permet une approche simple, élégante et réutilisable pour gérer à la fois les listes d’éléments hachables… et celles d’éléments plus complexes comme les dictionnaires.
def dedup(items):
seen = set()
for item in items:
if item not in seen:
yield item
seen.add(item)
# Exemple d'utilisation
a = [1, 5, 2, 1, 9, 1, 5, 10]
print(list(dedup(a)))
# Résultat : [1, 5, 2, 9, 10]
Cette approche fonctionne uniquement si les éléments de la séquence sont hachables. Si vous essayez de supprimer des doublons dans une séquence de types non hachables (comme les dictionnaires), vous pouvez modifier légèrement la solution comme suit :
def dedupe(items, key=None):
seen = set()
for item in items:
val = item if key is None else key(item)
if val not in seen:
yield item
seen.add(val)
Ici, l'argument key a pour but de spécifier une fonction qui convertit les éléments de la séquence en un type hachable, afin de pouvoir détecter les doublons.
Voici comment l'utiliser avec des dictionnaires :
a = [{'x':1, 'y':2}, {'x':1, 'y':3}, {'x':1, 'y':2}, {'x':2, 'y':4}]
# Supprimer les doublons basés sur la paire ('x', 'y')
print(list(dedupe(a, key=lambda d: (d['x'], d['y']))))
# Résultat : [{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}]
# Supprimer les doublons basés uniquement sur la clé 'x'
print(list(dedupe(a, key=lambda d: d['x'])))
# Résultat : [{'x': 1, 'y': 2}, {'x': 2, 'y': 4}]
Une alternative à éviter pour maintenir l'ordre
Si vous cherchez simplement à éliminer les doublons sans vous soucier de l'ordre, il est souvent plus simple d'utiliser un set. Par exemple :
a = [1, 5, 2, 1, 9, 1, 5, 10]
print(set(a))
# Résultat possible : {1, 2, 10, 5, 9}
Cependant, comme vous pouvez le voir, cette méthode ne garantit en aucun cas l'ordre des éléments. L'approche avec un générateur dedupe résout ce problème en préservant l'ordre initial.
L'utilisation d'une fonction génératrice dans cette solution la rend extrêmement polyvalente. Elle n'est pas uniquement liée au traitement des listes. Par exemple, si vous souhaitez lire un fichier et supprimer les lignes en double, vous pouvez faire ceci :
with open('mon_fichier.txt', 'r') as f:
for line in dedupe(f):
# Traitement des lignes uniques
print(line)
La spécification de la fonction key est une fonctionnalité courante en Python. On la retrouve dans des fonctions natives comme sorted(), min() et max(), ce qui rend cette approche familière et intuitive pour de nombreux développeurs.
En résumé, utiliser un générateur avec un set pour suivre les éléments déjà vus est une approche à la fois performante, lisible et flexible. Que ce soit pour nettoyer des données issues d’un fichier, d’une API ou d’une base de données, cette méthode vous garantit de conserver l’ordre tout en éliminant les doublons intelligemment.
Publié le