La data quality est un des nombreux défis liés à la croissance exponentielle des données que toute organisation doit affronter. Si on écarte les problématiques liées au stockage et à la protection des données, les enjeux les plus importants sont les suivants :

• l’analyse des données : les organisations doivent être en mesure d'analyser les données pour les transformer en informations utiles et exploitables, améliorer les opérations et prendre des décisions éclairées,

• la qualité des données, préalable indispensable à l’analyse : il est essentiel de s’assurer de l'intégrité des données afin de garantir des résultats justes, pertinents et appropriés.

Sommaire

1. Qu'est ce que la data quality, la qualité des données ?

2. Pourquoi la data quality est un problème en entreprise ?

3. Data quality : comment détecter les erreurs de saisie

4. Comment traiter des données hétérogènes ?

5. Data quality : pourquoi automatiser le traitement de ses données ?

6. Les solutions de data quality, comment bien choisir son outil de qualité des données ?

Qu'est ce que la data quality, la qualité des données ? 🤔

La data quality, ou qualité des données, est un ensemble de métriques permettant de juger de la pertinence et l’utilisabilité de ses données. La traiter, c’est être capable de mesurer l’exactitude, la complétude, l'intégrité et l’actualité de ses données :

• l'exactitude signifie que les données sont correctes et cohérentes,

• la complétude signifie que les données ne sont pas partielles,

• l'intégrité signifie que les données sont protégées contre les modifications, les suppressions et les ajouts non autorisés,

• l'actualité signifie que les données sont à jour.

Dans de nombreuses organisations, les données sont aujourd'hui produites à grande vitesse et à grande échelle, rendant difficile leur gestion et leur contrôle. En effet, ces données peuvent être :

• incomplètes ou incorrectes voire aberrantes,

• enregistrées dans différents formats et dans différents systèmes de stockage, ce qui complique leur interprétation.

Pour remédier à ces difficultés, la conduite d’une politique de qualité des données est un enjeu majeur. C’est parce que les données seront de qualité, que les décisions prises seront éclairées, et ce dans tous les secteurs d'activité ou disciplines. Essentiels à la confiance et la précision, les processus de data quality se révèlent déterminants, à la fois pour la quantité d'information recueillie que pour sa fiabilité.

Plus vos données seront efficacement collectées, contrôlées, corrigées et harmonisées, meilleures seront vos conclusions et plus pertinentes seront vos décisions.

Pour une introduction plus détaillée sur ces fondamentaux et découvrir comment les appliquer concrètement dans votre entreprise, consultez notre article dédié :👉 Qu'est-ce que la Data Quality ? Tout savoir pour maîtriser la qualité des données en entreprise

Cet article explore également les enjeux stratégiques et opérationnels de la Data Quality, tout en mettant en lumière des approches pratiques et des outils pour vous accompagner dans votre démarche.

Pourquoi la data quality est un problème en entreprise ?

La data quality est en réalité un problème récurrent pour ces principales raisons :

• Les saisies d’informations par des humains créent régulièrement de nouvelles incohérences ou des doublons (dans les CRM, les ERP, les logiciels RH...). Une partie de ces erreurs peuvent être évitée par des contrôles saisie avancés (ex : vérification immédiate d’un nom de ville, d’un code postal).

Cependant toutes les erreurs ne peuvent pas être évitées, notamment celles qui impliquent la cohérence entre des informations saisies dans des champs / zones différents. Ce type d'erreurs est principalement identifié par nos clients dans des situations de migrations des données vers un nouvel outil.

• Par exemple, dans le domaine de l'IOT, les capteurs ne sont pas exempts de défaillance : ils peuvent émettre des valeurs aberrantes, ou avoir un comportement erratique dans l’écart de temps entre deux mesures.

• En apprentissage Machine (Machine Learning), les modèles prédictifs ont pu, certes, être entraînés sur des données de qualité, mais lorsqu’on les met en production, c’est pour les confronter à des données que ces modèles n’ont jamais vues. Si la qualité des données d’entrée baisse dans le temps (données manquantes, aberrantes), la précision des prédictions, par nature très sensible à la data quality, va baisser notablement. Le modèle prédictif peut en arriver à faire n’importe quoi.

Data quality : comment détecter les erreurs de saisie ?

La première étape vers un processus de contrôle de la qualité des données, c'est la détection des erreurs afin de corriger des données incomplètes, incorrectes ou aberrantes. 

Les principales sources d’anomalies dans les données

Les erreurs dans les données, même marginales, peuvent avoir un impact énorme sur les décisions de l’entreprise, dès lors que ces décisions reposent sur :

• des tableaux de bords construits à partir de données de qualité insuffisante présentant éventuellement des doublons (ex : des doublons dans une base clients sont un obstacle majeur à l’identification des meilleurs clients - Absence de Single Customer View),

• des modèles prédictifs, plus techniques (réseau de neurones, random forest, régression logistique) sont par essence extrêmement sensibles, en phase d’apprentissage, aux données inexactes ou incomplètes.

Les anomalies dans les données peuvent avoir des sources très diverses : saisies manuelles erronées ou illisibles, échecs de transmission, problèmes de conversion, processus incomplets ou inadaptés, etc. Il est important de pouvoir identifier les sources et les types d'erreurs afin de pouvoir les comprendre, les prévenir et les corriger.

Mettre en place des règles de contrôle automatisés et réguliers de la qualité permet ensuite de s'assurer que les erreurs sont repérées et qu'elles peuvent être corrigées avant qu'elles n'affectent la prise de décision.

Travailler sur la qualité des données, c’est reconnaître qu'elle peut être influencée par l’humain, mais pas uniquement. Les erreurs de saisie peuvent aussi provenir de ce que l’on appelle un « mauvais encodage » ou d'une mauvaise transcription.

Il peut s’avérer délicat de détecter les erreurs de saisie, notamment lorsque que l’on se trouve en présence de doublons, mais surtout de « presque doublons ». Par exemple, comme lorsqu'une lettre est mal tapée (la coquille) il est extrêmement difficile, voire impossible de le détecter avec des outils comme Excel ou même du SQL.

Détecter les problèmes de data quality dans les données grâce à des fonctionnalités spécialisées

Pour passer de l'étape "aveugle" à "voyant", il est possible d'utiliser des solutions disposant de fonctions d'intelligence artificielle, comme la logique floue. Cette technique permet de détecter des erreurs de saisie, lorsque les données sont approchantes. C’est ce que nous appelons des « presque doublons ». La logique floue permet de comparer des noms de personnes qui ont été saisis différemment comme :

• ‘Emma Dupont’ et ‘Emma Dupond’

• ‘Emma Dupond’ et ‘Emma née Dupond’ (le mot ‘née’ est en plus)

• ‘Malaurie’ ou ‘Malorie’ voire même ‘Mallorie’

Les outils traditionnels, tels que Excel, sont très peu adaptés pour identifier les données ‘approchantes’. En utilisant des solutions plus avancées, faisant appel à de l'intelligence artificielle, il est possible de :

• détecter beaucoup plus efficacement les anomalies, les corriger, normaliser les données textuelles, dédoublonner et donc améliorer la qualité des données,

• d’automatiser ces opérations de détections/corrections afin de les intégrer dans des pipelines de données.

Si la toute première étape est la prise de conscience, c’est-à-dire admettre que l’on a des anomalies dans ses données, il faut aussi admettre que cela a un coût pour l’organisation.

Or, le coût réel des problèmes de qualité de données peut-être difficile à évaluer.

Chez Tale of Data, nous proposons de découper ces coûts sur deux dimensions. Cela peut vous permettre de mesurer plus facilement l’impact des problèmes de data quality sur votre entreprise :

1. La dimension : coût cachés / coûts directs (directs dans le sens de visible)

2. La dimension : opérationnelle / stratégique

Voici une matrice pour illustrer nos propos :

"Les entreprises doivent prendre des mesures pragmatiques et ciblées pour améliorer la qualité des données de leur entreprise s'ils veulent accélérer la transformation numérique de leur organisation", affirme le cabinet Gartner, dont une récente étude estime que la mauvaise qualité des données coûte en moyenne 12,9 millions de dollars par an aux entreprises.

Comment traiter des données hétérogènes pour améliorer la data quality ?

La gestion des données hétérogènes est devenue de plus en plus nécessaire avec l'explosion des données et la prolifération des sources de données dans les organisations.

Une donnée n’est que très rarement analysée seule. Pour l’analyser, il faut souvent la combiner avec d’autres, pour la regrouper ou l'enrichir.

Pour traiter les données hétérogènes, les rendre plus cohérentes, homogènes entre elles, et donc faciliter leur utilisation à travers leur combinaison, deux analyses sont nécessaires:

• identifier les sources : il est important de d'abord identifier toutes les sources de données et leurs formats respectifs. Ce n’est pas l’étape la plus passionnante à réaliser, mais c’est celle qui dictera la réussite de votre projet de mise en qualité de ces données hétérogènes.

• harmoniser le format : cette étape consiste à créer un format commun à toutes les données, d’où qu’elles proviennent. Le choix de ce format peut s'avérer délicat, mais crucial. Il sera alors utilisé pour que toutes vos données puissent être interprétées par un système informatique. Sans cette harmonisation de format, impossible de relier des données entre elles. C'est une problématique importante lorsque l'on doit réaliser des actions comme mettre en qualité les données d'un catalogue produit. Il est donc indispensable de transformer, on parle aussi de ‘normaliser’ ses données, selon le standard que vous aurez choisi.

Pour illustrer l'harmonisation, prenons l’exemple, dans une société, de la collecte des références produits, provenant de différents fournisseurs. Harmoniser les données consistera à utiliser le même format pour chaque type d'information.

Il vous faudra peut-être trancher sur :

• Le nombre de caractères que devra contenir une référence produit : 8 ou 12 ou plus?

• Est-ce que la chaîne de caractères comportera exclusivement des chiffres ? ou des lettres ? ou un mix des deux ?

• Est-ce que le début de la chaîne de caractère aura une signification particulière : 2 premières lettres seront le pays de fabrication, un code d'entrepôt, le code d’un fournisseur ?

Lorsque vous manipulez des sources de données hétérogènes (i.e; issues de “silos” différents), vous avez besoin de créer des tables de correspondances et des “référentiels de référentiels”. La logique floue est indispensable pour apparier deux représentations de la même entité. Par exemple dans le cas d’une base produits, la solution que vous utiliserez doit être capable d’apparier automatiquement (avec si possible un coefficient de confiance) les deux produits suivants :

• HUAWEI MediaPad M5 10.8

• HUAWEI M5 10.8"

Traiter des données hétérogènes est donc indispensable pour exploiter la richesse des data de l’entreprise et réaliser des ponts entre les informations issues de différentes sources.