Les plateformes d'ingénierie des données peuvent être comparées aux raffineries dans le cycle de vie de la production de biens de consommation. Dans ce processus, les raffineries traitent les matières premières pour les transformer en matériaux utilisables, ce qui conduit finalement à la production de biens de consommation. Cela évoque une image industrielle complexe, comprenant des tuyaux et des instruments de mesure, où des opérations précises sont exécutées pour améliorer la qualité et l'efficacité. Souvent, la raffinerie est éloignée du client final, ce qui en fait une partie vitale de la chaîne d'approvisionnement, bien qu'elle ne soit pas directement visible.
De la même manière que les raffineries préparent les matières premières à l'utilisation, les plateformes d'ingénierie des données organisent et analysent les données, facilitant ainsi pour les entreprises l'extraction d'informations précieuses soutenant des décisions stratégiques. En fin de compte, ces plateformes jouent un rôle essentiel dans la transformation des données en informations exploitables, renforçant la capacité des organisations à mieux répondre aux besoins de leurs clients.
Traitement des données : comme le pétrole
Tout comme les raffineries, les plateformes d'ingénierie des données sont conçues pour gérer d'énormes volumes de données et des tâches complexes en arrière-plan. Souvent, l'expérience de l'utilisateur final est un aspect secondaire dans les discussions sur la conception et la maintenance des raffineries ou des plateformes modernes de données. La structure du système met l'accent sur l'obtention des meilleurs résultats pour les produits, avec des efforts concentrés sur l'optimisation de l'efficacité et de la qualité.
Bien sûr, le produit finit par atteindre les consommateurs finaux, mais cette étape intervient tard dans le processus, ce qui la rend moins prioritaire pour les concepteurs des raffineries. Ces derniers reçoivent des exigences de production spécifiques, comprenant le débit, le volume total traité et les sous-opérations, pour garantir que les processus soient efficaces et fiables.
De la même manière, les plateformes d'ingénierie des données sont conçues pour répondre à des exigences spécifiques en matière d'analyse et de traitement, garantissant que les données soient prêtes à être utilisées dans des décisions stratégiques. En fin de compte, bien que l'expérience utilisateur puisse être invisible au départ, elle reste une partie essentielle du succès global du produit, car les entreprises dépendent de ces systèmes pour améliorer leurs performances et répondre aux besoins du marché.
L'ère des données : le nouveau pétrole
L’ère de l’information repose entièrement sur les données, et l'expression « les données sont le nouveau pétrole » contient une grande part de vérité, renforçant la comparaison avec les raffineries. La finalité et la conception des raffineries s'alignent étroitement sur les objectifs et la structure des plateformes modernes de données, un parallèle qui reste pertinent dans la plupart des cas. Cependant, à l'ère de l'intelligence artificielle générative, l'accès aux données massives n’a jamais été aussi large et continue de s’étendre.
Cette expansion entraîne une plus grande diversité d’utilisateurs qui exploitent les données de différentes manières à chaque étape du processus de raffinage des données. Ainsi, l’utilisateur final est désormais plus proche des plateformes modernes de données, marquant un changement radical dans cette analogie. Les utilisateurs ne se contentent plus d’être de simples consommateurs de données, mais participent activement au processus d’analyse et de raffinement, renforçant leur capacité à prendre des décisions éclairées.
Ce changement illustre comment les données ne sont plus confinées à des cercles spécifiques, mais sont devenues accessibles à un large éventail d'individus, favorisant l’innovation et la collaboration à travers différents secteurs. En fin de compte, cette transformation souligne l'importance des données dans la définition de l'avenir des entreprises, jouant un rôle clé dans la réalisation du succès et de la croissance.
L'évolution des données massives : de l'idée à l'exécution
Il y a environ cinq ans, la plupart des initiatives autour des plateformes modernes de données se concentraient sur l'extraction de données depuis des systèmes hérités, dans le but d’éviter les coûts liés au renouvellement des contrats. Les motivations pour adopter des technologies modernes étaient centrées sur la conversion des dépenses d’investissement en dépenses opérationnelles, au détriment des besoins de l’utilisateur final dans le processus décisionnel. À cette époque, le seul « utilisateur » véritablement pris en compte était les équipes d’exploitation et de maintenance chargées d’assurer le bon fonctionnement des systèmes.
Au fil du temps, l’attention s’est déplacée vers l’optimisation de l’utilisation de ces données stockées dans des technologies modernes. Les data scientists et analystes métier sont alors apparus comme des utilisateurs clés des plateformes de données modernes, et leurs besoins ont été pris en compte dans la conception des pipelines et des processus. Toutefois, la majorité des cas d’utilisation sont restés limités à des finalités internes, qu’il s’agisse de développer des modèles de données massives ou de produire des rapports exécutifs.
Au cours de l’année écoulée, nous avons observé une évolution notable vers un dépassement des utilisateurs internes au profit d’un véritable utilisateur final : le client. Cette tendance s’inscrit dans la volonté forte d’intégrer l’intelligence artificielle générative dans les produits destinés aux clients, sans se limiter aux assistants virtuels. Les entreprises de divers secteurs s’efforcent d’intégrer les données de manière significative dans leurs produits, reflétant un changement profond dans l’utilisation des données pour répondre aux besoins des clients. Cette nouvelle orientation renforce la capacité des entreprises à offrir des expériences personnalisées et efficaces, contribuant à accroître la satisfaction et la fidélité des clients.
Processus ou produit : lequel est clé ?
L'ingénierie des données se concentre davantage sur les processus que sur les produits, surtout lorsqu'on la compare à d'autres formes d'ingénierie logicielle, comme le développement d'applications, qui mettent davantage l'accent sur les fonctionnalités. C’est pourquoi la comparaison avec les raffineries est si pertinente, renforçant l’exactitude de l’expression « les données sont le nouveau pétrole ». Cependant, lorsque le client devient l'utilisateur final, un changement de mentalité s’opère, passant de l’accent sur le processus à une focalisation sur le produit.
Bien que le travail d’ingénierie visant à rendre les données accessibles dans le produit repose encore largement sur les processus, des aspects tels que l'accessibilité, la réactivité et la personnalisation pour l’utilisateur final deviennent des points centraux. Dans ce contexte, les ingénieurs doivent réfléchir à la manière de présenter les données de manière à répondre efficacement aux besoins des clients, améliorant ainsi l'expérience utilisateur et augmentant la valeur du produit.
Cette transition exige des équipes d’ingénierie plus de flexibilité et d’innovation, car elles doivent s’adapter aux exigences d’un marché en évolution et aux attentes croissantes des clients. Finalement, cet accent accru sur le produit améliore la qualité des services proposés, renforçant la satisfaction des clients et soutenant le succès des entreprises dans un environnement de plus en plus compétitif.
Collaboration design et ingénierie des données : un partenariat clé
Il est rare que l'équipe de design expérientiel (XD) et l'équipe d'ingénierie des données (DE) chez Slalom aient l’opportunité de collaborer étroitement sur des projets clients. Cependant, une de ces opportunités rares s’est présentée récemment lors de notre collaboration avec une entreprise spécialisée dans le développement de logiciels.
Au cours de la collecte des exigences, il est apparu clairement que le développement du produit mené par les ingénieurs XD et la conception de la plateforme de données modernes dirigée par l'équipe DE étaient étroitement liés au travail d’ingénierie backend et frontend. Nous avons réalisé que le succès du projet dépendait d'une intégration efficace de ces éléments. Conscients de nous aventurer en terrain inconnu, nous avons commencé à collaborer étroitement, partageant idées et expertises.
Cette collaboration a non seulement amélioré la qualité du produit final, mais elle a également permis à chaque équipe de mieux comprendre les besoins de l’autre, aboutissant à des résultats plus cohérents et innovants. En travaillant ensemble, nous avons réussi à intégrer harmonieusement design et technologie, ajoutant une valeur supplémentaire au projet et offrant une expérience utilisateur optimisée.
Changer de perspective : adopter le point de vue de l'utilisateur
Au début de notre découverte, l'ingénieur en design expérientiel (XD) a fait un geste qui semblait simple mais qui était en réalité très profond, du moins d'un point de vue mental et technique. Alors que nous enquêtions sur les opérations d'insertion, de mise à jour et de suppression de la base de données du produit, il a créé un compte de démonstration sur le produit. Cela pouvait sembler basique, mais c'était la meilleure façon de comprendre comment les changements se propageaient dans le système et comment ils étaient renvoyés à l'utilisateur final.
Nous avons utilisé une méthodologie pour collecter les exigences de la plateforme de données via des prototypes et des parcours de personas. Avec le client définissant les composants qu'il souhaitait voir dans son produit, nous avons commencé à extraire les données nécessaires pour soutenir l'interface souhaitée. Cela a impliqué une approche inversée, où nous avons commencé par l'interface utilisateur et avons progressé vers les données sources disponibles pour identifier les flux de données et les transformations nécessaires. Des termes comme "de gauche à droite" et "de droite à gauche" étaient couramment utilisés dans le vocabulaire de notre équipe.
Nous n'avons pas seulement identifié les ensembles de données et les transformations nécessaires pour fournir les fonctionnalités, mais avons également traité les données et les modélisé en fonction de l'expérience utilisateur souhaitée. Par exemple, si nous devions charger un composant spécifique en moins d'une seconde, nous savions que cette valeur devait être pré-calculée. Cette attention à la performance et à l'expérience nous a permis de nous assurer que le produit final n'était pas seulement fonctionnel, mais aussi réactif et adapté aux besoins des utilisateurs.
Les impacts de cette collaboration : moteur d'innovation et de succès
Cette collaboration a conduit à un succès notable dans la réalisation de nos objectifs. La compréhension approfondie de l'expérience de l'utilisateur final est essentielle pour offrir la meilleure plateforme de données, car les clients représentent plus que de simples modèles de consommation. Avec l'élimination des barrières techniques grâce à des outils et des systèmes de plus en plus interconnectés et accessibles, nos équipes et processus doivent s'adapter à ces changements.
J'espère que ces collaborations entre les équipes de design et d'ingénierie des données deviendront plus courantes dans la prochaine vague de projets de big data. Renforcer la communication et la collaboration entre ces équipes nous permettra de développer des solutions innovantes qui répondent mieux aux besoins des clients, améliorant ainsi la valeur des produits et services que nous offrons. En fin de compte, cette approche collaborative contribuera à améliorer l'expérience utilisateur et à accroître la satisfaction des clients, reflétant ainsi notre succès dans un monde de plus en plus compétitif.
