À mesure que les entreprises se transforment pour répondre aux exigences du numérique, il est crucial qu'elles continuent de se reposer sur les données. En faisant appel à des ingénieurs des données pour préparer, concevoir et intégrer des données et des outils, les entreprises se donnent les moyens d'atteindre l'objectif ultime de la transformation numérique : la mise en place d'une culture alimentée par les données à la fois agile et intégrée. Découvrez les rôles essentiels que joue l'ingénierie des données pour mieux répondre à ces besoins.
Tandis que les dirigeants d’entreprise se concentrent sur la transformation numérique de leurs modèles commerciaux, de leurs processus et de leur culture d’entreprise, les services informatiques ont pour tâche d'assurer le bon fonctionnement des opérations, mais également de fournir des services qui permettent d’atteindre ces objectifs. Afin de répondre à ces nouvelles exigences des entreprises, il ne suffit pas d’optimiser les infrastructures pour faire des économies. Il faut également créer de la valeur directe en mettant au point des applications qui permettent aux utilisateurs métier d'être plus efficaces. Selon Dennis Smith, vice-président de Gartner : « Si vous souhaitez monter à bord de l’express du changement, tournez-vous vers le développement d’applications. »
Un nouveau domaine – et donc un nouveau métier - a vu le jour ces dernières années, qui répond en partie aux nouveaux besoins des entreprises : il s'agit de l’ingénierie des données. Comme le data scientist, l'ingénieur des données poduit du code, possède d'excellentes capacités d'analyse et génère des visualisations de données. Toutefois, contrairement au data scientist, l'ingénieur des données met au point des applications, des infrastructures, des cadres et des services. Il répond ainsi de manière plus directe aux besoins des utilisateurs métier qui demandent de l'aide pour collecter et analyser de vastes volumes de données. Maxime Beauchemin, PDG et fondateur de Preset, explique : « L’ingénierie des données peut être considérée comme un super-ensemble qui recouvre la business intelligence et l'entreposage de données, tout en intègrant de nombreux éléments issus de l’ingénierie logicielle. »
Les équipes d'ingénieurs des données ont une multitudes de rôles à jouer. Vous trouverez ci-dessous une liste des 10 fonctions support les plus courantes qu'ils endossent afin de renforcer l'activité des entreprises :
1. Architectes fondateurs
Avant que des stratégies de data science telles que l’intelligence artificielle (IA), le deep learning ou l’expérimentation puissent être mises en œuvre, les ingénieurs des données sont chargés de jeter les bases sur lesquelles reposent la collecte, l'acheminement, le stockage, l’exploration et la transformation des données. Monica Rogati, consultante en matière de data science et d'IA, place toutes ces étapes sur les trois niveaux qui forment la base de sa « Pyramide des besoins en matière d'IA », indiquant que celles-ci doivent être complétées avant toute chose.
2. Constructeurs
Alors qu’il était occupé « développer de nouvelles compétences, de nouvelles façons de faire et de nouveaux outils » chez Facebook, Maxime Beauchemin a découvert que l'ingénieur des données avait un rôle de « constructeur » à jouer. Dans les petites entreprises qui ne disposent pas d’une équipe formellement dédiée à l'infrastructure de données, l'ingénieur des données peut être amené à en assurer la mise en place et la gestion. Au sein des grandes entreprises, ces responsabilités sont partagées entre les équipes en charge de l'infrastructure et les ingénieurs des données, qui automatisent parfois ces processus afin de travailler ensemble sur des projets qui revêtent une plus grande importance stratégique.
3. Développeurs logiciels
Pour qu'un modèle soit utile dans une grande entreprise, il est essentiel que les analystes puissent l'appliquer à de vastes volumes de données et l'exécuter presque en temps réel lorsque la situation l’exige. Les conclusions tirées à partir de ce modèle - des prévisions concernant les ventes, par exemple - doivent ensuite être réinjectées au sein de l'un des systèmes transactionnels de l'entreprise. Pour ce faire, selon le Vice President of Technology for EMEA chez Teradata, ce modèle doit être « créé de toutes pièces en laboratoire, à partir de papier kraft et de bouts de ficelle » et servir à traiter régulièrement d'énormes volumes de données.
Pour atteindre de tels niveaux de performance et d’évolutivité, l'ingénieur des données doit savoir coder afin d'opérer les abstractions complexes nécessaires au développement d'un logiciel ETL. Selon Maxime Beauchemin : « Les abstractions mises en lumière par les outils ETL traditionnels ne sont plus adaptées. [...] La solution ne réside pas dans le fait d'exposer les fonctions primitives de l'ETL (source/cible, agrégats, filtrage) par glisser-déposer. Elle nécessite des abstractions d'un niveau supérieur. »
4. Contrôleurs de la gouvernance des données
Ces dernières années, l'entrepôt de données est devenu un outil de plus en plus collaboratif et accessible au grand public. Aujourd'hui, data scientists, analystes et ingénieurs logiciels contribuent à son développement, à sa gestion quotidienne et à son évolution. Même si le fait de permettre au plus grand nombre d'accéder aux données d'entreprise peut contribuer à accélérer l'innovation, il est indispensable de déterminer clairement qui est propriétaire de quel ensemble de données et de définir les critères liés à leur exploitation pour éviter que la situation ne devienne chaotique.
C’est là qu'interviennent les ingénieurs de données. Ils peuvent être « propriétaires » de clusters au sein de l'entrepôt de données qui suivent les schémas de base, avec des accords de niveau de service (SLA) clairement définis et mesurés, mais aussi des conventions de nomenclature strictement respectées, des métadonnées et une documentation de qualité, le tout encadré par un ensemble de bonnes pratiques.
5. Experts du « centre d’excellence »
Les ingénieurs des données peuvent diriger des programmes de formation destinés à aider d'autres équipes à tirer le meilleur parti de l'entrepôt de données et à maîtriser les données et les outils de l’entreprise.
6. Achivistes
Les ingénieurs de données peuvent inventorier et organiser les métadonnées et définir ainsi les bonnes méthodes pour classer ou extraire les données de l’entrepôt.
7. Analystes commerciaux
Même si les fonctions des ingénieurs de données ne cessent de se développer, ceux-ci continuent d'être impliqués dans des tâches liées à la business intelligence, telles que la création et la gestion de portefeuilles et de tableaux de bord. Ils peuvent également jouer le rôle de passerelle entre les utilisateurs métier et les équipes de data science. En effet, la capacité des ingénieurs de données à comprendre et à parler les langages respectifs de ces deux domaines d'activité peut leur permettre de communiquer efficacement entre eux.
8. Optimisateurs de performance
Les entreprises investissent plus que jamais dans les infrastructures de données. Grâce à ces investissements, les ingénieurs de données disposent de la motivation et des ressources nécessaires pour se focaliser sur l'optimisation de la performance. Il doivent concentrer leurs efforts sur le fait de faire plus avec moins et de rendre l’utilisation et le coût des ressources de l'entreprise durables sur le long terme.
9. Intégrateurs de données
Les entreprises se reposent de plus en plus sur les plateformes SaaS. Toutefois, les fournisseurs ne disposent pas toujours des services ou de l’expertise nécessaires à une intégration fluide au sein de l’entrepôt de données. Les ingénieurs de données possèdent des compétences qui leur permettent de veiller au bon fonctionnement de ce processus et ils peuvent aider l’entreprise à obtenir une image complète et intégrée de l'ensemble de ses données.
10. Fournisseurs de services
Les ingénieurs des données sont souvent à l'origine de services et d'outils qui permettent d'automatiser des tâches qui nécessitent habituellement une intervention manuelle. Ils peuvent notamment contribuer à automatiser l’ingestion de données, le calcul d'indicateurs, la gestion de métadonnées, les tests A/B et bien d'autres processus afin de faciliter le travail d’autres départements de l’entreprise.
À mesure que les entreprises se transforment pour répondre aux exigences du numérique, il est crucial qu'elles continuent de se reposer sur les données. En faisant appel à des ingénieurs des données pour préparer, concevoir et intégrer des données et des outils, les entreprises se donnent les moyens d'atteindre l'objectif ultime de la transformation numérique : la mise en place d'une culture alimentée par les données à la fois agile et intégrée.
Vous souhaitez savoir quel rôle Teradata Vantage peut jouer dans votre réussite ?
Pour en savoir plus