Architecte Big Data

5 min

Présentation

L’architecte big data conçoit des solutions techniques capables de gérer et de stocker de gros volumes de données. Ce spécialiste de la data a au minimum un niveau bac + 5.

L’architecte big data maîtrise les principales technologies de big data en termes de bases de données NoSQL (MongoDB, Cassandra ou Redis), d'infrastructures serveurs (Hadoop, Spark) et de stockage de données en mémoire (Memtables).

C’est un interlocuteur important du Data Scientist, à qui il fournit les données brutes que celui-ci va traiter.

Face à la multiplication et à la profusion des données numériques, l’architecte big data fait partie des profils les plus recherchés du big data.

Rôles et tâches

L’architecte big data est chargé de la collecte de la donnée brute qui peut-être plus ou moins structurée, en plus ou moins grande quantité et qui peut provenir de sources différentes (internes, externes). Après cet inventaire, il crée et optimise les infrastructures de stockage, de manipulation et de restitution des données brutes.

C’est la personne qui se charge de collecter des données brutes pour l’entreprise. Les données en question peuvent provenir d’une multitude de sources internes ou externes, et peuvent être structurées ou non. Leur quantité peut aussi varier énormément. Il doit mettre en place l’infrastructure qui permettra de stocker, d’ingérer les données dans les applications métiers.

Après avoir collecté les données brutes, l’architecte Big Data se charge de créer et d’optimiser des infrastructures de stockage, manipulation et restitution. Il doit élaborer une architecture de Data Management et concevoir un plan pour intégrer, centraliser, protéger et maintenir les données. Il est garant du bon fonctionnement du système qui doit pouvoir s’étendre selon les besoins du clients.

Salaires

L'architecte big data junior émarge aux alentours de 3 000 €.

Formation

Un Bac + 4 ou Bac +5 en informatique, management, statistiques ou en marketing est indispensable pour occuper ce poste. Les formations qui permettent de se former au métier de la big data sont encore peu nombreuses mais elles se mettent en place rapidement pour faire face à la demande.

Exemples de formations :

Niveau bac + 5

  • Masters : master européen en data mining et gestion des connaissances (Lyon 2), statistiques pour l’évaluation et la prospective (université de Reims-Champagne Ardennes), MIASHS : big data et fouille de données (Paris 8), data science (Grenoble INP Ensimag, Polytech Nantes),
  • Mastère en ingénierie Big data (ESGI),
  • MSc (master of sciences) : statistics for smart data (Ensai), big data for business (Ecole polytechnique – HEC), data sciences & business analytics (Centrale Supelec - Essec Business School), applied data science & big data (Data science institute), data science (Ensae ParisTech), data management (PSB),
  • Diplôme d’ingénieur avec spécialisation big data : IAMD – ingénierie et applications des masses de données (Télécom Nancy), big data & data science (Mines Nancy), data science (Ensae ParisTECH), ingénierie des systèmes d'information (Grenoble INP Ensimag)

Niveau bac + 6

  • Mastère spécialisé (MS) : Big data – gestion et analyse des données massives (Télécom ParisTech), Big data : analyse management et valorisation responsable (Ensimag + EMSI Ecole de management de Grenoble), Expert en sciences des données (Insa Rouen Normandie)

Qualités et compétences nécessaires

Il doit impérativement maîtriser les technologies Big Data. Parmi les outils qu’il doit savoir utiliser, on compte les bases de données NoSQL comme MongoDB, Cassandra ou Redis. Il est aussi nécessaire de manier les infrastructures serveur comme Hadoop et Spark. Enfin, les outils de stockage de données en mémoire comme Memtables doivent aussi faire partie de son arsenal.

Ce professionnel travaille au quotidien avec les Data Scientists de son entreprise. Il se charge notamment de leur fournir les données brutes que ces derniers devront traiter et analyser. Il doit donc être doté d’un solide esprit d’équipe et de collaboration, et de compétences en communication.

Évolutions de carrière

L’évolution pour un architecte big data est la gestion de projets de plus en plus ambitieux en volume ou complexité de données.