Vous cherchez une équipe et des experts qui peuvent vous aider concrètement à mettre en place des solutions Data Centric en production et à l’échelle ? À mettre en place des pipelines pour processer vos données et implémenter vos modèles ? À passer d’un DataLab à la mise en production de vos projets Data ? À permettre à vos applications métiers et à vos backoffice de venir consommer les données de votre Datalake en temps réel et de manière sécurisée ? À créer une Data Factory qui vienne s’intégrer à votre SI au travers d’API ?
Notre équipe de Data Ingénierie et de Développement est rompue, depuis plus de 7 ans et des dizaines de projets en production, à concevoir et à architecturer des solutions Data qui répondent à vos besoins et qui « tournent ». Nos experts sont les concepteurs et les développeurs de vos pipelines de données.
Ce sont aussi les architectes de vos solutions pour qu’elles soient production ready et à l’échelle. Ils ont l’expérience et l’expertise pour concevoir des environnements de traitement et de travail de la donnée, en accompagnant nos clients dans leurs choix d’outils et méthodes les plus adaptés. Ils mettent en œuvres les pipelines d’alimentation et de transformation de données. Ils conçoivent également la solution pour qu’elles puissent délivrer des données à tout le SI de l’entreprise. Enfin, ils sont en charge d’implémenter les modèles de Machine Learning et d’IA de manière industrialisée et pour qu’ils puissent être mis à jour facilement dans une logique CI/CD.
Notre équipe de Data Ingénierie intègre également en son sein des développeurs (Java, .Net), ce qui permet à cette équipe de bénéficier de toutes les méthodes et outils de l’ingénierie logicielle et du monde du DevOps, appliqués au monde de la donnée (Craftsmanship, CI/CD, Microservices/API, Agilité…).
Dans l’équipe Data Ingénierie, on parle couramment Spark (dans tous ses langages), Python, Scala ou Java. Les Data Ingénieurs et développeurs sont rompus aux environnements Big Data – Hadoop – Cloudera, DataBricks, Hive, Spark, Kafka ou ElasticSearch (Beats, Logstash, Kibana…) pour ne citer qu’eux. Ils utilisent tous les outils qui permettent d’améliorer la qualité et la maintenabilité des solutions logicielles : SecDevOps & Infra As Code (Git, Jenkins, Ansible, CloudFormation, Terraform, Docker, Kubernetes, …). Ils travaillent régulièrement sur le Cloud (AWS/GCP/Azure) et travaillent habituellement en méthodologie Agile.
Les métiers que l’on rencontre dans cette équipe : Architecte Solution Data, Data Engineer, MLOps Engineer, Data Developer
Vous cherchez une équipe et des experts qui peuvent vous aider concrètement à mettre en place des solutions Data Centric en production et à l’échelle ? À mettre en place des environnements et des chaînes de traitement pour processer vos données et implémenter vos modèles ? À passer d’un DataLab à la mise en production de vos projets Data ? À permettre à vos applications métiers et à vos backoffice de venir consommer les données de votre Datalake en temps réel et de manière sécurisée ?
Nos Data Ingénieurs sont rompus, depuis plus de 6 ans et des dizaines de projets en production, à concevoir et à architecturer des solutions Data qui répondent à vos besoins et qui « tournent ». Nos experts sont les concepteurs et les développeurs de vos pipelines de données.
Ce sont aussi les architectes de vos solutions pour qu’elles soient production ready et à l’échelle. Ils ont l’expérience et l’expertise pour concevoir des environnements de traitement et de travail de la donnée, en accompagnant nos clients dans leurs choix d’outils et méthodes les plus adaptés.
Notre équipe de Data Ingénierie intègre également en son sein des développeurs (Java, .Net), ce qui permet à cette équipe de de bénéficier de toutes les méthodes et outils de l’ingénierie logicielle et du monde du DevOps, appliqués au monde de la donnée (Craftsmanship, CI/CD, Microservices/API, Agilité…).
Dans l’équipe Data Ingénierie, on parle couramment Spark (dans tous ses langages), Python, Scala ou Java. Les Data Ingénieurs et développeurs sont rompus aux environnements Big Data – Hadoop – Cloudera, DataBricks, Hive, Spark, Kafka ou ElasticSearch (Beats, Logstash, Kibana…) pour ne citer qu’eux. Ils utilisent tous les outils qui permettent d’améliorer la qualité et la maintenabilité des solutions logicielles : SecDevOps & Infra As Code (Git, Jenkins, Ansible, CloudFormation, Terraform, Docker, Kubernetes, …). Ils travaillent régulièrement sur le Cloud (AWS/GCP/Azure) et travaillent habituellement en méthodologie Agile.
4 exemples de projets pour vous donner une idée
Industrialisation de l'alimentation du Datalake
Pour la maison mère d’un grand groupe de luxe français, nos consultants participent à la construction et à l’industrialisation de l’alimentation du Datalake. Ils ont assuré sa consolidation, l’enrichissement des données et la création de KPI et de reporting pour les marques représentées. L’ingestion et la transformation des données s’est faite en Spark et Spark Streaming sur AWS-EMR, le reporting BI avec Zeppelin, Spark/Druid et Tableau, le tout dans un environnement industrialisé en DevOps (Jenkins CI, Docker notamment).
Industrialisation de l'alimentation du Datalake
Pour la maison mère d’un grand groupe de luxe français, nos consultants participent à la construction et à l’industrialisation de l’alimentation du Datalake. Ils ont assuré sa consolidation, l’enrichissement des données et la création de KPI et de reporting pour les marques représentées. L’ingestion et la transformation des données s’est faite en Spark et Spark Streaming sur AWS-EMR, le reporting BI avec Zeppelin, Spark/Druid et Tableau, le tout dans un environnement industrialisé en DevOps (Jenkins CI, Docker notamment).
Data Platform - Incubateur d'une grande banque
Pour la filiale d’intrapreneuriat et d’incubation d’une grande banque, nos consultants conçoivent et développent une Data Platform mutualisée pour plusieurs projets/produits dans le Cloud et accompagnent leurs équipes dans l’utilisation de la donnée. Après avoir testé diverses solutions d’environnement de travail pour les Data Scientists (Cloudera Workbench, Watson Studio, Databricks, …), le choix s’est finalement porté sur le déploiement de KubeFlow sur Kubernetes. La mise en production des modèles ainsi développés se fait en microservices API Rest via Docker, sécurisés avec IAM et Cognito. Le tout est réalisé en utilisant CircleCI pour déployer sur AWS et IBM Cloud. Un cluster Elasticsearch a été déployé pour l’analyse des logs, ainsi que quelques fonctions serverless (AWS Lamba) pour la réplication de bases de données.
Data Platform - Incubateur d'une grande banque
Pour la filiale d’intrapreneuriat et d’incubation d’une grande banque, nos consultants conçoivent et développent une Data Platform mutualisée pour plusieurs projets/produits dans le Cloud et accompagnent leurs équipes dans l’utilisation de la donnée. Après avoir testé diverses solutions d’environnement de travail pour les Data Scientists (Cloudera Workbench, Watson Studio, Databricks, …), le choix s’est finalement porté sur le déploiement de KubeFlow sur Kubernetes. La mise en production des modèles ainsi développés se fait en microservices API Rest via Docker, sécurisés avec IAM et Cognito. Le tout est réalisé en utilisant CircleCI pour déployer sur AWS et IBM Cloud. Un cluster Elasticsearch a été déployé pour l’analyse des logs, ainsi que quelques fonctions serverless (AWS Lamba) pour la réplication de bases de données.
Plateforme Big Data pour données Pre-Trade
Pour une grande banque, un de nos consultants a conçu et mis en place une solution logicielle pour ingérer, processer et consommer les données « Pre-Trade » de celle-ci. Cette solution permet aux données d’être consommées par d’autres applications et est capable de générer des alertes sur des cas anormaux. Après intégration des données dans HDFS avec Flume, Sqoop et Kafka, leur processing se fait en Java Spark (+500M lignes par jour). – La publication des données en temps réel est avec Kafka, avec la mise en place d’alertes basées sur des algorithmes de ML et de règles métier pour la validation des données. Enfin, développement d’une API pour exposer les données au travers de websocket sécurisées et migration de cette plateforme sur Azure.
Plateforme Big Data pour données Pre-Trade
Pour une grande banque, un de nos consultants a conçu et mis en place une solution logicielle pour ingérer, processer et consommer les données « Pre-Trade » de celle-ci. Cette solution permet aux données d’être consommées par d’autres applications et est capable de générer des alertes sur des cas anormaux. Après intégration des données dans HDFS avec Flume, Sqoop et Kafka, leur processing se fait en Java Spark (+500M lignes par jour). – La publication des données en temps réel est avec Kafka, avec la mise en place d’alertes basées sur des algorithmes de ML et de règles métier pour la validation des données. Enfin, développement d’une API pour exposer les données au travers de websocket sécurisées et migration de cette plateforme sur Azure.
Plateforme de données pour la musique en ligne
Pour un acteur majeur de la distribution numérique de musique, nos consultants développent la nouvelle plateforme qui permettra de collecter les données de consommation des titres et de reverser les droits aux artistes représentées, dans des délais 100 fois plus courts que la plateforme legacy. La refonte se fait en utilisant des technologies 100% Data : Hadoop, Elastic, Python, Spark, Kafka dans un environnement 100% Cloud AWS.
Plateforme de données pour la musique en ligne
Pour un acteur majeur de la distribution numérique de musique, nos consultants développent la nouvelle plateforme qui permettra de collecter les données de consommation des titres et de reverser les droits aux artistes représentées, dans des délais 100 fois plus courts que la plateforme legacy. La refonte se fait en utilisant des technologies 100% Data : Hadoop, Elastic, Python, Spark, Kafka dans un environnement 100% Cloud AWS.
Nos autres offres
DATA SCIENCE,ML & IA
Vous voulez concevoir et développer des applications, en mettant la donnée au cœur de leur proposition de valeur ?
DATA ARCHITECTURE& INFRASTRUCTURE
Vous voulez designer et mettre en œuvre des architectures de plateformes Cloud, Data & Analytics, Big Data et d’intégration de données ?