Spécialiste en ingénierie des données

Job summary

You will design, develop, and maintain automated data pipelines while implementing processing solutions using Python and PySpark within the Databricks environment. Additionally, you will ensure data quality, governance, and security while collaborating with IT and business teams to deliver reliable data sets.

Job details

DESCRIPTION DU POSTE Relevant du Directeur du développement, vous serez responsable de : * Concevoir, développer et maintenir des pipelines de données automatisés (Apache Airflow, Bash) * Implémenter des solutions de traitement avec Python, PySpark et travailler dans l’environnement Databricks * Intégrer des données provenant de sources variées (API, bases relationnelles, fichiers) dans des environnements infonuagiques * Assurer la qualité, la gouvernance et la sécurité des données et prendre en charge les projets liés (catalogage, monitoring, audit) * Fait figure de point de repère organisationnel dans son secteur d’activités et collabore avec les équipes TI et affaires pour comprendre les besoins, proposer des solutions adaptées et produire des jeux de données fiables et performants * Documenter les processus, architectures et bonnes pratiques * Participer aux revues de code, à l’amélioration continue et à l’intégration continue (CI/CD) PROFIL * Connaissance des architectures Data Lake, couches sémantiques et principes de gouvernance des données * Solide expérience en Python (POO, bibliothèques de traitement), PySpark et concepts de traitement distribué * Expérience pratique avec Databricks (workflow, bundle), Delta Lake, Spark SQL et orchestration avec Apache Airflow * Maîtriser les environnements Unix/Linux, Bash et familiarité avec Git, DevOps et CI/CD * Posséder un diplôme en informatique, génie logiciel ou domaine connexe * Avoir cumulé 10 ans d'expérience directement liée au poste * Expérience avec DBT (Data Build Tool) et bases de données relationnelles/non relationnelles, certaine expérience avec Databricks Unity Catalog et des environnements cloud (Azure, AWS, GCP) ainsi que des principes de sécurité et de gouvernance des données (atout) * Maîtriser le français et l’anglais, tant à l’oral qu’à l’écrit. Un niveau de connaissance fonctionnel de l’anglais est nécessaire afin de communiquer à l’occasion avec des fournisseurs et des partenaires situés à l'extérieur du Québec. PO URQUOI NOUS CHOISIR * Travail hybride adapté aux exigences du poste avec présences planifiées au bureau * Vacances dès la première année * Possibilité d’avancement à l’interne * Boni annuel * Régime d’assurance collective (soins dentaires, vue et assurance voyage) * Régime de retraite à prestations déterminées * Bien être des employés : compte mieux-être de 400 $, programme d’aide aux employés et à leurs familles et service de télémédecine #li-Hybrid Thank you to all applicants for your interest in this position. Only candidates selected for an interview will be contacted.

What you’ll do

You will design, develop, and maintain automated data pipelines while implementing processing solutions using Python and PySpark within the Databricks environment. Additionally, you will ensure data quality, governance, and security while collaborating with IT and business teams to deliver reliable data sets.

Requirements

The role requires a degree in computer science or software engineering and at least 10 years of relevant experience. Candidates must possess strong expertise in Python, PySpark, Apache Airflow, and data architecture principles.

Benefits

• Hybrid work • Paid vacation • Internal advancement opportunities • Annual bonus • Group insurance • Dental care • Vision care • Travel insurance • Defined benefit pension plan • Wellness account • Employee assistance program • Telemedicine

Listed skills

• Microsoft Azure · Preferred
• French · Preferred
• CI/CD · Preferred
• Teams · Preferred
• Assurance · Preferred
• Amazon Web Services · Preferred
• Audit · Preferred
• Google Cloud · Preferred
• Reliable · Preferred
• Git · Preferred
• Python · Preferred
• English · Preferred

Other relevant skills

Identified from the job description. Confirm important requirements above.

• Data engineering
• Python
• PySpark
• Apache Airflow
• Databricks
• Data governance
• SQL
• CI/CD
• DevOps
• Data lake
• Cloud computing
• Git
• Bash
• Unix/Linux
• Delta Lake
• DBT

Job areas

• Data & Analytics
• Technology
• Software
• Engineering