PURPOSE

As a Data Engineer, you will be responsible for designing, implementing, and maintaining data pipelines that support data migration, analytics, business intelligence functions, and integration with Microsoft Dynamics 365 (D365) applications. You will work closely with analysts and business stakeholders to ensure that data flows seamlessly through the organization and is ready for analysis.

KEY RESPONSIBILITIES AND ACCOUNTABILITIES

The responsibilities of this position include, but are not limited to the following:

Data Engineering & Integration:

o Design, develop, and maintain ETL (Extract, Transform, Load) pipelines to ensure smooth, efficient processing of large datasets, including data integration from Microsoft Dynamics 365 (D365) and other systems.

o Build and optimize data architectures, including data lakes, data warehouses, and data marts, with specific attention to integrating data from D365.

o Ensure data consistency, quality, and availability for analytics use cases and business reporting, particularly focusing on D365-related datasets.

o Collaborate with cross-functional teams to define data requirements and help implement data solutions, particularly with regards to integrating and analyzing data from D365.

• Data Infrastructure:

o Develop scalable data solutions to handle high-volume, high-velocity data processing, including D365-related data.

o Implement and manage cloud-based data environments (Azure, GCP, AWS) and ensure their security, scalability, and reliability.

o Optimize data storage, retrieval, and processing for performance and cost efficiency, particularly for D365 integration scenarios.

• Data Governance & Security:

o Establish data governance practices to ensure data quality, integrity, and security, especially regarding sensitive data from D365.

o Maintain compliance with data privacy regulations (such as GDPR) and best practices when dealing with data from D365 and other integrated systems.

• Collaboration & Communication:

o Work closely with data analysts, business analysts, and product managers to ensure that data infrastructure meets business needs, particularly as it relates to D365 data.

o Communicate data-related issues and updates clearly to both technical and non-technical stakeholders, with a focus on data from D365.

TECHNICAL/PROFESSIONAL COMPETENCIES

• Bachelor’s degree (or equivalent) in Computer Science, Engineering, Mathematics, or a related field.

• Proven experience as a Data Engineer, with a strong understanding of data engineering principles.

• Proficiency in programming languages like Python, Hadoop, SQL, Java, and/or Scala. • Experience with ETL frameworks and data processing tools such as Apache Spark, Hadoop, or similar.

• Experience with Microsoft Dynamics 365 (D365) integration, data management, and data pipeline development.

• Strong understanding of cloud platforms (Azure, GCP, AWS) and cloud-based data storage solutions (e.g., Redshift, BigQuery, etc.).

• Knowledge of database technologies (SQL and NoSQL).

• Familiarity with version control tools (e.g., Git) and agile development processes.

PREFERRED QUALIFICATIONS

• Experience with data orchestration tools.

• Familiarity with D365 APIs and connectors for data extraction and integration.

• Experience with data containerization and cloud infrastructure automation.

• Knowledge of data pipeline testing, monitoring, and debugging practices.

• Familiarity with data security, encryption, and privacy best practices

Participate in technical meetings and discussions with internal and external teams. Collaborate on complex data architectures and cloud integrations requiring strong English proficiency to ensure effective communication and project success.

Data Protection Policy: https://corp.kitco.com/data-protection.html
_____________________________________________________________

OBJECTIF DU POSTE

L’ingénieur(e) de données est responsable de la conception, de la mise en œuvre et du maintien des pipelines de données qui soutiennent la migration, l’analyse, les fonctions d’intelligence d’affaires et l’intégration avec les applications Microsoft Dynamics 365 (D365). Il/elle collabore étroitement avec les analystes et les parties prenantes de l’entreprise afin d’assurer la fluidité des flux de données dans toute l’organisation et leur disponibilité pour l’analyse.

RESPONSABILITÉS ET TÂCHES PRINCIPALES

Les responsabilités de ce poste comprennent, sans s’y limiter, les éléments suivants :

Ingénierie et intégration des données :

• Concevoir, développer et maintenir des pipelines ETL (Extraction, Transformation, Chargement) afin d’assurer un traitement efficace de grands ensembles de données, incluant l’intégration des données provenant de Microsoft Dynamics 365 (D365) et d’autres systèmes.
• Construire et optimiser les architectures de données, incluant les lacs de données, entrepôts de données et data marts, avec une attention particulière à l’intégration des données de D365.
• Assurer la cohérence, la qualité et la disponibilité des données pour les besoins analytiques et les rapports d’affaires, en particulier ceux liés à D365.
• Collaborer avec les équipes multidisciplinaires pour définir les exigences de données et mettre en œuvre des solutions adaptées, notamment pour l’intégration et l’analyse des données D365.

Infrastructure de données:

• Développer des solutions de données évolutives pour traiter des volumes importants et des flux à haute vélocité, y compris les données liées à D365.
• Mettre en œuvre et gérer des environnements de données infonuagiques (Azure, GCP, AWS), en assurant leur sécurité, leur évolutivité et leur fiabilité.
• Optimiser le stockage, la récupération et le traitement des données pour maximiser la performance et l’efficacité des coûts, notamment pour les scénarios d’intégration D365.

Gouvernance et sécurité des données:

• Mettre en place des pratiques de gouvernance des données afin d’assurer la qualité, l’intégrité et la sécurité des données, particulièrement celles issues de D365.
• Maintenir la conformité aux réglementations en matière de confidentialité (telles que le RGPD) et aux meilleures pratiques lors du traitement des données provenant de D365 et d’autres systèmes intégrés.

Collaboration et communication:

• Travailler en étroite collaboration avec les analystes de données, les analystes d’affaires et les gestionnaires de produit afin de s’assurer que l’infrastructure de données répond aux besoins de l’entreprise, notamment en ce qui concerne les données D365.
• Communiquer clairement les enjeux et les mises à jour liés aux données, tant aux parties prenantes techniques que non techniques, avec un accent sur les données issues de D365.

COMPÉTENCES TECHNIQUES ET PROFESSIONNELLES

• Baccalauréat (ou équivalent) en informatique, en ingénierie, en mathématiques ou dans un domaine connexe.
• Expérience démontrée à titre d’ingénieur(e) de données, avec une solide compréhension des principes d’ingénierie de données.
• Maîtrise des langages de programmation tels que Python, Hadoop, SQL, Java et/ou Scala.
• Expérience avec les cadres ETL et les outils de traitement de données tels que Apache Spark, Hadoop ou équivalents.
• Expérience en intégration, gestion et développement de pipelines de données avec Microsoft Dynamics 365 (D365).
• Solide compréhension des plateformes infonuagiques (Azure, GCP, AWS) et des solutions de stockage de données infonuagiques (ex. Redshift, BigQuery).
• Connaissance des technologies de bases de données (SQL et NoSQL).
• Familiarité avec les outils de contrôle de version (Git) et les méthodologies de développement agile.

QUALIFICATIONS SOUHAITÉES

• Expérience avec les outils d’orchestration de données.
• Connaissance des API et connecteurs D365 pour l’extraction et l’intégration des données.
• Expérience avec la conteneurisation des données et l’automatisation de l’infrastructure infonuagique.
• Connaissance des pratiques de test, de surveillance et de débogage des pipelines de données.
• Familiarité avec les meilleures pratiques en matière de sécurité, chiffrement et confidentialité des données.

Participer à des réunions techniques et à des échanges avec des équipes internes et externes. Collaborer sur des architectures de données et des intégrations infonuagiques complexes nécessitant une bonne maîtrise de l’anglais pour assurer une communication efficace et la réussite des projets.

Politique de protection des données : https://corp.kitco.com/fr/data-protection.html

About Kitco Metals Inc.:

Founded in 1977, Kitco Metals Inc. is headquartered in Montreal and has offices in New York and Hong Kong. Kitco is one of the largest retailers of precious metals in the world, and a specialized supplier of refining services. The company is an authorized reseller of products made by some of the most prestigious government mints. Kitco’s website, the world’s #1 precious metals reference, is visited by close to a million people every day. A leading industry innovator, Kitco was one of the first precious metal companies to offer free real-time market information applications for smart phones.