Spécialiste en évaluation et assurance de l'IA

Job summary

Design and maintain evaluation datasets, test cases, and benchmarks, and conduct automated and human assessments of AI systems before deployment and in production. Analyze system quality, robustness, incidents, and operational metrics; report findings and help improve business rules, prompts, controls, and safeguards.

Job details

Spécialiste en évaluation et assurance de l’IA Montréal | Hybride | Permanent ou pigiste incorporé Systematix est à la recherche d’un(e) Spécialiste en évaluation et assurance de l’intelligence artificielle pour contribuer à des initiatives stratégiques en IA et participer à l’amélioration continue de solutions innovantes déployées dans des environnements d’affaires complexes. Vous jouerez un rôle clé dans l’évaluation, la validation et l’amélioration de la qualité des systèmes d’intelligence artificielle afin d’assurer leur performance, leur fiabilité et leur maîtrise opérationnelle. Vos responsabilités Concevoir, maintenir et enrichir les jeux d’évaluation, les cas d’essai et les ensembles de référence utilisés pour mesurer la performance des solutions d’IA; Réaliser des évaluations automatisées et humaines avant le déploiement et en production; Effectuer des essais de robustesse et des tests adverses afin d’identifier les risques, les comportements indésirables et les signaux critiques manqués; Mesurer et analyser la qualité des réponses générées par les systèmes d’IA; Suivre les taux de correction humaine, d’escalade et les indicateurs de qualité opérationnelle; Analyser les incidents liés à l’IA et contribuer à la mise en place de mesures correctives; Produire des rapports d’évaluation rigoureux distinguant clairement les faits observés, les hypothèses et les éléments à valider; Participer à l’amélioration continue des règles d’affaires, des invites (prompts), des mécanismes de contrôle et des garde-fous. Profil recherché Vous possédez une expérience pertinente dans plusieurs des domaines suivants : Assurance qualité de solutions d’intelligence artificielle; Évaluation de modèles d’IA ou d’IA générative; Élaboration de scénarios de tests et de protocoles d’évaluation; Analyse de résultats, métriques de performance et indicateurs de qualité; Validation de systèmes automatisés; Gestion et analyse d’incidents; Amélioration continue et contrôle qualité. Niveau de français avancé, tant à l'oral qu'à l'écrit. Permis de travail valide permettant de travailler au Canada. Atouts Expérience avec des solutions d’IA générative ou des grands modèles de langage (LLM); Connaissance des enjeux liés à l’IA responsable, à la gouvernance ou à la gestion des risques. Pourquoi joindre Systematix? En vous joignant à Systematix, vous intégrerez une équipe reconnue pour son expertise et sa contribution à des projets stratégiques auprès de grandes organisations canadiennes. Pour les employés permanents admissibles, nous offrons un programme complet d'avantages sociaux, comprenant notamment : Assurance collective (soins médicaux, dentaires, vie et invalidité); Programme d'aide aux employés et à leur famille; Congés et vacances; Systematix accueille également les candidatures de consultants incorporés souhaitant réaliser leur mandat à titre de pigiste. Pour postuler, veuillez mettre en évidence dans votre CV vos réalisations en évaluation, validation, assurance qualité, tests, contrôle ou amélioration continue de solutions d’intelligence artificielle.

What you’ll do

Design and maintain evaluation datasets, test cases, and benchmarks, and conduct automated and human assessments of AI systems before deployment and in production. Analyze system quality, robustness, incidents, and operational metrics; report findings and help improve business rules, prompts, controls, and safeguards.

Requirements

Relevant experience in several areas such as AI quality assurance, model evaluation, test design, performance analysis, automated system validation, incident analysis, or continuous improvement is required. Candidates must have advanced French proficiency and a valid work permit for Canada; experience with generative AI, LLMs, responsible AI, governance, or risk management is an asset.

Benefits

• Health Insurance
• Dental Insurance
• Life Insurance
• Disability Insurance
• Employee and Family Assistance Program
• Leave
• Vacation

Listed skills

• Incident Management · Preferred
• Continuous Improvement · Preferred
• Risk Management · Preferred

Other relevant skills

Identified from the job description. Confirm important requirements above.

• AI Quality Assurance
• AI Model Evaluation
• Generative AI Evaluation
• Test Scenario Design
• Evaluation Protocols
• Performance Metrics Analysis
• Automated System Validation
• Incident Management
• Robustness Testing
• Adversarial Testing
• Operational Quality Monitoring
• Continuous Improvement
• Responsible AI
• AI Governance
• Risk Management
• Advanced French

Job areas

• Technology
• Software
• Data & Analytics
• Consulting

More jobs from Systematix