We are seeking an AI Agent Experience Coordinator to support the development, optimization, monitoring, and quality assurance of our AI-powered solutions. This role is ideal for a highly organized professional who combines strong project coordination skills with hands-on experience using AI tools and prompt engineering techniques. You will help manage AI agent development workflows, maintain prompt libraries, coordinate testing and quality assurance activities, and ensure that AI-generated outputs consistently meet quality and business standards.

Role

RXChainge project coordination Agent creation & monitoring Prompt engineering Quality assurance, testing & optimization

Key Responsibilities

Project coordination Coordinate AI agent development initiatives and related project activities. Manage timelines, priorities, deliverables, and stakeholder communications. Facilitate collaboration between client services, medical writing and dev. team. Track project progress, identify risks, and escalate issues when necessary. Support documentation, reporting, and process improvement initiatives.

Agent creation, monitoring and prompt engineering

Execute the creation, configuration, testing, and demo-ing of AI agents. Maintain and organize the prompt library, ensuring consistency, version control, and documentation. Design and optimize prompts across multiple use cases, therapeutic areas, and user roles. Benchmark prompts and agent performance across models and configurations to improve output quality and reliability.

Analyze conversation transcripts to identify prompt optimization opportunities

Monitor agent performance and identify opportunities for improvement.

Quality assurance, testing & optimization

Coordinate QA and user acceptance testing activities with internal stakeholders. Develop and execute testing plans for AI agents and prompting workflows. Identify and address quality issues, edge cases, and performance gaps. Review AI-generated content for clarity, consistency, and tone, and facilitate the content review of subject matter experts for accuracy. Execute on analysis and reporting steps, primarily related to transcripts, to track performance, quality, user feedback, and identify opportunities for optimization.

Required Qualifications

2–5+ years of experience in project coordination, project management, digital production, or a related field (flexible based on experience) Professional experience using AI tools and large language models (e.g., ChatGPT, Claude, Gemini, Copilot). Understanding of prompt engineering principles and generative AI workflows. Strong organizational and multitasking skills with the ability to manage multiple priorities simultaneously. Excellent written and verbal communication skills. Strong analytical and problem-solving abilities. Comfortable working in an evolving environment with changing priorities. Demonstrated attention to detail and commitment to quality.

Bilingual (English and French)

Additional Assets

Experience with prompt optimization or experimentation workflows Familiarity with evaluation methods for AI outputs (qualitative or quantitative) Exposure to software product development or agile environments Experience working with regulated or specialized content, including healthcare or life sciences.

Experience in writing, editing, proofreading or related fields

Coordonnateur(trice) de l’expérience des agents IA

Aperçu du poste Nous sommes à la recherche d’un(e) coordonnateur(trice) de l’expérience des agents IA pour soutenir le développement, l’optimisation, la surveillance et l’assurance qualité de nos solutions alimentées par l’intelligence artificielle. Ce rôle convient parfaitement à une personne hautement organisée qui combine de solides compétences en coordination de projets avec une expérience pratique des outils d’IA et des techniques d’ingénierie de requêtes (prompt engineering). Vous contribuerez à la gestion des flux de travail liés au développement d’agents IA, au maintien des bibliothèques de requêtes, à la coordination des activités de tests et d’assurance qualité, ainsi qu’à la garantie que les résultats générés par l’IA répondent constamment aux normes de qualité et aux exigences de l’entreprise.

Principales responsabilités

Coordination du projet RXChainge Création et surveillance des agents IA Ingénierie de requêtes (Prompt Engineering) Assurance qualité, tests et optimisation Responsabilités principales Coordination de projets Coordonner les initiatives de développement d’agents IA et les activités de projet connexes. Gérer les échéanciers, les priorités, les livrables et les communications avec les parties prenantes. Faciliter la collaboration entre les équipes de services aux clients, de rédaction médicale et de développement. Assurer le suivi de l’avancement des projets, identifier les risques et signaler les enjeux lorsque nécessaire. Soutenir les initiatives de documentation, de production de rapports et d’amélioration des processus.

Création, surveillance des agents et ingénierie de requêtes

Participer à la création, à la configuration, aux essais et aux démonstrations d’agents IA. Maintenir et organiser la bibliothèque de requêtes (prompts) en assurant la cohérence, le contrôle des versions et la documentation. Concevoir et optimiser des requêtes pour divers cas d’utilisation, domaines thérapeutiques et profils d’utilisateurs. Comparer la performance des requêtes et des agents entre différents modèles et configurations afin d’améliorer la qualité et la fiabilité des résultats. Analyser les transcriptions de conversations afin d’identifier des occasions d’optimisation des requêtes. Surveiller la performance des agents et recommander des améliorations.

Assurance qualité, tests et optimisation

Coordonner les activités d’assurance qualité (AQ) et les tests d’acceptation utilisateur avec les parties prenantes internes. Élaborer et exécuter des plans de tests pour les agents IA et les flux de travail de requêtes. Identifier et corriger les problèmes de qualité, les cas particuliers et les écarts de performance. Réviser le contenu généré par l’IA afin d’assurer la clarté, la cohérence et le ton approprié, et coordonner la révision du contenu par les experts de contenu pour valider l’exactitude. Réaliser les analyses et les rapports requis, principalement à partir des transcriptions, afin de suivre la performance, la qualité, les commentaires des utilisateurs et les possibilités d’optimisation.

Qualifications requises

De 2 à 5 ans ou plus d’expérience en coordination de projets, gestion de projets, production numérique ou dans un domaine connexe (flexibilité selon l’expérience). Expérience professionnelle avec des outils d’intelligence artificielle et des modèles de langage avancés (ex. : ChatGPT, Claude, Gemini, Copilot). Bonne compréhension des principes d’ingénierie de requêtes (prompt engineering) et des flux de travail en IA générative. Excellentes compétences organisationnelles et capacité à gérer plusieurs priorités simultanément. Excellentes aptitudes en communication écrite et verbale. Solides capacités d’analyse et de résolution de problèmes. Aisance à évoluer dans un environnement en constante évolution où les priorités peuvent changer rapidement. Souci du détail démontré et engagement envers la qualité. Bilinguisme (français et anglais).

Atouts supplémentaires

Expérience en optimisation de requêtes (prompts) ou en expérimentation de modèles IA. Connaissance des méthodes d’évaluation des résultats générés par l’IA (qualitatives ou quantitatives). Familiarité avec le développement de produits logiciels ou les environnements Agile. Expérience dans des secteurs réglementés ou spécialisés, notamment les soins de santé ou les sciences de la vie. Expérience en rédaction, révision, correction d’épreuves ou dans un domaine connexe.