Lien ZOOM : https://uqam.zoom.us/j/88172989278

Résumé : Les systèmes Internet of Things sont de plus en plus déployés dans divers domaines, ce qui nécessite des tests de bout en bout (E2E) robustes afin de garantir un comportement fonctionnel conforme aux attentes. Cependant, la génération de tests E2E efficaces demeure difficile en raison de l’hétérogénéité, de la nature distribuée et de l’exécution dynamique des systèmes IoT, ainsi que du besoin de valider les interactions entre plusieurs couches et composants. Les approches de test traditionnelles peuvent ne pas révéler les défauts dans des conditions réelles d’exécution multi-couches.Dans cette présentation, je présenterai FUNEETIS, une approche semi-automatisée pour le test fonctionnel E2E des systèmes IoT, basée sur des spécifications de cas d’utilisation (UCS) rédigées dans un format restreint et sur une description du système IoT. FUNEETIS convertit les UCS en scénarios exécutables, les transforme en charges utiles structurées, puis génère des cas de test exécutables. Pour détecter les défauts, l’approche exécute le système en temps réel, collecte des données d’exécution à travers les différentes couches et compare les résultats attendus aux résultats observés.J’ai évalué FUNEETIS à travers des études de cas sur deux systèmes IoT. J’ai volontairement injecté des défauts à des emplacements connus afin d’établir une vérité terrain, ce qui permet de mesurer la précision et le rappel de détection des bugs, ainsi que la couverture de métriques spécifiques aux systèmes IoT. Les résultats montrent une couverture complète des nœuds, des protocoles et des scénarios, ainsi qu’une grande précision dans l’extraction des scénarios et la génération des données de test, avec une précision et un rappel généralement supérieurs à 90 %. La couverture des interactions et des actions reste modérée, et la plupart des bugs détectés apparaissent dans les couches dispositif et application sur les deux systèmes. FUNEETIS repose uniquement sur des UCS structurées et sur une description du système sous test (SUT), et peut être reproduit et adapté à d’autres systèmes IoT.Plus récemment, j’ai exploré l’utilisation de l’IA générative, en particulier des architectures d’agents basées sur des modèles de langage de grande taille (LLM), afin d’analyser automatiquement la documentation technique et d’en dériver des tests. Contrairement à FUNEETIS, cette approche vise la génération de tests pour des systèmes logiciels généraux et cherche à automatiser davantage le processus de test.

Biographie : Jean Baptiste Minani est chercheur postdoctoral à l’University of Ottawa, où ses travaux portent sur l’IA générative appliquée au génie logiciel, en particulier sur les architectures d’agents basées sur des modèles de langage de grande taille (LLM) pour la génération automatique de tests et l’assurance qualité logicielle. Il a obtenu son doctorat en génie logiciel à l’Concordia University. Il est également titulaire d’un Master en technologies de l’information de la Carnegie Mellon University et d’un Bachelor en technologies de l’information du Vellore Institute of Technology.De 2010 à 2021, il a travaillé dans le domaine du génie logiciel, avec une spécialisation dans les systèmes d’e-gouvernement à grande échelle. Durant cette période, il a dirigé et contribué au développement de plusieurs plateformes numériques nationales, en appliquant des pratiques modernes d’ingénierie logicielle afin d’améliorer la prestation de services dans les interactions gouvernement-à-gouvernement (G2G), gouvernement-à-citoyen (G2C) et gouvernement-à-entreprises (G2B).Ses domaines de recherche incluent les tests logiciels automatisés, les tests de bout en bout de systèmes complexes et distribués (y compris les systèmes Internet of Things), ainsi que l’utilisation de l’intelligence artificielle pour améliorer la qualité logicielle. Plus récemment, ses travaux explorent l’IA générative et les architectures d’agents LLM pour analyser la documentation technique, en extraire des connaissances structurées et exploiter ces informations pour générer automatiquement des tests.Il a publié des travaux de recherche dans des revues et conférences majeures en génie logiciel et systèmes IoT, contribuant aux avancées en matière de tests automatisés et d’assurance qualité pour les systèmes logiciels modernes.

 
Abstract : IoT systems are increasingly deployed across various domains, requiring robust end-to-end (E2E) testing to ensure expected functional behavior. However, generating effective E2E tests remains challenging due to the heterogeneity, distributed nature, and dynamic execution of IoT systems, as well as the need to validate interactions across multiple layers and components. Traditional testing approaches may not expose faults under real world, cross layer execution conditions.In this talk, I will present FUNEETIS, a semi automated approach for E2E functional testing of IoT systems using Use Case Specifications (UCSs) written in a restricted format and an IoT system description. FUNEETIS converts UCSs into executable scenarios, transforms them into structured payloads, and generates executable test cases. To detect faults, the approach executes the system in real time, collects runtime data across layers, and compares expected and actual results.I evaluated FUNEETIS through case studies on two IoT systems. I deliberately injected faults with known locations to establish ground truth, enabling us to report bug detection precision and recall together with coverage of IoT specific metrics. The results show full coverage of nodes, protocols, and scenarios, and high accuracy for scenario extraction and test data generation, with precision and recall generally above 90%. Interaction and action coverage are moderate, and most detected bugs appear in device and application layers across both systems. FUNEETIS relies only on structured UCSs and a system description of the system under test (SUT), and it can be replicated and tailored to other IoT systems.  More recently, I have been exploring the use of generative AI, particularly LLM-based agent architectures, to automatically analyze technical documentation and derive tests. Unlike FUNEETIS, this line of work targets test generation for general software systems and aims to further automate the testing process.

Biography : Jean Baptiste Minani is a Postdoctoral Researcher at the University of Ottawa, Canada, where his research focuses on generative AI for software engineering, particularly LLM-based agent architectures for automated test generation and software quality assurance. He completed his Ph.D. in Software Engineering at Concordia University, Canada. He holds a Master’s degree in Information Technology from Carnegie Mellon University (CMU), USA, and a Bachelor’s degree in Information Technology from Vellore Institute of Technology (VIT), India. From 2010 to 2021, he worked in the field of software engineering, specializing in large-scale e-government systems. During this period, he led and contributed to the development of several national digital platforms by applying modern software engineering practices to improve service delivery across government-to-government (G2G), government-to-citizen (G2C), and government-to-business (G2B) interactions. His research interests include automated software testing, end-to-end testing of complex and distributed systems (including IoT systems), and the use of artificial intelligence to improve software quality. More recently, his work explores generative AI and LLM-agent architectures for analyzing technical documentation, extracting structured knowledge, and using the extracted information to generate tests. He has published research in leading journals and conferences in software engineering and IoT systems, contributing to advances in automated testing and quality assurance for modern software systems.