L'objectif de notre travail de thèse est de modéliser le comportement verbal et non verbal d'un Agent Pédagogique (AP) pouvant être intégré à terme dans un Environnement Informatique d'Apprentissage Humain (EIAH). Nous avons été amenés à nous poser les questions de recherche suivantes : quelle est la composante non verbale dans une communication pédagogique ? Comment étudier cette composante pour obtenir un modèle computationnel du comportement plausible d'un agent virtuel ? Quelles corrélations entre les actes pédagogiques et la direction du regard d'un agent humain ? Pour mener à bien un travail exploratoire, nous avons adopté une approche méthodologique fondée sur l'étude de corpus vidéo multimodaux. Au sein d'une équipe pluridisciplinaire, comprenant des informaticiens et des didacticiens des mathématiques, nous avons mis au point une situation pédagogique dans laquelle un agent pédagogique virtuel serait susceptible d'intervenir. Nous avons ainsi filmé des interactions dyadiques entre enseignants et apprenants de fin de troisième début seconde (15-16 ans) lors d'un entretien de bilan de compétences en mathématiques suite à la résolution d'exercices par les élèves avec le logiciel Pépite. Nous avons proposé un schéma d'annotation multi-niveaux pour annoter les comportements observés. La pluridisciplinarité du sujet de recherche (Informatique, EIAH, IHM, Sciences de l'éducation, didactique, linguistiques etc.) fait de la mise au point de ce schéma de codage un travail délicat mais important vu la richesse de connaissances provenant de différentes disciplines. Après un travail d'annotation d'une partie du corpus recueilli, des mesures statistiques calculées à partir des annotations effectuées suggèrent différentes stratégies des enseignants en termes de direction du regard en fonction du profil de l'apprenant et des actes pédagogiques. Ces mesures nous ont permis d'extraire des règles permettant de piloter la composante direction du regard d'un AP. Un prototype mettant à l'épreuve ce modèle a été développé.