Soutenance de thèse de Corentin BERNARD

Ecole Doctorale
SCIENCES POUR L'INGENIEUR : Mécanique, Physique, Micro et Nanoélectronique
Spécialité
Sciences pour l'ingénieur : spécialité Acoustique
établissement
Aix-Marseille Université
Mots Clés
Haptique,Synthèse sonore,Psychophysique,IHM,
Keywords
Haptics,Sound synthesis,Psychophysics,HCI,
Titre de thèse
Synthèse de signaux audio-haptiques pour le guidage du geste
Audio-Haptic signals synthesis for gesture guidance
Date
Mardi 22 février 2022 à 15:00
Adresse
CNRS-PRISM 31, Chemin Joseph Aiguier CS 70071, 13402 Marseille Cedex 20, FRANCE Tel : +33 4 91 16 40 78
Amphithéâtre Pierre Desnuelle
Jury
Directeur de these Mme Solvi YSTAD PRISM, Aix Marseille Université - CNRS
Rapporteur M. Laurent GRISONI Université de Lille
CoDirecteur de these M. Michaël WIERTLEWSKI TU Delft
Rapporteur M. Davide ROCCHESSO University of Palermo
Examinateur Mme Anne KAVOUNOUDIAS Aix-Marseille Université
Examinateur M. Vincent LéVESQUE École de technologie supérieure (Montréal, Canada)

Résumé de la thèse

Les écrans tactiles sont devenus l'élément central de plus en plus d'interfaces homme-machine. Leur succès est particulièrement manifeste dans l'industrie automobile, où les boutons physiques ont été remplacés par des écrans tactiles pour gérer les multiples paramètres de l'environnement de conduite. Cependant, contrairement aux boutons physiques, ces interfaces ne possèdent pas d'éléments tangibles permettant à l'utilisateur de sentir où se trouvent les commandes et de créer ainsi des modèles mentaux de l'interface. Ces modèles mentaux peuvent ensuite être utilisés pour réaliser certaines opérations sans même regarder l'interface. Sans retours tactiles, les utilisateurs ne peuvent se fier qu'aux indications visuelles et de simples tâches de réglage deviennent des distractions importantes qui peuvent conduire à des situations dangereuses au volant. Récemment, les écrans haptiques ont fait leur apparition pour redonner une certaine tangibilité à ces interfaces. L'une de ces technologies prometteuses est la modulation de frottement ultrasonore. Elle créé un retour haptique en utilisant la lévitation ultrasonore pour modifier le frottement sous le doigt explorant la surface, procurant ainsi la sensation de sentir des textures et du relief. Cependant, nous ne comprenons toujours pas bien comment ces textures synthétiques sont perçues par l'homme, ce qui est une question cruciale pour concevoir des interfaces haptiques pertinentes et intuitives. L'objectif de cette thèse est d'améliorer la compréhension de notre perception des textures par modulation de frottement afin de proposer de nouvelles interactions homme-machine avec retours haptiques. Tout d'abord, je montre que les seuils de perception des textures par modulation de frottement sont similaires aux seuils de perception des vibrations. L'expérience psychophysique fournit également des données pertinentes sur la façon dont ces seuils, c'est-à-dire les plus faibles amplitudes perceptibles des stimuli, varient avec la fréquence spatiale et la vitesse d'exploration du doigt. Avec seconde expérience psychophysique, j'étudie la perception des gradients haptiques, c'est-à-dire de textures dont la fréquence spatiale change progressivement. Il en ressort une loi décrivant la distance minimale d'exploration pour percevoir un gradient donné. Comme cette loi est similaire à la perception auditive des variations de rythme, je propose un retour auditif congruent qui améliore la perception des gradients haptiques, démontrant ainsi un processus d'intégration audio-haptique. Enfin, je montre que les utilisateurs peuvent ajuster un paramètre sur une interface sans recourir à la vision, uniquement avec un retour haptique. Je démontre que, après apprentissage, les gradients haptiques sont appropriés pour guider le réglage absolu d'une valeur. Des feedbacks supplémentaires, audio et visuels, sont proposés pour aider l'apprentissage. Ces résultats apportent un éclairage nouveau sur la compréhension de la perception haptique et de ses interactions multisensorielles, et ouvrent de nouvelles possibilités en termes d'interaction homme-machine.

Thesis resume

An ever-increasing number of human-machine interfaces have embraced touchscreens as their central component. Their success has been particularly noticeable in the automotive industry, where physical buttons have been replaced by touchscreens to handle multiple elements of the driving environment. However, contrary to physical buttons, these interfaces do not possess any tangible elements that allows the user to feel where the commands are and to create mental models of the interface. These mental models can be used to perform the controls even without a glance. Without tactile feedback, users have to rely on visual cues and simple adjustment tasks become significant distractions that may lead to dangerous situations while driving. Recently, haptic touchscreens have emerged to restore tangibility to these interfaces. One of these promising technologies is the ultrasonic friction modulation. It generates haptic feedback by using ultrasonic levitation to modify the friction under the finger exploring the surface, rendering the sensation of feeling textures and shapes. However, we still do not have a good understanding of how these synthetic textures are perceived by humans, which is crucial to design meaningful and intuitive haptic interfaces. The aim of the present thesis is to enhance the comprehension of the perception of friction modulated textures in order to propose new human-machine interactions with haptic feedback. Firstly, I show that the perception thresholds of friction modulated textures are similar to vibrotactile thresholds. The psychophysical experiment also provides relevant data on how the thresholds, i.e., the lowest perceptible amplitudes of the stimuli, vary with spatial frequency and finger exploration velocity. Through a second psychophysical experiment, I investigate the perception of haptic gradients, i.e., textures whose spatial frequency gradually changes. Hence, a law that describes the minimal exploration distance to perceive a given gradient is deduced. Since this law is similar to the auditory perception of rhythm variations, I propose congruent auditory feedback that improved the perception of haptic gradients, hereby demonstrating audio-haptic integration. Finally, I show that users can adjust a setting on an interface without vision, solely with haptic feedback. I demonstrate that, after learning, haptic gradients are adequate to guide the absolute setting of a value. Congruent audio and visual supplementary feedbacks are proposed to assist the training. The findings shed new light on the understanding of haptic perception and its multisensory interactions, and open up new possibilities in terms of human-machine interaction.