Anno accademico 2022-2023

AUDITORY AND TACTILE INTERACTIONS

Docenti

Federico Fontana
Totale crediti
6
Periodo didattico
Secondo Periodo
Tipologia
Caratterizzante
Prerequisiti. Costituisce vantaggio nella fruizione del corso la conoscenza dell’interazione uomo-macchina, della matematica di base (in particolare, logaritmi, esponenziali, derivate, integrali, successioni aritmetiche e geometriche, funzioni), della fisica di base (rudimenti di cinematica dei

sistemi inerziali e della propagazione delle onde) e dell’informatica di base (nozione di calcolo e algoritmo, costrutti di base della

programmazione).

Metodi didattici. L’insegnamento prevede:

– attività di didattica frontale finalizzata all’apprendimento della Psicologia della percezione uditiva e tattile, l’Analisi spettrale, i sistemi

per la sintesi di suono e vibrazioni;

– attività di laboratorio finalizzata allo sviluppo delle capacità dello studente di applicare le conoscenze acquisite su casi applicativi reali inerenti i fenomeni percettivi uditivi e tattili, la definizione e ispezione di

segnali discreti, la trasformazione di Fourier, la realizzazione e valutazione di convoluzioni, la realizzazione di filtri e l’utilizzo di funzionalità standard per il suono al calcolatore.

I concetti vengono esposti dal docente annotando su lucidi e a lavagna nel caso della lezione frontale, e proiettando l’attività al calcolatore nel caso della lezione di laboratorio. Il calcolatore viene adoperato anche per mostrare pagine di

testo e altre fonti legate all’argomento in esposizione. Gli studenti possono scegliere di affrontare l’esame dando maggiore enfasi agli aspetti creativi legati alla realizzazione d’interfacce per il suono e vibrazioni. In tal caso, essi possono intraprendere un percorso guidato in cui con maggiore autonomia sviluppano una tematica legata al programma. In particolare, il docente presenta durante il corso le ricerche in cui è coinvolto e suggerisce le fonti da cui partire nel caso in cui

l’assignment scelto cada all’interno di una di queste ricerche.

Modalità di verifica. Nel caso in cui lo studente scelga di non eseguire l’assignment l’esame consta di un colloquio, in cui viene inizialmente proposto di pre-

progettare un’interfaccia acusto-tattile; durante l’abbozzo della stessa interfaccia il docente pone ulteriori domande in base a come si sta sviluppando la pre-progettazione. Nel caso in cui lo studente svolga l’assignment l’esame consta di una valutazione dell’attività riassunta in un elaborato e/o prototipo, nel contesto di un colloquio in cui vengono discussi aspetti a esso correlati. In ogni caso agli studenti è richiesta la

conoscenza del programma dell’insegnamento.

Altre informazioni. L’insegnamento viene fornito in due sedi, in modalità anche teledidattica. Il docente bilancia la presenza nelle due sedi trasmettendo la lezione in

teledidattica verso la sede remota.

Il materiale didattico e le riprese video delle lezioni del docente sono rese

disponibili sulla piattaforma E-learning dell’Ateneo di Udine. Inoltre, sono disponibili delle riprese video delle lezioni effettuate ed accessibili attraverso la piattaforma MS Teams. Tali materiali

sono riservati agli studenti iscritti al Corso. Attraverso la piattaforma il docente fornisce agli studenti anche gli esercizi di laboratorio e le fonti per gli assignment. Le attività di tesi di laurea collegate con l’insegnamento prevedono

tipicamente di affiancare il docente nelle ricerche sull’interazione acusto-tattile e nelle interfacce multimodali, attorno a un tema istruttivo e di

difficoltà proporzionale alle risorse di tempo e intellettuali dello studente.

Obiettivi formativi
Al termine del corso gli studenti saranno in possesso di alcune semplici metodologie per elaborare il suono e per sintetizzare vibrazioni, con

particolare riferimento alla sintesi in tempo reale.

In particolare:

– avranno appreso i fondamenti della psicologia della percezione uditiva e tattile;

– conosceranno la natura di un segnale e di un sistema a tempo continuo e discreto;

– sapranno riconoscere e valutare lo spettro di un segnale a tempo discreto;

– saranno a conoscenza delle tecniche tradizionali per la sintesi del suono;

– avranno nozioni sufficienti per valutare e progettare semplici sistemi software e hardware per la sintesi di suoni e vibrazioni;

– avranno compreso i principi base del funzionamento del software per la sintesi del suono in tempo reale, su cui avranno elaborato degli esempi di realizzazioni di modelli per la sintesi del suono e di vibrazioni.

Risultati di apprendimento attesi come riportati nei seguenti Descrittori di

Dublino.

Capacità relative alle discipline:

– Conoscenza e comprensione

Gli studenti acquisiscono durante il Corso di Auditory and Tactile Interactions conoscenza di base dell’elaborazione di suono e vibrazioni nelle sue componenti fondamentali percettive, matematiche, e pratiche. Le stesse conoscenze sono applicate alla sintesi in tempo reale al

calcolatore.

– Capacità di applicare conoscenza e comprensione

Attraverso la soluzione di un numero sufficiente di esercizi, gli studenti comprendono la difficoltà di progettare e successivamente realizzare

architetture software e hardware di generazione di suono e vibrazioni per applicazioni in tempo reale.

Capacità trasversali /soft skills

– Autonomia di giudizio

In virtù del radicamento dell’elaborazione del suono all’interno del campo più vasto della teoria dei segnali e della teoria dei sistemi, lo studente al termine del corso avrà maturato un’autonomia di giudizio di tipo più profondo relativamente alla bontà di progettazione e alle prestazioni dei costituenti fondamentali del software per l’elaborazione dei segnali in tempo reale.

– Abilità comunicative

Al termine del corso lo studente avrà cognizione dei più importanti risultati

legati alla percezione audio-tattile dei segnali, e

contemporaneamente darà un significato alla terminologia legata alle tecniche e tecnologie per la resa di segnali uditivi e tattili, molto

adoperata anche nell’ingegneria della comunicazione: decibel, spettro, banda, risposta in frequenza solo per citare alcuni termini. Conseguentemente, lo studente avrà future possibilità di far interagire assieme le diverse professionalità, tipicamente in possesso di abilità creative o tecniche, che operano nel settore della realizzazione della

componente non visuale delle interfacce.

– Capacità di apprendimento

Sulla base dei concetti appresi lo studente potrà successivamente approfondire una molteplicità di aspetti legati alla psicofisica della percezione uditiva e tattile, al design d’interfacce audio-tattili, e alla progettazione di software per la resa di suono e vibrazioni.

Contenuti
Il corso prevede una serie di lezioni frontali corredate da specifici esempi pratici e applicativi sulle principali questioni legate alla sintesi di suono e vibrazioni.

1. Basic Design – Fondamenti. Cenni storici. Metodologie. L’interfaccia non visuale. Sinestesia

2. Psicologia della percezione uditiva – L’apparato uditivo. Intensità e intensità percepita. Mappe psicofisiche. Ipotesi di Fechner, legge di Weber. Altezza. Mascheramento. Bande critiche. Percezione spaziale.

3. Psicologia della percezione tattile – L’apparato somatosensoriale: percezione cinestetica e cutanea; tipi di recettori e sensibilità associate.

Percezione di vibrazioni: fenomeni additivi, di ascheramento, di magnificazione, di adattamento. Conduzione ossea.

4. Cenni di analisi spettrale – Richiami di trigonometria, algebra dei complessi, integrali di funzioni. Segnali a tempo continuo. Significato della Trasformata di Fourier. Campionamento. Trasformata di Fourier a tempo discreto: spettro di un segnale e sua interpretazione. Effetti di

campionamento, finestratura temporale e discretizzazione in frequenza. Trasformata discreta di Fourier: definizione, risoluzione nel tempo e in

frequenza; invertibilità della matrice di Fourier. Trasformata veloce di Fourier (FFT). Spettrogrammi.

5. Sistemi a tempo discreto (solo aspetti prevalentemente qualitativi) – linearità, tempo-invarianza, risposta all’impulso, convoluzione. Stabilità.

Risposta in frequenza: risposta in ampiezza, risposta in

fase. Nozione di filtro numerico. Composizione di serie e paralleli di filtri. Linee di ritardo. Caratteristiche della Risposta in frequenza. Ordine del filtro. Interpretazione della risposta in ampiezza. Filtri FIR: esempio di risposta all’impulso di durata finita; caratteristiche di trasferimento del filtro FIR.

Filtri IIR: esempio di risposta all’impulso di durata infinita; caratteristiche di trasferimento del filtro IIR. Valutazione della risposta in ampiezza e fase di semplici filtri FIR e IIR.

6. Sintesi di suono e vibrazioni (solo aspetti prevalentemente qualitativi) – Risonatori IIR: caratteristiche; formalizzazione della Risposta in frequenza; normalizzazione della risposta; risposta in ampiezza; selettività. Filtri “comb” FIR e IIR: caratteristiche e utilizzo. Filtro comb-allpass. Riverbero acustico: modello lineare; approccio fisico e percettivo; misura di parametri acustici

caratteristici: prime riflessioni, riflessioni successive, decadimento; descrizione modale; descrizione statistica. Realizzazione di oscillatori:

digitali e wavetable. Sintesi additiva, inviluppo ADSR. Sintesi sottrattiva. Realizzazione e ascolto di filtraggi in ambiente Puredata e Matlab. Sintesi di vibrazioni: pattern tipici; controllo delle risonanze.

7. Tecnologie allo stato dell’arte per la presentazione di suono e vibrazioni – Altoparlanti, trasduttori piezoelettrici e loro utilizzo nella diffusione nella focalizzazione della risposta ausio-tattile di un’interfaccia non visuale.

In più, durante il corso sono previsti momenti di laboratorio guidato dal docente anche con l’aiuto di collaboratori esperti.

1. Introduzione all’ambiente Matlab per l’audio – Comprensione di semplici script per la riproduzione di fenomeni percettivi uditivi e ascolto del risultato.

2. Introduzione all’ambiente Unity3D per l’audio – Comprensione dei moduli

audio e utilizzo per la generazione di pattern acustici e di vibrazione e per la spazializzazione interattiva del suono.

3. Utilizzo di librerie d’intelligenza artificiale per l’elaborazione del suono.

Testi di riferimento
Davide Rocchesso, Introduction to Sound Processing, ed. Mondo Estremo, 2003, ISBN 8890112611.

Matjaž Mihelj, Janez Podobnik, Haptics for Virtual Reality and Teleoperation, Springer, 2012, ISBN 9400757174.

Selezione di articoli scientifici curata dal docente.

Manualistica reperibile nel Web.