AUDITORY AND TACTILE INTERACTIONS

Anno accademico 2018-2019

AUDITORY AND TACTILE INTERACTIONS

Docenti:
Federico Fontana
Anno di corso: 1
Totale crediti: 6
Tipologia: Caratterizzante
Periodo didattico: Secondo Periodo
Lingua insegnamento:
Inglese
Prerequisiti.
Costituisce vantaggio nella fruizione del corso la conoscenza dell’interazione uomo-macchina, della matematica di base (in particolare, logaritmi, esponenziali, derivate, integrali, successioni aritmetiche e geometriche, funzioni), della fisica di base (rudimenti di cinematica dei sistemi inerziali e della propagazione delle onde) e dell’informatica di base (nozione di calcolo e algoritmo, costrutti di base della programmazione).
Metodi didattici. L’insegnamento prevede:
– attività di didattica frontale finalizzata all’apprendimento della Psicologia della percezione uditiva e tattile, l’Analisi spettrale, i sistemi per la sintesi di suono e vibrazioni;
– attività di laboratorio finalizzata allo sviluppo delle capacità dello studente di applicare le conoscenze acquisite su casi applicativi reali inerenti i fenomeni percettivi uditivi e tattili, la definizione e ispezione di segnali discreti, la trasformazione di Fourier, la realizzazione e valutazione di convoluzioni, la realizzazione di filtri e l’utilizzo di funzionalità standard per il suono al calcolatore.

I concetti vengono esposti dal docente a lavagna nel caso della lezione frontale, e proiettando l’attività al calcolatore nel caso della lezione di laboratorio. Il calcolatore viene adoperato anche per mostrare pagine di testo e altre fonti legate all’argomento in esposizione. La didattica esclude la presentazione di lucidi commentati dal docente.

Gli studenti possono scegliere di affrontare l’esame dando maggiore enfasi agli aspetti creativi legati alla realizzazione d’interfacce per il suono e vibrazioni. In tal caso, essi possono intraprendere un percorso guidato in cui con maggiore autonomia sviluppano una tematica legata al programma. In particolare, il docente presenta durante il corso le ricerche in cui è coinvolto e suggerisce le fonti da cui partire nel caso in cui l’assignment scelto cada all’interno di una di queste ricerche.
Modalità di verifica.
Nel caso in cui lo studente scelga di non eseguire l’assignment l’esame consta di un colloquio, in cui viene inizialmente proposto di pre-progettare un’interfaccia acusto-tattile; durante l’abbozzo della stessa interfaccia il docente pone ulteriori domande in base a come si sta sviluppando la pre-progettazione. Nel caso in cui lo studente svolga l’assignment l’esame consta di una valutazione dell’attività riassunta in un elaborato e/o prototipo, nel contesto di un colloquio in cui vengono discussi aspetti a esso correlati. In ogni caso agli studenti è richiesta la conoscenza del programma dell’insegnamento.
Altre informazioni. L’insegnamento viene fornito in due sedi, in modalità anche teledidattica. Il docente bilancia la presenza nelle due sedi trasmettendo la lezione in teledidattica verso la sede remota.

Il materiale didattico e le riprese video delle lezioni del docente sono rese disponibili sulla piattaforma E-learning dell’Ateneo di Udine. Tali materiali sono riservati agli studenti iscritti al Corso. Attraverso la piattaforma il docente fornisce agli studenti anche gli esercizi di laboratorio e le fonti per gli assignment.

Le attività di tesi di laurea collegate con l’insegnamento prevedono tipicamente di affiancare il docente nelle ricerche sull’interazione acusto-tattile e nelle interfacce multimodali, attorno a un tema istruttivo e di difficoltà proporzionale alle risorse di tempo e intellettuali dello studente.

OBIETTIVI FORMATIVI

Al termine del corso gli studenti saranno in possesso di alcune semplici metodologie per elaborare il suono e per sintetizzare vibrazioni, con particolare riferimento alla sintesi in tempo reale. In particolare:
– avranno appreso i fondamenti della psicologia della percezione uditiva e tattile;
– conosceranno la natura di un segnale e di un sistema a tempo continuo e discreto;
– sapranno riconoscere e valutare lo spettro di un segnale a tempo discreto;
– saranno a conoscenza delle tecniche tradizionali per la sintesi del suono;
– avranno nozioni sufficienti per valutare e progettare semplici sistemi software e hardware per la sintesi di suoni e vibrazioni;
– avranno compreso i principi base del funzionamento del software per la sintesi del suono in tempo reale, su cui avranno elaborato degli esempi di realizzazioni di modelli per la sintesi del suono e di vibrazioni.
Risultati di apprendimento attesi come riportati nei seguenti Descrittori di Dublino.
Capacità relative alle discipline:
– Conoscenza e comprensione
Gli studenti acquisiscono durante il Corso di Auditory and Tactile Interactions conoscenza di base dell’elaborazione di suono e vibrazioni nelle sue componenti fondamentali percettive, matematiche, e pratiche. Le stesse conoscenze sono applicate alla sintesi in tempo reale al calcolatore.
– Capacità di applicare conoscenza e comprensione
Attraverso la soluzione di un numero sufficiente di esercizi, gli studenti comprendono la difficoltà di progettare e successivamente realizzare architetture software e hardware di
generazione di suono e vibrazioni per applicazioni in tempo reale.
Capacità trasversali /soft skills
– Autonomia di giudizio
In virtù del radicamento dell’elaborazione del suono all’interno del campo più vasto della teoria dei segnali e della teoria dei sistemi, lo studente al termine del corso avrà maturato un’autonomia di giudizio di tipo più profondo relativamente alla bontà di progettazione e alle prestazioni dei costituenti fondamentali del software per l’elaborazione dei segnali in tempo reale.
– Abilità comunicative
Al termine del corso lo studente avrà cognizione dei più importanti risultati legati alla percezione audio-tattile dei segnali, e contemporaneamente darà un significato alla terminologia legata alle tecniche e tecnologie per la resa di segnali uditivi e tattili, molto adoperata anche nell’ingegneria della comunicazione: decibel, spettro, banda, risposta in frequenza solo per citare alcuni termini. Conseguentemente, lo studente avrà future possibilità di far interagire assieme le diverse professionalità, tipicamente in possesso di abilità creative o tecniche, che operano nel settore della realizzazione della componente non visuale delle interfacce.
– Capacità di apprendimento
Sulla base dei concetti appresi lo studente potrà successivamente approfondire una molteplicità di aspetti legati alla psicofisica della percezione uditiva e tattile, al design d’interfacce audio-tattili, e alla progettazione di software per la resa di suono e vibrazioni.

CONTENUTI


Il corso prevede una serie di lezioni frontali corredate da specifici esempi pratici e applicativi sulle principali questioni legate alla sintesi di suono e vibrazioni.

1. Basic Design – Fondamenti. Cenni storici. Metodologie. L’interfaccia non visuale. Sinestesia
2. Psicologia della percezione uditiva – L’apparato uditivo. Intensità e intensità percepita. Mappe psicofisiche. Ipotesi di Fechner, legge di Weber. Altezza. Mascheramento. Bande critiche. Percezione spaziale.
3. Psicologia della percezione tattile – L’apparato somatosensoriale: percezione cinestetica e cutanea; tipi di recettori e sensibilità associate. Percezione di vibrazioni: fenomeni additivi, di mascheramento, di magnificazione, di adattamento. Conduzione ossea.
4. Cenni di analisi spettrale – Richiami di trigonometria, algebra dei complessi, integrali di funzioni. Segnali a tempo continuo. Significato della Trasformata di Fourier. Campionamento. Trasformata di Fourier a tempo discreto: spettro di un segnale e sua interpretazione. Effetti di campionamento, finestratura temporale e discretizzazione in frequenza. Trasformata discreta di Fourier: definizione, risoluzione nel tempo e in frequenza; invertibilità della matrice di Fourier. Trasformata veloce di
Fourier (FFT). Spettrogrammi.
5. Sistemi a tempo discreto (solo aspetti prevalentemente qualitativi) – linearità, tempo-invarianza, risposta all’impulso, convoluzione. Stabilità. Funzione di Trasferimento (FdT): risposta in frequenza, risposta in ampiezza. Nozione di filtro numerico. Composizione di serie e paralleli di filtri. Linee di ritardo. Caratteristiche della FdT. Ordine del filtro. Interpretazione della risposta in ampiezza. Filtri FIR: esempio di risposta all’impulso di durata finita; caratteristiche di trasferimento del filtro FIR. Filtri IIR: esempio di
risposta all’impulso di durata infinita; caratteristiche di trasferimento del filtro IIR. Valutazione della risposta in ampiezza e fase di semplici filtri FIR e IIR.
6. Sintesi di suono e vibrazioni (solo aspetti prevalentemente qualitativi) – Risonatori IIR: caratteristiche; formalizzazione della FdT; normalizzazione della risposta; risposta in ampiezza; selettività. Filtri “comb” FIR e IIR: caratteristiche e utilizzo. Filtro comb-allpass. Riverbero acustico: modello lineare; approccio fisico e percettivo; misura di parametri acustici caratteristici: prime riflessioni, riflessioni successive, decadimento; descrizione modale; descrizione statistica. Realizzazione di oscillatori: digitali e wavetable. Sintesi additiva, inviluppo ADSR. Sintesi sottrattiva. Realizzazione e ascolto di filtraggi in ambiente Puredata e Matlab. Sintesi di vibrazioni: pattern tipici; controllo delle risonanze.
7. Tecnologie allo stato dell’arte per la presentazione di suono e vibrazioni – Altoparlanti, trasduttori piezoelettrici e loro utilizzo nella diffusione nella focalizzazione della risposta acusto-tattile di un’interfaccia non visuale.

In più, durante il corso sono previsti momenti di laboratorio guidato dal docente.
1. Introduzione all’ambiente Puredata – Comprensione di “patch” visuali per la riproduzione di fenomeni percettivi uditivi e ascolto del risultato.
2. Introduzione all’ambiente Matlab per l’audio – Comprensione di semplici script per la riproduzione di fenomeni percettivi uditivi e ascolto del risultato.
3. Introduzione all’ambiente Unity per l’audio – Comprensione dei moduli audio e utilizzo per la generazione di pattern acustici e di vibrazione.
4. Uso di software libero in ambiente Linux – Uso di Jack nell’instradamento di flussi audio multicanale per l’utilizzo contestuale di applicazioni audio in Linux quali Puredata, Audacity, analizzatori spettrali, sintetizzatori, sequencer MIDI.

TESTI DI RIFERIMENTO


Davide Rocchesso, Introduction to Sound Processing, ed. Mondo Estremo, 2003, ISBN 8890112611. Matjaž Mihelj, Janez Podobnik, Haptics for Virtual Reality and Teleoperation, Springer, 2012, ISBN 9400757174. Selezione di articoli scientifici curata dal docente. Manualistica per Puredata e Unity reperibile nel Web.