Il progetto DanzArTe mira a riscoprire la fluidità del movimento. Per facilitare questa avventura corporea, i movimenti dei partecipanti generano una sonificazione che ne esalta e aumenta la fluidità, quando presente.
La sonificazione è una tecnica che consiste nell’utilizzare il suono per comunicare informazioni. Il software di Casa Paganini – Infomus analizza la fluidità del movimento di una persona, osservando il modo in cui l’energia di un gesto si sviluppa nel tempo, o il modo in cui un’azione si propaga da un arto al resto del corpo.
In tempo reale, il software fa un tracking di questo parametro e lo esporta verso il software di sonificazione.
Il software di sonificazione usa questo tracking per facilitare la percezione dei movimenti fluidi, e per incoraggiarne una qualità di esecuzione sempre più fluida.
Ci sono tre sfide che il software di sonificazione deve affrontare.
1) le sonificazioni non devono distrarre, né devono indurre stress
Per questo scopo utilizziamo un paradigma di sound design a bassa intrusività.
Il nostro collaboratore Andrea Cera ha sviluppato questa idea durante la sua collaborazione come sound designer per l’industria automobilistica, dove l’intrusività sonora è una tematica sentita.
Il sound design a bassa intrusività mira a utilizzare il suono per comunicare la quantità di informazioni strettamente necessarie, senza aggiungere niente di superfluo, come invece accade in una grande maggioranza di casi.
Questo si traduce in una serie di linee guida che sarebbe troppo lungo descrivere in questa sede. Qui sotto, un esempio tratto da un articolo a questo soggetto:
Per il progetto DanzArTe, le due linee guida più importanti sono :
– il controllo del modo in cui le sonificazioni emergono dallo sfondo sonoro e vi rientrano. Un suono intrusivo si stacca dal proprio sfondo in modo improvviso (sia a causa del proprio timbro, sia a causa della propria dinamica).
Nel nostro caso, invece, le sonificazioni si stagliano su uno sfondo sonoro controllato (suoni di natura resi leggermente astratti, come se sentiti da dietro una finestra socchiusa) e ne emergono in modo graduale, senza creare soprassalti (nel gergo della disciplina, senza “startle effect”).
– il controllo degli elementi melodici e armonici. Melodie, armonie e pattern ritmici dovrebbero essere usati con estrema parsimonia in un paradigma di sound design a bassa intrusività.
Il motivo è la facilità con cui mandiamo a memoria questi elementi e il lavoro cognitivo che segue all’ascolto di un materiale musicale pre-memorizzato (riconoscimento, categorizzazione, etc.), che quasi sempre non ha nulla a che fare con la funzione da espletare.
Per esempio, il fatto di usare una canzone come suoneria di telefono ha per conseguenza che ogni volta che arriva una chiamata, il sistema cognitivo deve compiere un lavoro inutile (riconoscere la musica, richiamarla all’attenzione, categorizzarla, rieseguirla internamente, etc.).
A lungo termine, una strategia di sound design basata sull’uso incontrollato di strutture musicali porta all’effetto di “annoyance”, che si potrebbe tradurre in “irritazione”.
I rari elementi musicali nel progetto DanzArTe sono dispiegati in modo da essere di difficile memorizzazione, grazie a strutture che si sviluppano in un arco temporale troppo lungo per essere mantenuto nella memoria di lavoro. Questo richiede un utilizzo di risorse informatiche per archiviare le lunghe sequenze sonore che costituiscono i materiali di base delle sonificazioni.
Nel mondo automobilistico o della telefonia questa utilizzazione di memoria sarebbe ancora problematica (per i limiti di hardware che caratterizzano questi ambiti) ma, nel quadro del progetto DanzArTe basato su computer più performanti, non ci sono problemi di utilizzo di memoria e questo rende il progetto particolarmente interessante per esplorare questa tematica.
2) le sonificaizoni devono creare un ingaggio positivo e rassicurare i partecipanti
Ormai da vent’anni esiste un indirizzo di ricerca sulle relazioni tra stati emozionali ed elementi sonori, in particolare legati a linguaggi musicali. I risultati di queste ricerche ci convincono a far uso di un minimo di strutture armoniche (accordi) nonostante le considerazioni sulla bassa intrusività.
Un corpus di studi ormai consistente ha confermato che la consonanza è un elemento fondamentale per comunicare uno stato emotiva a valenza positiva. La valenza di uno stato emotivo è una dimensione primitiva che ne indica la positività o la negatività di fondo. L’altro asse primitivo degli stati emozionali viene detto “arousal” e si può tradurre con “eccitazione”. Nel nostro caso gli elementi dinamici e timbrici delle sonificazioni puntano ad esprimere uno stato di basso arousal:
Valenza positiva e basso arousal esprimono uno stato di calma e relax.
Per evitare gli effetti di annoyance, lo sviluppo armonico segue una lenta deriva dei centri modali su cui i vari accordi sono appoggiati, in maniera da offrire una lenta e continua modulazione che impedisce di focalizzare un’area armonica precisa.
3) le sonificazioni devono effettivamente comunicare una sensazione di fluidità
Questo campo è la specialità di Casa Paganini – Infomus. Attraverso una serie di ricerche condotte durante l’ultimo decennio, abbiamo contribuito alla ricerca sulle corrispondenze cross-modali con uno studio dell’espressione sonora della fluidità. Gli studi di cross-modalità indagano i punti in comune tra stimoli visivi, propriocettivi, uditivi, tattili e persino gustativi: studiano i fenomeni che rendono coerenti un suono che glissa da una nota acuta ad una nota grave (stimolo sonoro) e un punto che si sposta dall’alto verso il basso (stimolo visivo).
La fluidità si può esprimere a livello sonoro attraverso il controllo della dinamica e della superficie timbrica (spectral smoothness). Ambedue queste dimensioni devono evolvere con continuità, senza interruzioni o cambiamenti immediatamente percepibili. Il “centro di gravità” frequenziale di questi suoni deve corrispondere all’energia messa in atto nel movimento (che nei movimenti fluidi non è mai elevata) e quindi è relativamente basso:
In questa figura, tratta da uno degli articoli di CasaPaganini dedicati a questa tematica, le colonne 2 e 4 rappresentano la fluidità di movimento di persone che stavano ascoltando suoni realizzati in accordo con queste linee guida. Le altre colonne indicano invece i risultati realizzati con altri suoni di controllo, alcuni parzialmente in accordo fluidi, altri completamente in disaccordo.
Nel video si può ascoltare un esempio di un prototipo di questo tipo di sonificazioni, basato su una sequenza di movimento proposta da Francesca Cola, che con Debora Giordi rappresenta il polo coreografico del progetto DanzArTe.
Approfondimenti :
INTERACTIVE SONIFICATION OF MOVEMENT QUALITIES – A CASE STUDY ON FLUIDITY
P.Alborno, A.Cera, S.Piana, M.Mancini, R.Niewiadomski, C.Canepa, G.Volpe, A.Camurri
Proceedings of ISon 2016, 5th Interactive Sonification Workshop, CITEC, Bielefeld University, Germany, December 16, 2016
INTRUSIVENESS, ANNOYANCE AND SOUND DESIGN
A. Cera, N. Misdariis
LINKs – series 5-6 – 2021 – pag 186-191
Il progetto EU che fa da cornice di ricerca teorica a questa attività
Andrea Cera, sound designer
