Interplay (2024)
Techniques and materials: webcams, hand tracking algorithm, machine learning, Max MSP, four speakers, interactive furniture
"Interplay" explores the concept of non-verbal communication in the absence of words, challenging visitors to improvise together and find coordinated movements that transform into music. The installation invites two strangers to sit face-to-face on specially designed chairs, where their hand gestures become the language for spontaneous musical creation.
Through a sophisticated machine learning system, the installation transforms gestures and movements into music, interpreting the participants' non-verbal language and making human interaction concrete through sound. Two webcams capture the visitors' movements, and through a hand tracking algorithm, collect data on their hand positions. A trained machine learning algorithm precisely maps each gesture to specific sonic actions—tempo changes, harmonic shifts, scale selections, and rhythmic variations.
The first visitor controls the harmonic aspects of the musical composition, with their movements analyzed to determine which notes and chords will create the musical atmosphere. The second visitor guides the rhythm of the improvisation, with their gestures influencing speed, tempo, and rhythmic structure. The furniture design reflects this duality: cylindrical forms represent harmony while cubic shapes embody rhythm, with a central table featuring complementary cutouts that symbolize their interconnection.
This collaborative process creates a unique and unrepeatable composition born from silent cooperation between two people, demonstrating how collaboration, mutual listening, and empathy can overcome linguistic, cultural, and personal barriers to create bonds that transcend words.
"Interplay" esplora il concetto di comunicazione non verbale in assenza di parole, sfidando i visitatori a improvvisare insieme e trovare movimenti coordinati che si trasformano in musica. L'installazione invita due estranei a sedersi faccia a faccia su sedie appositamente progettate, dove i loro gesti delle mani diventano il linguaggio per la creazione musicale spontanea.
Attraverso un sofisticato sistema di machine learning, l'installazione trasforma gesti e movimenti in musica, interpretando il linguaggio non verbale dei partecipanti e rendendo concreta l'interazione umana attraverso il suono. Due webcam riprendono i movimenti dei visitatori e, tramite un algoritmo di hand tracking, raccolgono i dati della posizione delle loro mani. Un algoritmo di machine learning addestrato mappa con precisione ogni gesto ad azioni sonore specifiche—cambi di tempo, variazioni armoniche, selezioni di scale e variazioni ritmiche.
Il primo visitatore controlla gli aspetti armonici della composizione musicale, con i suoi movimenti analizzati per determinare quali note e accordi creeranno l'atmosfera musicale. Il secondo visitatore guida il ritmo dell'improvvisazione, con i suoi gesti che influenzano velocità, tempo e struttura ritmica. Il design del mobilio riflette questa dualità: le forme cilindriche rappresentano l'armonia mentre le forme cubiche incarnano il ritmo, con un tavolo centrale che presenta intagli complementari che simboleggiano la loro interconnessione.
Questo processo collaborativo crea una composizione unica e irripetibile nata dalla cooperazione silenziosa tra due persone, dimostrando come la collaborazione, l'ascolto reciproco e l'empatia possano superare barriere linguistiche, culturali e personali per creare legami che trascendono le parole.
