Queste interazioni integrate contengono una grande quantità di informazioni che aiutano a comprendere meglio i movimenti delle persone. Per capire meglio tutto ciò, il team di ricercatori del "Computer Science and Artificial Intelligence Laboratory" (CSAIL) del MIT, ha sviluppato un nuovo tappeto con rilevamento tattile che è in grado di fornire informazioni sulle pose umane umane senza utilizzare telecamere. Secondo il team, questo sarebbe un passo verso il miglioramento dell'assistenza sanitaria personalizzata autoalimentata, delle case intelligenti e dei giochi.

Il sistema del team CSAIL ha utilizzato solo le telecamere per creare il set di dati su cui il sistema è stato addestrato e ha catturato solo il momento della persona che esegue l'attività. Per dedurre la posa 3D, una persona dovrebbe semplicemente salire sul tappeto, eseguire un'azione e quindi la rete neurale profonda, utilizzando solo le informazioni tattili, potrebbe determinare se la persona è seduta, fa stretching o un'altra azione.

Il tappeto stesso è stato realizzato con pellicola commerciale, sensibile alla pressione e un filo conduttivo, con oltre novemila sensori che coprono trentasei per due piedi. Ciascuno dei sensori sul tappeto converte la pressione umana in un segnale elettrico, attraverso il contatto fisico tra i piedi, gli arti, il busto e il tappeto delle persone. Il sistema è stato specificamente addestrato su dati tattili e visuali sincronizzati, come un video e la corrispondente mappa termica di qualcuno che fa le pressioni. Il modello prende la posa estratta dai dati visivi come verità fondamentale, utilizza i dati tattili come input e infine emette la posa umana 3D.

Il modello è stato in grado di prevedere la posa di una persona con un margine di errore (misurato dalla distanza tra i punti chiave previsti del corpo umano e i punti chiave della verità fondamentale) di meno di dieci centimetri. Per la classificazione di azioni specifiche, il sistema è stato accurato il 97 percento delle volte.

Poiché la maggior parte delle distribuzioni della pressione erano indotte dal movimento della parte inferiore del corpo e del busto, tale informazione era più accurata dei dati della parte superiore del corpo. Inoltre, il modello non è stato in grado di prevedere le pose senza un contatto più esplicito con il pavimento, come le gambe fluttuanti durante la seduta o un busto contorto mentre si sta in piedi.

Mentre il sistema può comprendere una singola persona, gli scienziati, in fondo, vogliono migliorare le metriche per più utenti, in cui due persone potrebbero ballare o abbracciarsi sul tappeto. Sperano anche di ottenere maggiori informazioni dai segnali tattici, come l'altezza o il peso di una persona.

Secondo il team, questo modello si può sfruttare per abilitare un sistema di monitoraggio della salute senza interruzioni per individui ad alto rischio, per il rilevamento delle cadute, il monitoraggio della riabilitazione o, semplicemente, di utilizzare il tappeto per scopi di allenamento perché può riconoscere l'attività svolta, contare il numero di ripetizioni e calcolare la quantità di calorie bruciate.