Il robot si chiama Alter3 ed è l'ultima versione di un robot umanoide distribuito per la prima volta nel 2016. I ricercatori stanno ora utilizzando GPT-4 per guidare il robot attraverso varie simulazioni, come scattare un selfie, lanciare una palla, mangiare popcorn e suonare la chitarra aerea.

In genere, il controllo dei robot di basso livello dipende dall'hardware e non rientra nell'ambito dei corpora LLM, presentando sfide per il controllo diretto dei robot basato su LLM. Tuttavia, nel caso dei robot umanoidi come Alter3, il controllo diretto è fattibile mappando le espressioni linguistiche delle azioni umane sul corpo del robot attraverso il codice del programma.

Sorprendentemente, questo approccio consente ad Alter3 di adottare varie pose, come una posizione da "selfie" o "fingere di essere un fantasma", e di generare sequenze di azioni nel tempo senza una programmazione esplicita per ciascuna parte del corpo. Ciò dimostra le capacità di apprendimento zero-shot del robot. Inoltre, il feedback verbale può regolare le pose, ovviando alla necessità di messa a punto.

Alter3, che è in grado di eseguire movimenti complessi della parte superiore del corpo, comprese espressioni facciali dettagliate, ha 43 assi che simulano il movimento muscolo-scheletrico umano. Poggia su una base ma non può camminare (anche se può imitare il cammino).

L'Alter3 dotato di fotocamera può "vedere" gli esseri umani. I ricercatori hanno scoperto che Alter3 può affinare il proprio comportamento osservando le risposte umane. Hanno paragonato questo apprendimento all’imitazione neonatale, che i comportamentisti infantili osservano nei neonati.

La capacità di apprendimento “zero-shot” dei robot connessi GPT-4 “ha il potenziale per ridefinire i confini della collaborazione uomo-robot, aprendo la strada a entità robotiche più intelligenti, adattabili e personalizzabili”, hanno affermato i ricercatori.