Loro hanno programmato il loro chef robotico con un ricettario di otto semplici ricette di insalata e dopo aver visto un video di un essere umano che mostrava una delle ricette, il robot è stato in grado di identificare quale ricetta si stava preparando e realizzarla.
Inoltre, i video hanno aiutato il robot ad aggiornare gradualmente il suo ricettario. Alla fine dell'esperimento, il robot ha escogitato da solo una nona ricetta. Questi risultati, secondo ricercatori, dimostrano come i contenuti video possono essere una preziosa e ricca fonte di dati per la produzione alimentare automatizzata e potrebbero consentire un'implementazione più semplice ed economica dei robot chef.
Per addestrare il loro chef robot i ricercatori hanno utilizzato una rete neurale disponibile pubblicamente. La rete neurale era già stata programmata per identificare una serie di oggetti diversi, tra cui la frutta e la verdura utilizzate nelle otto ricette di insalata (broccoli, carote, mele, banane e arance).
Utilizzando tecniche di visione artificiale, il robot ha analizzato ogni fotogramma del video ed è stato in grado di identificare i diversi oggetti e caratteristiche, come un coltello e gli ingredienti, nonché le braccia, le mani e il viso del dimostratore umano. Sia le ricette che i video sono stati convertiti in vettori e il robot ha eseguito operazioni matematiche sui vettori per determinare la somiglianza tra una dimostrazione e un vettore.
Dei 16 video che ha guardato, il robot ha riconosciuto la ricetta corretta il 93% delle volte, anche se ha rilevato solo l'83% delle azioni dello chef umano. Il robot è stato anche in grado di rilevare che lievi variazioni in una ricetta, come fare una doppia porzione o un normale errore umano, erano variazioni e non una nuova ricetta. Il robot ha anche riconosciuto correttamente la dimostrazione di una nuova, nona insalata, l'ha aggiunta al suo ricettario e l'ha preparata.
Secondo i ricercatori, gli chef robotici sono una tecnologia promettente che può portare notevoli benefici per la salute e l'economia se implementati ovunque. Tuttavia, seguire i video sul cibo realizzati da alcuni influencer dei social media è ancora troppo difficile per il loro bot. Credono che man mano che questi chef robot diventano più bravi e più veloci nel riconoscere gli ingredienti nei video sul cibo, potrebbero essere in grado di utilizzare siti come YouTube per imparare un'intera gamma di ricette.
