Search
  • Gianluca Reale

Epic Kitchens, the videos in the kitchen to "train" artificial intelligence to predict the future

University of Catania researchers release "Epic-Kitchens-100", the largest dataset for the study of wearable machine vision technologies.


Predict the future, imagine in advance what could happen. Not by divination, but by calculation. Machine Learing and Artificial Intelligence, two pillars of scientific research in the field of technology, can help us in everyday life, as a virtual assistant who is always with us, who sees what we are seeing, understands what we are doing, predicts what we could do in the near future and is also able to recognize what objects we are using. A helper in everyday life, also able to prevent risks by warning us before an event happens.


Science fiction? Not really science fiction. These are the "visions" at the basis of the research conducted by a group of researchers from the Department of Mathematics and Computer Science of the University of Catania led by Professor Giovanni Maria Farinella. A group that for years has been studying algorithms useful for the creation of artificial intelligence systems with the aim of seeing and acting to support users in their daily activities in different application domains: assistive, industrial, human-robot interaction.


In order to allow the scientific community to contribute to these challenges, a new dataset has been created by researchers at the University of Catania together with the University of Bristol in Great Britain, whose Epic-Kitchens-100 trailer (already available on social media) has just been released.


«The dataset - explains Farinella, professor of Machine Learning at the University of Catania - contains 700 videos captured by 32 different subjects through a wearable camera, for a total of about 100 hours of video with 90,000 action segments labeled in order to allow evaluation of the algorithms and where more than 300 different objects appear». All actions conducted in the kitchen, that's why Epic Kitchens.


The challenges on were: to understand what action was performed by the user, to identify all the actions performed, when they were started and finished, to anticipate what may happen in the future considering what happened in the past, to produce artificial intelligence systems that are able to learn in a "domain" to be used in new domains, never seen before; finally, to search for similar videos in a set of videos in a database. «For each of these challenges - Farinella explains - experiments have been carried out and results reported that can allow the scientific community a constructive comparison for the realization of artificial vision systems to support people during their daily activities». Maybe starting from the stove It was only a first step, because the new dataset to proceed with will be discussed in an open webinar to the whole scientific community on July 1st. Meanwhile, the results of the scientific study will be made public in the next few days on arXiv, the most consulted open archive by the scientific community.


«The study conducted on Epic-Kitchens-100 - Farinella explains - presents several results on open issues in the context of Machine Learning technologies for the realization of wearable machine vision systems. We have recently published a further study in the scientific journal Ieee Pami that presents visual intelligence algorithms that aim to anticipate the actions taken by a user starting from images acquired with wearable devices. The published study is the result of a long process, which lasted almost 2 years, in which together with Dr. Antonino Furnari we defined and evaluated methodologies capable of learning from large amounts of data in order to predict the subsequent actions that the user is about to take».


Antonino Furnari and prof. Giovanni Maria Farinella

And it is precisely the wearable machine vision technologies that are the subject of the project "Enigma -" (Egocentric Navigator for Industrial Guidance, Monitoring and Anticipation), funded by the Ministry for Economic Development on the measure Intelligent Factory - Pon I&C 2014-2020, in which is involved the University of Catania together with the Sicilian companies Xenia Progetti and Morpheos, always under the scientific responsibility of Professor Farinella. «The project lasts 36 months, started in March and in the next three years we will study and develop wearable first person vision technologies that will be able to support a worker in industrial environments where complex and risky operations take place. The aim - Farinella concludes - is to produce technologies that can have a great impact on society, allowing a technology transfer useful to grow the industrial fabric that surrounds us».



(ITA) Epic Kitchens, i video in cucina per “allenare” l’Intelligenza artificiale a predire il futuro


I ricercatori di Unict rilasciano “Epic-Kitchens-100”, il più grande dataset per lo studio delle tecnologie di visione artificiale indossabili


Predire il futuro, immaginare con anticipo cosa potrà accadere. Non per capacità divinatorie, ma per calcolo. Machine Learing e Intelligenza Artificiale, due pilastri sui la ricerca scientifica in ambito tecnologico punta con decisione, potranno aiutarci nella vita di tutti i giorni, come un assistente virtuale che sia sempre con noi, che vede ciò stiamo vedendo, comprende le azioni che compiamo, predice cosa potremmo fare nel prossimo futuro ed è anche capace di riconoscere quali oggetti stiamo usando. Un aiuto nella vita quotidiana, capace anche di prevenire i rischi avvertendoci prima che un evento accada. Fantascienza?


Fantascienza? Non proprio. Sono queste le “visioni” alla base delle ricerche condotte da un gruppo di ricercatori del Dipartimento di Matematica e Informatica dell’Università di Catania guidato dal professore Giovanni Maria Farinella. Un gruppo che da anni si occupa di studiare algoritmi utili alla creazione di sistemi di intelligenza artificiale con l’obiettivo di vedere e agire per supportare gli utenti nelle loro attività quotidiane in diversi domini applicativi: assistive, industrial, human-robot interaction.


Per permettere alla comunità scientifica di contribuire a queste sfide è stato creato un nuovo dataset dai ricercatori dell’Ateneo catanese assieme all’Università di Bristol in Gran Bretagna di cui è stato appena rilasciato il trailer Epic-Kitchens-100 (già disponibile sui social). «Il dataset – spiega Farinella, docente di Machine Learning dell’Università di Catania - contiene 700 video catturati da 32 soggetti diversi mediante camera indossabile, per un totale di circa 100 ore di video con 90.000 segmenti di azioni etichettate al fine di permettere valutazione degli algoritmi e in cui appaiono più di 300 oggetti diversi». Tutte azioni condotte in cucina, ecco perché Kitchen.


Le sfide su sono stati prodotti risultati sono state: comprendere quale azione è stata compiuta dall’utente, individuare tutte le azioni compiute, quando sono state iniziate e finite, anticipare quello che potrà avvenire nel futuro considerando quanto è accaduto nel passato, produrre sistemi di intelligenza artificiale che siano in grado di apprendere in un “dominio” per essere utilizzati in domini nuovi, mai visti prima; infine, ricercare video simili in un set di video presenti in una banca dati. «Per ognuna di queste sfide – spiega Farinella - sono stati effettuati esperimenti e riportati risultati che possano permettere alla comunità scientifica un confronto costruttivo per la realizzazione di sistemi di visione artificiale per supportare le persone durante le attività quotidiane». Magari cominciando proprio dai fornelli E’ stato solo un primo passo, perché il nuovo dataset con cui procedere sarà discusso in un webinar aperto a tutta alla comunità scientifica il 1° luglio. Intanto, i risultati dello studio scientifico saranno resi pubblici nei prossimi giorni su arXiv, l’archivio open più consultato dalla comunità scientifica.


«Lo studio condotto su Epic-Kitchens-100 - spiega Farinella - presenta diversi risultati su problematiche aperte nel contesto delle tecnologie di Machine Learning per la realizzazione di sistemi di visione artificiale indossabili Abbiamo di recente pubblicato un ulteriore studio sulla rivista scientifica Ieee Pami che presenta algoritmi di visual intelligence che hanno lo scopo di anticipare le azioni intraprese da un utente a partire da immagini acquisite con dispositivi indossabili. Lo studio pubblicato è frutto di un lungo percorso, durato quasi 2 anni, in cui insieme al dottore Antonino Furnari abbiamo definito e valutato metodologie capaci di apprendere da grosse moli di dati al fine di predire le successive azioni che l’utente si accinge a compiere».


E sono proprio le tecnologie di visione artificiale indossabili oggetto del progetto “Enigma –“ (Egocentric Navigator for Industrial Guidance, Monitoring and Anticipation), finanziato dal Ministero per lo Sviluppo Economico sulla misura Fabbrica intelligente - Pon I&C 2014-2020, in cui è coinvolta l’Università di Catania insieme con le aziende siciliani Xenia Progetti e Morpheos, sempre sotto la responsabilità scientifica del professore Farinella. «Il progetto dura 36 mesi, è stato avviato a marzo e nei prossimi tre anni studieremo e svilupperemo tecnologie indossabili di visione in prima persona che saranno in grado di supportare un lavoratore in ambienti industriali in cui si svolgono operazioni complesse e rischiose. Lo scopo – conclude Farinella - è quello di produrre tecnologie che possano avere un grosso impatto per la società, permettendo un trasferimento tecnologico utile a far crescere il tessuto industriale che ci circonda».