Nowości ze świata AI przynoszą coraz to nowsze rozwiązania w dziedzinie robotyki, a jednym z nich jest LLM+FOON Framework, czyli hybrydowy system łączący Large Language Models (LLM) z Functional Object-Oriented Network (FOON), który umożliwia generowanie planów zadań dla robotów kulinarnych na podstawie instrukcji wideo. W tym artykule przyjrzymy się bliżej temu innowacyjnemu rozwiązaniu i jego potencjałowi w zakresie rozwoju robotyki.
## Rozwój Robotyki Kulinarnej
Roboty coraz częściej są wykorzystywane w środowiskach domowych, gdzie mają za zadanie wykonywać codzienne czynności, takie jak gotowanie. Zadania te wymagają połączenia interpretacji wizualnej, manipulacji i podejmowania decyzji w serii działań. Gotowanie jest szczególnie skomplikowane dla robotów ze względu na różnorodność przyborów kuchennych, różne perspektywy wizualne i częste pominięcia pośrednich kroków w materiałach instruktażowych, takich jak filmy wideo.
## LLM+FOON Framework – Rozwiązanie dla Robotyki Kulinarnej
Naukowcy z Uniwersytetu w Osace i Narodowego Instytutu Zaawansowanej Nauki i Technologii (AIST) w Japonii wprowadzili nowe ramy łączące LLM z FOON, aby opracować plany zadań kulinarnych na podstawie filmów wideo z subtitrami. Ten hybrydowy system wykorzystuje LLM do interpretacji wideo i generowania sekwencji zadań, które są następnie weryfikowane przez FOON. FOON to system graficzny, w którym akcje są reprezentowane jako jednostki funkcjonalne zawierające stany obiektów wejściowych i wyjściowych.
## Działanie LLM+FOON Framework
Działanie tego systemu obejmuje kilka warstw przetwarzania. Najpierw film wideo jest podzielony na segmenty na podstawie napisów wyodrębnionych przy użyciu optycznego rozpoznawania znaków (OCR). Kluczowe klatki wideo są wybierane z każdego segmentu i układane w siatkę 3×3, aby służyć jako obrazy wejściowe. LLM jest pytany o ustrukturyzowane szczegóły, w tym opisy zadań, znane ograniczenia i układy środowiskowe. Na podstawie tych danych inferuje stany docelowych obiektów dla każdego segmentu, które są następnie weryfikowane przez FOON.
## Wyniki i Wnioski
Badacze przetestowali swoją metodę przy użyciu pięciu pełnych przepisów kulinarnych z dziesięciu filmów wideo. Ich eksperymenty z powodzeniem wygenerowały kompletne i wykonalne plany zadań dla czterech z pięciu przepisów. W przeciwieństwie do tego, metoda podstawowa, która wykorzystywała tylko LLM bez weryfikacji FOON, odniosła sukces tylko w jednym przypadku. To pokazuje, że LLM+FOON Framework jest obiecującym rozwiązaniem dla robotyki kulinarnej, umożliwiającym generowanie logicznych i wykonalnych planów zadań z instrukcji wideo.
Wnioskując, LLM+FOON Framework stanowi znaczący krok naprzód w rozwoju robotyki kulinarnej. Łącząc moc LLM z weryfikacją graficzną FOON, system ten jest w stanie generować dokładne i wykonalne plany zadań kulinarnych na podstawie filmów wideo. To rozwiązanie ma potencjał, aby zrewolucjonizować sposób, w jaki roboty wykonują zadania kulinarne, i otwiera nowe możliwości dla rozwoju inteligentnych systemów kulinarnych. Więcej o nowości AI w tej dziedzinie będziemy informować.
Dodaj komentarz