A kínai AgiBot, amely a humanoid robotok fejlesztésével foglalkozik, bemutatott egy új mesterséges intelligencia modellt, melynek célja, hogy a humanoid robotok hatékonyabban végezhessék el a valós feladatokat. Ez a Genie Operator-1 (GO-1) nevű rendszer hatalmas kép- és videóadatok feldolgozásával segíti a robotokat az emberi cselekvések jobb értelmezésében, nyilatkozta a Interesting Engineering.

A GO-1 az úgynevezett látásnyelvi modelleket használja a nagyméretű kép és videó feldolgozására. A Vision-Language-Latent-Action (ViLLA) nevű keretrendszer a látás, a nyelv és a cselekvés modellezésének kombinálásával javítja a robotok tanulását. A rendszer betanításához kiváló minőségű adatokat és az interneten található videókat használtak fel a mérnökök.

A keretrendszer két kulcselemre támaszkodik: az egyik a Vision-Language Model (VLM), míg a másik a Mixture of Experts (MoE). A VLM hatalmas mennyiségű multimodális adatot dolgoz fel az internetről, hogy javítsa a jelenetek megértését és a nyelvi információk feldolgozását. A MoE pedig két részből áll: egyrészt különböző forrásokból tanul meg általános cselekvési mintákat, másrészt több mint egymillió valós robotmozgáson kiképezve finomítja a mozdulatokat és a feladat végrehajtásának módját.

A VLM először elemzi a bemeneti adatokat, melyek alapján a MoE egy tervet készít a műveleti sorrend előrejelzésével. Ezt követően a MoE második eleme alakítja át ezeket valós mozdulatokká.

Az eszközt öt különböző feladattal tesztelték, és a cég szerint a GO-1 példa nélküli teljesítményt nyújtott a legmodernebb modellekhez képest. Az elvégzési sikerességi arányt 46%-ról 78%-ra emelte, jelentős előrelépést mutatott az olyan feladatok terén, mint az italok kitöltése és a víz öntése.

Továbbá, az AgiBot szerint a GO-1 képessége, hogy mind az emberi, mind a robotadatokból tanulni tud, lehetővé teszi számára, hogy alkalmazkodjon új típusú feladatokhoz, és más feladatokkal együttesen működjön, folyamatosan képes legyen adaptálódni a valós helyzetekhez. Ez a robottípus nem csupán a jövő számára ígér sokat, hanem már most is bámulatos lehetőségeket kínál a robotika terén.