Genie Sim: modellen evalueren in simulatie

Genie Sim is het evaluatieonderdeel van AGIBOT Genie Studio. U test embodied-AI-modellen in gesimuleerde omgevingen, op meerdere taken en scenario's tegelijk. Voorbeelden uit de AGIBOT-documentatie zijn voorwerpen pakken, barcodes scannen en pakketten inpakken. Genie Sim biedt reconstructie van scènes door de gebruiker, verzameling van expert-trajectdata en visuele evaluatieresultaten. Dat maakt evalueren flexibeler en efficiënter, met lagere kosten en minder risico.

Slagingspercentage en score

Elke taak heeft eigen scoringscriteria. Genie Sim rekent in drie lagen:

• Case: geslaagd of niet, met een score volgens de vaste criteria.
• Taak: het gemiddelde slagingspercentage en de gemiddelde score van alle cases.
• Job: het gemiddelde van alle taken.

Binnen een case krijgt elke deelstap een score. Een stapscore is het gemiddelde van de deelstappen, en de taakscore het gemiddelde van de stappen. Scoort één deelstap 0, dan is de case niet geslaagd. Scoren alle deelstappen meer dan 0, dan is de case geslaagd.

Voortgang

De voortgang is het aantal afgeronde cases gedeeld door het totaal, per taak en per job.

Uitvoeringen en herkansingen

• Aantal uitvoeringen (execution count): bij waarde n wordt elke taak n keer uitgevoerd en vermenigvuldigt het aantal cases zich met n. Een job met 2 taken van elk 5 scenario's geeft bij 1 uitvoering 10 cases en bij 3 uitvoeringen 30 cases.
• Aantal herkansingen (retry count): het maximale aantal pogingen voor een mislukte case. Slaagt de case binnen dat aantal, dan wordt de status 'Completed'. Mislukken alle pogingen door fouten of time-outs, dan stopt de uitvoering en wordt de status 'Failed'.

Jobs en resultaten

U maakt een evaluatiejob met een naam, een model, het aantal herkansingen en het aantal uitvoeringen, en kiest daarna de taken. U bekijkt de resultaten per job, taak en case. Per case speelt u de uitvoering in 3D af naast drie camerabeelden (hoofd, linkerarm en rechterarm), met pauze en snelheidsregeling. U downloadt state.json, evaluate.json en evaluate.log in één keer of per bestand.