Co je nástroj pro tvorbu aplikací v OpenMind a jak funguje?

openmind vyvíjí nástroje určené ke zjednodušení vývoje softwaru pro autonomní stroje. V centru tohoto úsilí je OM1, open source operační systém určený pro roboty a další inteligentní zařízení. Společnost často popisuje OM1 jako robotickou platformu ve stylu Androidu, což znamená sdílený běhový modul, který abstrahuje hardwarové rozdíly a zároveň umožňuje vývojářům soustředit se na chování a logiku.

Nedávno OpenMind představil Tvůrce aplikací OpenMind, vizuální konfigurační nástroj na vývojářském portálu, který umožňuje vývojářům vytvářet, upravovat a nasazovat robotické aplikace bez nutnosti psaní kódu pro běžné úkoly. Oznámení, učiněné prostřednictvím oficiálního účtu společnosti X, bylo doprovázeno krátkým demonstračním videem ukazujícím produkt v provozu.

Tento článek vysvětluje, co je OpenMind App Builder, jak funguje na technické úrovni a kam patří v rámci širšího ekosystému OM1.

Jaké je širší poslání OpenMind?

Cílem OpenMind je umožnit autonomní stroje prostřednictvím sdílených standardů a modulárního softwaru. OM1 je licencován pod licencí MIT a je otevřeně vyvíjen na GitHubu, kde získal tisíce hvězdiček a příspěvků komunity. Runtime je navržen pro podporu široké škály robotů, včetně humanoidů, čtyřnožců, jako je řada Unitree Go, a mobilních výzkumných platforem, jako je TurtleBot.

Jedno Společnost podporovaná Pi Network Ventures je také klíčovým přispěvatelem do Fabric Foundation, organizace zaměřené na standardy pro koordinaci autonomních strojů a identitu v řetězci. Fabric propaguje specifikace, jako je ERC 7777, která definuje, jak lze popsat a vyměňovat chování robotů. App Builder je umístěn jako praktické rozhraní nad těmito základními systémy.

Co je OpenMind App Builder

OpenMind App Builder je vizuální rozhraní pro konfiguraci chování robotů v OM1 bez nutnosti kódování a s nízkým kódem. Přístup k němu je možný prostřednictvím vývojářského portálu OpenMind po vytvoření účtu. Namísto ručního psaní konfiguračních souborů vývojáři vytvářejí aplikace sestavováním vizuálních uzlů, které představují režimy robota, a definují, jak se tyto režimy propojují.

Každá aplikace je reprezentována jako vývojový diagram. Uzly odpovídají stavům chování, jako je pozdrav, navigace nebo mapování. Přechody mezi uzly definují, kdy a jak robot přepíná z jednoho chování na druhé. Výsledná konfigurace se uloží a lze ji nasadit přímo na kompatibilní hardware prostřednictvím portálu.

Nástroj pro tvorbu aplikací nenahrazuje tradiční programování. Spíše je umístěn nad konfiguračním systémem OM1 a exportuje strukturované konfigurační soubory, které lze v kódu rozšířit nebo upravit pro pokročilé případy použití.

Objevte slibné projekty...

Slibné projekty...

(Inzerát)

Článek pokračuje...

Základní pojmy a terminologie

Pochopení nástroje App Builder vyžaduje znalost několika konceptů OM1.

Režimy

Režim je samostatný behaviorální stav. Například robot může mít uvítací režim, navigační režim a paměťový režim. Každý režim definuje, který jazykový model se používá, které senzory jsou aktivní, které akce jsou povoleny a dostupný kontext na pozadí.

Uzly a přechody

Ve vizuálním editoru se každý režim zobrazuje jako uzel. Přechody jsou směrové vazby mezi uzly. Přechod zahrnuje podmínky, které určují, kdy se robot přesune z jednoho režimu do druhého. Vývojáři mohou určit, že mluvený příkaz spustí přechod z nečinného chování do navigace.

Vstupy, akce a pozadí

Vstupy představují senzory nebo zdroje dat, jako jsou mikrofony, kamery nebo webové kanály. Akce představují výstupy, jako jsou příkazy pro pohyb, syntéza řeči nebo zápisy do paměti. Pozadí poskytuje trvalý kontext, jako je poloha GPS nebo stav navigace.

Háčky životního cyklu

Každý režim obsahuje procesy životního cyklu, včetně systémového výzvy pro jazykový model. To umožňuje vývojářům ovládat chování modelu v daném režimu pomocí instrukcí v přirozeném jazyce uložených jako součást konfigurace.

Jak funguje App Builder v praxi?

Demonstrační video zveřejněné spolu s oznámením ukazuje kompletní pracovní postup od začátku až po nasazení.

Výběr robota

Když vývojář otevře App Builder, prvním krokem je výběr stroje z postranního panelu. Tím se konfigurace přiřadí ke konkrétnímu profilu robota, včetně jeho podporovaných senzorů a akcí. OM1 poskytuje hardwarovou abstrakci prostřednictvím vyhrazené vrstvy, což umožňuje opakované použití stejné konfigurace na vysoké úrovni na podobných strojích.

Vizuální vytváření režimů

Po výběru robota se na plátně zobrazí úvodní vývojový diagram. Vývojáři mohou přidat nové režimy kliknutím na ikonu plus. Každý nový režim otevře panel editoru, kde se definují parametry.

V tomto panelu vývojář vybere jazykový model z rozbalovacího seznamu. Mezi podporované možnosti patří několik komerčních a otevřených modelů. Dále se přidají vstupy, jako je automatické rozpoznávání řeči pro hlasové ovládání nebo obraz z kamery. Poté se vyberou akce, jako je navigace nebo hlasový výstup. Lze také povolit pozadí, jako je GPS nebo kontext navigace.

Všechny změny se okamžitě uloží a plátno se aktualizuje tak, aby odráželo aktuální konfiguraci.

Definování přechodů

Jakmile jsou režimy vytvořeny, přechody se definují přetažením konektoru z jednoho uzlu do druhého. Otevře se editor pravidel, kde se zadávají podmínky. Podmínky mohou odkazovat na vstupy, vnitřní stav nebo jiné signály. Pravidlo přechodu může například specifikovat, že rozpoznaný hlasový příkaz způsobí, že robot opustí svůj klidový režim a přejde do navigačního režimu.

Funkce automatického formátování mění uspořádání plátna tak, aby vývojový diagram zůstal čitelný i při jeho růstu.

Rozvinutí

Po dokončení konfigurace ji může vývojář nasadit přímo z rozhraní. Konfigurace se do robota nahraje prostřednictvím portálu OpenMind a aplikuje se bez ručního přenosu souborů. Pro týmy používající OM1 lokálně nebo v produkčních kanálech lze stejnou konfiguraci nasadit pomocí nástrojů příkazového řádku nebo kontejnerizovaných pracovních postupů.

Podporované modely a komponenty

Podle OpenMindu App Builder v současné době podporuje více než šest jazykových modelů, přes čtyřicet vstupů, třicet akcí a více než deset kontextů na pozadí. Tato čísla odrážejí modulární design OM1, kde je každá komponenta implementována jako plugin.

Jazykové modely lze zaměňovat bez přepisování logiky aplikace. Vstupy a akce jsou podobně zaměnitelné, pokud je podporuje základní hardware. Tento přístup umožňuje vývojářům rychle experimentovat s různými konfiguracemi a zároveň zachovat konzistentní strukturu.

Integrace s OM1 a pracovními postupy založenými na kódu

Přestože App Builder klade důraz na vizuální konfiguraci, je navržen tak, aby se integroval s kódovou základnou OM1.

Vývojáři mohou exportovat konfigurace jako strukturované soubory a ukládat je do systému správy verzí. Pokročilí uživatelé mohou vytvářet vlastní vstupy a akce přidáním modulů Pythonu do příslušných adresářů v repozitáři OM1. Tyto vlastní komponenty se pak zobrazí v rozhraní App Builder k výběru.

Pro nasazení ve velkém měřítku nebo na edge zařízeních, jako je hardware Nvidia Jetson, OM1 podporuje nastavení založená na kontejnerech. App Builder doplňuje tyto pracovní postupy zkrácením času stráveného počáteční konfigurací a iterací.

Hardwarová abstrakce a přenositelnost

Jedním z hlavních cílů návrhu OM1 je hardwarová agnostika. App Builder to odráží tím, že zpřístupňuje pouze chování na vysoké úrovni, nikoli nízkoúrovňové ovládání motorů. Vývojář například může nakonfigurovat navigační akci, aniž by specifikoval, jak se jednotlivé klouby pohybují.

Tato abstrakce je implementována prostřednictvím vrstvy hardwarové abstrakce, která propojuje akce OM1 s vývojářskými sadami softwaru specifickými pro roboty, jako je ROS2 nebo API dodavatelů. V důsledku toho lze stejnou aplikační logiku často s minimálními změnami znovu použít napříč různými roboty.

Omezení a úvahy

Nástroj pro tvorbu aplikací má zjednodušit běžné úkoly, ale neodstraňuje potřebu technického úsudku.

Některé hardwarové platformy mají omezenou podporu v závislosti na výpočetních možnostech. Kompletní sady funkcí jsou v současné době k dispozici na novějších systémech založených na technologii Nvidia, zatímco starší platformy mohou vyžadovat kompromisy. Jádro běhového prostředí OM1 také omezuje přímý přístup k internetu z důvodu bezpečnosti a spolehlivosti, což ovlivňuje způsob použití externích API.

Pro komplexní autonomii se od vývojářů očekává, že budou kombinovat konfigurace App Builderu se simulací, posilovacím učením a rozsáhlým testováním. Dokumentace OpenMind klade důraz na začátek s jednoduchým chováním a jeho ověření v simulovaných prostředích před nasazením na reálné stroje.

Závěr

OpenMind App Builder je vizuální konfigurační nástroj, který je umístěn nad běhovým prostředím OM1 a zjednodušuje vytváření a nasazení robotických aplikací. Reprezentací chování robota jako režimů, přechodů a modulárních komponent umožňuje vývojářům sestavovat funkční aplikace bez nutnosti psaní kódu pro každý krok.

Jeho hodnota spočívá ve snížení obtíží při nastavení a zároveň v zachování kompatibility s pracovními postupy založenými na kódu. Pro týmy, které staví na OM1, poskytuje App Builder strukturovaný způsob návrhu, testování a nasazování chování robotů napříč různými hardwarovými platformami. Spíše než aby nahrazoval tradiční vývoj, slouží jako rozhraní, které usnadňuje přístup k základnímu systému a zjednodušuje jeho analýzu.

Zdroje:

• X PříspěvekPředstavujeme OpenMind App Builder 
• Portál vývojářůVytvářejte aplikace na OpenMind