Till innehåll på sidan

Multimodal Human-Robot Collaboration in Assembly

Tid: Fr 2022-05-20 kl 09.00

Videolänk: https://kth-se.zoom.us/j/68935599845

Språk: Engelska

Ämnesområde: Industriell produktion

Respondent: Sichao Liu , Hållbara produktionssystem

Opponent: Professor Gunnar Bolmsjö, Industrial Production Systems, Linnaeus University.

Handledare: Professor Lihui Wang, Hållbara produktionssystem

Exportera till kalender

Abstract

Samarbete mellan människa och robot (HRC) i framtidens fabriker kräver en nära fysisk samverkan mellan människor och robotar i säkra och delade arbetsmiljöer, för ökad effektivitet och flexibilitet. Doktorandstudien syftar till multimodalt samarbete mellan människa och robot vid montering. För detta ändamål används olika modaliteter som styrs av mänskliga kommandon på hög nivå för att stödja effektiv HRC och underlätta robotstyrning vid montering. Röstkommandon, som är en vanlig kommunikationskanal, används i första hand för att styra roboten. Handgester för icke-verbala kommandon åtföljer ofta röstinstruktioner och används för robotstyrning, speciellt för gripkontroll vid robotmontering. Algoritmer har utvecklats för att träna och identifiera kommandona så att röst- och handgestinstruktionerna associeras med giltiga robotkontrollkommandon på styrenhetsnivå. En sensorlös haptikmodalitet har utvecklats för att tillåta mänskliga operatörer att haptiskt styra robotar utan att använda några externa sensorer. I ett sådant sammanhang kombineras en exakt dynamisk modell av roboten (inom både glid- och förglidningsregimer) och en adaptiv inträdesobservatör för tillförlitlig haptisk robotkontroll. Parallellt är hjärnvågor en framväxande kommunikationsmodalitet som används för adaptiv robotstyrning under sömlös montering, särskilt i bullriga miljöer med opålitlig röstigenkänning eller när en operatör är upptagen med andra uppgifter och inte kan göra gester. Maskininlärning, Deep learning, utforskas för att utveckla ett robust hjärnvågsklassificeringssystem för robotstyrning med hög noggrannhet, och hjärnvågorna fungerar som makrokommandon för att aktivera fördefinierade funktionsblock som i sin tur ger mikrokontroll för robotar i kollaborativ montering. Hjärnvågorna ger ett multimodalt stöd till HRC-montering, som ett alternativ till haptik, hörsel- och gestkommandon. Därefter utforskas en multimodal datadriven kontrollmetod för HRC-montering med hjälp av händelsestyrda funktionsblock för att underlätta samverkande montering och adaptiv robotstyrning. De föreslagna tillvägagångssätten och systemdesignen analyseras och valideras genom experiment på ett delmontage av en bilmotor. Slutligen presenteras slutsatser och framtida riktningar.

urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-311425