Een grondig begrip van de principes van visuele 3D-beeldvorming

3D vision imaging is een van de belangrijkste methoden voor informatieperceptie van industriële robots, die kunnen worden onderverdeeld in optische en niet-optische beeldvormingsmethoden. Momenteel zijn de meest gebruikte optische methoden, waaronder: time-of-flight-methode, gestructureerde lichtmethode, laserscanmethode, Moire-randmethode, laserspikkelmethode, interferometrie, fotogrammetrie, laservolgmethode, vorm uit beweging, vorm uit schaduw, en andere ShapefromX. Dit artikel introduceert een aantal typische schema's.

1. 3D-beeldvorming van de vluchttijd

Elke pixel van de time-of-flight (TOF)-camera gebruikt het tijdsverschil in de lichtvlucht om de diepte van het object te bepalen.

Bij de klassieke TOF-meetmethode start het detectorsysteem de detectie- en ontvangsteenheid op het tijdstip waarop de optische puls wordt uitgezonden. Wanneer de detector de optische echo van het doel ontvangt, slaat de detector direct de retourtijd op.

D-TOF, ook bekend als Direct TOF (DTOF), wordt vaak gebruikt in systemen met één punt, waarbij scantechnologie vaak nodig is om 3D-beeldvorming over het hele gebied te bereiken.

Scanvrije TOF 3D-beeldtechnologie is pas de afgelopen jaren gerealiseerd, omdat het erg moeilijk is om elektronische timing van subnanoseconden op pixelniveau te implementeren.

Het alternatief voor direct getimede D-TOF is indirecte TOF (I-TOF), waarbij de tijd heen en terug indirect wordt geëxtrapoleerd uit tijdafhankelijke metingen van de lichtintensiteit. I-TOF vereist geen nauwkeurige timing, maar maakt in plaats daarvan gebruik van tijdgestuurde fotonentellers of ladingsintegrators, die op pixelniveau kunnen worden geïmplementeerd. I-TOF is de huidige gecommercialiseerde oplossing voor elektronische en optische mixers op basis van TOF-camera's.

TOF-beeldvorming kan worden gebruikt voor een groot gezichtsveld, lange afstand, lage precisie en goedkope 3D-beeldverwerving. De kenmerken zijn: hoge detectiesnelheid, groot gezichtsveld, lange werkafstand, goedkope prijs, maar lage nauwkeurigheid, gemakkelijk te worden gestoord door omgevingslicht.

2. Scannen voor 3D-beelden

Scannen 3D-beeldvormingsmethoden kunnen worden onderverdeeld in scanbereik, actieve triangulatie, dispersie-confocale methode, enzovoort. In feite is de confocale dispersiemethode een scan- en bereikmethode, aangezien deze momenteel veel wordt gebruikt in de productie-industrie, zoals mobiele telefoons en flatpanelbeeldschermen, wordt deze hier afzonderlijk geïntroduceerd.

1. Scannen en bereik

Scanafstandsmeting is het gebruik van een gecollimeerde straal om het gehele doeloppervlak te scannen door middel van eendimensionale afstandsmeting om 3D-metingen te bereiken. Typische scanmethoden zijn:

1, single point time of flight-methode, zoals continue golffrequentiemodulatie (FM-CW), pulsbereik (LiDAR), enz .;

2, laserverstrooiingsinterferometrie, zoals interferometers gebaseerd op de principes van interferentie met meerdere golflengten, holografische interferentie, spikkelinterferentie met wit licht, enz.

3, confocale methode, zoals confocale dispersie, zelffocussering, enz.

Bij de 3D-methode voor het scannen van een enkel puntsbereik is de single point time of flight-methode geschikt voor scannen over lange afstanden en is de meetnauwkeurigheid laag, doorgaans in de orde van millimeters. Andere single-point scanmethoden zijn: single-point laserinterferometrie, confocale methode en single-point laser actieve triangulatiemethode, de meetnauwkeurigheid is hoger, maar de eerste stelt hoge milieu-eisen; Lijnscannauwkeurigheid matig, hoog rendement. Actieve lasertriangulatiemethode en dispersie-confocale methode zijn geschikter voor het uitvoeren van 3D-metingen aan het uiteinde van de robotarm.

2. Actieve triangulatie

De actieve triangulatiemethode is gebaseerd op het principe van triangulatie, waarbij gebruik wordt gemaakt van gecollimeerde bundels, een of meer vlakke bundels om het doeloppervlak te scannen om de 3D-meting te voltooien.

De straal wordt meestal op de volgende manieren verkregen: lasercollimatie, cilindrische of kwadratische cilindrische hoekige straalexpansie, onsamenhangend licht (zoals wit licht, LED-lichtbron) door het gat, spleetprojectie (rooster) of coherente lichtdiffractie.

Actieve triangulatie kan worden onderverdeeld in drie typen: scannen op één punt, scannen op één regel en scannen op meerdere regels. De meeste producten die momenteel op de markt worden gebracht voor gebruik in robotarmen zijn single-point- en single-line scanners.

Bij de meerlijnige scanmethode is het moeilijk om het randpoolnummer betrouwbaar te identificeren. Om streepnummers nauwkeurig te identificeren, wordt gewoonlijk gebruik gemaakt van afwisselende beeldvorming op hoge snelheid van twee sets verticale optische vlakken, waarmee ook "FlyingTriangulation" -scanning kan worden gerealiseerd. Het scan- en driedimensionale reconstructieproces wordt weergegeven in de volgende afbeelding. Een schaars 3D-aanzicht wordt gegenereerd door stroboscopische beeldvorming met meerdere lijnen, en verschillende 3D-weergavesequenties worden gegenereerd door longitudinale en horizontale randprojectiescanning. Vervolgens wordt door 3D-beeldmatching een compleet en compact 3D-oppervlaktemodel met hoge resolutie gegenereerd.

3. Confocale dispersiemethode

Confocale dispersie lijkt ruwe en gladde, ondoorzichtige en transparante objecten te kunnen scannen en meten, zoals reflecterende spiegels, transparante glasoppervlakken, enz., en is momenteel zeer populair op het gebied van driedimensionale detectie van afdekplaten voor mobiele telefoons.

Er zijn drie soorten dispersieve confocale scanning: single-point eendimensionale absolute range-scanning, multi-point array-scanning en continue lijnscanning. De volgende afbeelding geeft twee soorten voorbeelden van respectievelijk absoluut bereik- en continulijnscannen. Onder hen is continu lijnscannen ook een array-scanning, maar de array heeft meer en dichter rooster.

In commerciële producten is de bekendere spectrale confocale scanningsensor de Franse STILMPLS180, die 180 arraypunten gebruikt om een ​​lijn te vormen met een maximale lijnlengte van 4,039 mm (meetpunt 23,5 uur, punt-tot-punt-afstand van 22,5 uur). Een ander product is het Finse FOCALSPECUULA. De techniek van de dispersie confocale driehoek wordt toegepast.

3. 3D-beeldvorming met gestructureerde lichtprojectie

Gestructureerde lichtprojectie 3D-beeldvorming is momenteel de belangrijkste manier van visuele 3D-perceptie van robots, het gestructureerde lichtbeeldvormingssysteem bestaat uit verschillende projectoren en camera's. Veelgebruikte structurele vormen zijn: enkele projector-enkele camera, enkele projector-dubbele camera, enkele projector-meerdere camera, enkele camera - dubbele projector en enkele camera - meerdere projectoren en andere typische structurele vormen.

Het fundamentele werkingsprincipe van 3D-beeldvorming van gestructureerde lichtprojectie is dat projectoren specifieke gestructureerde lichtverlichtingspatronen projecteren op doelobjecten, en de door het doel gemoduleerde beelden worden vastgelegd door de camera, en vervolgens wordt de 3D-informatie van het doelobject verkregen via beeld verwerking en visueel model.

Veelgebruikte projectoren hebben voornamelijk de volgende typen: liquid crystal projectie (LCD), digitale lichtmodulatieprojectie (DLP: zoals digitale microspiegelapparaten (DMD)), directe projectie met laser-LED-patroon.

Afhankelijk van het aantal gestructureerde lichtprojecties, kan 3D-beeldvorming van gestructureerde lichtprojectie worden onderverdeeld in 3D-methoden met enkele projectie en 3D-methoden met meerdere projecties.

1. Beeldvorming met enkele projectie

Het gestructureerde licht met enkele projectie wordt voornamelijk gerealiseerd door ruimtemultiplexcodering en frequentiemultiplexcodering. De gebruikelijke coderingsvormen zijn kleurcodering, grijsindex, geometrische vormcodering en willekeurige vlekken.

Momenteel is het bij de toepassing van een robothand-oogsysteem, voor de gelegenheden waarbij de 3D-meetnauwkeurigheid niet hoog is, zoals palletiseren, unpalletiseren, 3D-grijpen, enz., populairder om pseudo-willekeurige plekken te projecteren om de 3D-informatie van het doel. Het principe van 3D-beeldvorming wordt weergegeven in de volgende afbeelding.

2. Meerdere projectiebeelden

De multi-projectie 3D-methode wordt hoofdzakelijk geïmplementeerd door middel van tijdmultiplexcodering. De algemeen gebruikte patrooncoderingsvormen zijn: binaire codering, multi-frequentie faseverschuivingscodering τ35 en gemengde codering (zoals grijscode tien-faseverschuivingsranden).

Het basisprincipe van 3D-beeldvorming met randprojectie wordt weergegeven in de onderstaande afbeelding. Gestructureerde lichtpatronen worden gegenereerd door een computer of gegenereerd door een speciaal optisch apparaat, die via een optisch projectiesysteem op het oppervlak van het gemeten object worden geprojecteerd, en vervolgens worden beeldacquisitieapparatuur (zoals CCD- of CMOS-camera's) gebruikt om de vervormde gestructureerde lichtbeelden gemoduleerd door het oppervlak van het object. Het beeldverwerkingsalgoritme wordt gebruikt om de corresponderende relatie tussen elke pixel in de afbeelding en het punt op de objectomtrek te berekenen. Ten slotte wordt via het systeemstructuurmodel en de kalibratietechnologie de driedimensionale contourinformatie van het gemeten object berekend.

In praktische toepassingen wordt vaak gebruik gemaakt van Gray-codeprojectie, sinusoïdale faseverschuivingsrandprojectie of Gray-code tien sinusoïdale faseverschuivingsprojectie 3D-technologie.

3. Afbuigingsbeeldvorming

Voor ruwe oppervlakken kan gestructureerd licht direct op het objectoppervlak worden geprojecteerd voor visuele beeldmeting. Voor de 3D-meting van gladde oppervlakken met grote reflectie en spiegelobjecten kan de gestructureerde lichtprojectie echter niet rechtstreeks op het gemeten oppervlak worden geprojecteerd, en de 3D-meting vereist ook het gebruik van spiegelafbuigingstechnologie, zoals weergegeven in de volgende afbeelding.

In dit schema worden de randen niet rechtstreeks op de gemeten contour geprojecteerd, maar op een verstrooiingsscherm geprojecteerd, of wordt in plaats van het verstrooiingsscherm een ​​LCD-scherm gebruikt om de randen direct weer te geven. De camera volgt het lichtpad door het heldere oppervlak, verkrijgt de randinformatie die wordt gemoduleerd door de krommingsverandering van het heldere oppervlak, en lost vervolgens het 3D-profiel op.

4. Stereovisie 3D-beeldvorming

Stereovisie verwijst letterlijk naar de perceptie van een driedimensionale structuur met één of beide ogen, en verwijst in het algemeen naar de reconstructie van de 3D-structuur of diepte-informatie van het doelobject door twee of meer beelden vanuit verschillende gezichtspunten te verkrijgen.

Visuele signalen voor dieptewaarneming kunnen worden onderverdeeld in oculaire signalen en binoculaire signalen (binoculaire parallax). Momenteel kan stereoscopisch 3D worden bereikt door monoculair zicht, binoculair zicht, multioculair zicht, 3D-beeldvorming met lichtveld (elektronisch samengesteld oog of array-camera).

1. Monoculaire visuele beeldvorming

Monoculaire signalen voor dieptewaarneming omvatten meestal perspectief, verschil in brandpuntsafstand, multi-visie beeldvorming, dekking, schaduw, bewegingsparallax, enz. In robotvisie kan ook spiegel 1 en andere vormen van X10 en andere methoden worden gebruikt om dit te bereiken.

2. Binoculaire beeldvorming

De visuele aanwijzingen voor binoculaire dieptewaarneming zijn: convergentiepositie van de ogen en binoculaire parallax. Bij machine vision worden twee camera's gebruikt om twee kijkbeelden te verkrijgen van twee gezichtspunten naar dezelfde doelscène, en vervolgens wordt de parallax van hetzelfde punt in de twee kijkbeelden berekend om de 3D-diepte-informatie van de doelscène te verkrijgen. Het typische binoculaire stereovisieberekeningsproces bestaat uit de volgende vier stappen: beeldvervormingscorrectie, stereobeeldpaarcorrectie, beeldregistratie en triangulatie-herprojectie parallaxkaartberekening