DE2513655B2

DE2513655B2 - Einrichtung für die Steuerung von automatischen Handhabungssystemen mittels Fernsehkamera

Info

Publication number: DE2513655B2
Application number: DE19752513655
Authority: DE
Inventors: Juergen 6900 Heidelberg Bretschi
Original assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date: 1975-03-27
Filing date: 1975-03-27
Publication date: 1979-03-29
Also published as: DE2513655C3; DE2513655A1

Description

Die Erfindung betrifft eine Einrichtung gemäß dem Oberbegriff des Anspruchs 1.

Für die sich heute im praktischen Einsatz befindenden Handhabungsgeräte fehler, eigene Erkennungseinrichtungen. Dies bedingt, daß in einer Vielzahl von Fällen die Hilfe des Menschen benötigt wird, um Werkstücke in ihrer Lage zu erkennen (Klassifikation), in ihrer Lage auszurichten, ihre Lage zu finden und dem Handhabungssystem geordnet anzubieten. Die technische Lösung dieser Aufgaben beseitigt das häufig einzige Automatisierungshindernis bei der Montage und Ferti- ^b5 gung mit Handhabungsgeräten und befreit den Menschen von monotonen Arbeiten.

Es ist in der Großserienfertigung üblich, die

genannten Aufgaben mit rein mechanischen Ordnungseinrichtungen (z. B. Förderer) zu lösen. Die benutzten werkstückspezifischen Ordnungselemente müssen bei einem Werkstückwechsel unter hohem Entwicklungsoder Justieraufwand ausgestauscht werden. Dies ist bei der Klein- und Mittelserie unwirtschaftlich. Weiterhin gibt es Werkstücke, die nicht mechanisch zu ordnen sind, so daß für diese Arbeiten der Einsatz des Menschen unumgänglich ist

In der Patentanmeldung P 24 261993 wird ein Verfahren beschrieben, bei dem die vereinzelten Werkstücke auf einem Förderband liegend gegen einen Anschlag geführt werden. Hierdurch ist nur eine begrenzte Anzahl von diskreten Lageklassen der Werkstücke möglich. Die Klassifikation und Positionsbestimmung erfolgt mit Hilfe eines inkohärentoptischen Korrektors als Sensorsystem. Der Aufbau dieses Korrektors bedingt mechanisch bewegte Teile wie Schwingspiegel oder rotierende Scheibe. Die Umstellung auf- andere Werkstücke erfolgt durch ein Auswechseln der rotierenden Scheibe, auf der die einzelnen Lageklassen fotografisch gespeichert sind. In die für die elektronische Programmierung des Handhabungssystems ohnehin notwendige Lernphase (teach-in) läßt sich dieses fotografische Verfahren im Gegensatz zu elektronischen Möglichkeiten nicht integrieren.

Neben der mechanischen Ordnungseinrichtungen und den optischen Korrektoren gibt es die Klasse der »Intelligenten Roboter«, die mit Fernsehsystemen arbeiten. Die bisherigen Entwicklungen auf diesem Gebiet sind nicht für eine Anwendung bei industriellen Handhabungssystemen ausgelegt Hier steht vor allem der Einsatz in einer gefährlichen Umwelt (Meeres- und Weltraumforschung, Katastropheneinsatz bei radioaktiver Verseuchung u.a.) im Vordergrund. Sämtliche »Intelligenten Roboter« werden wegen der komplexen Aufgabenstellung von aufwendigen und teueren Rechnersystemen gesteuert

Das gleiche gilt auch für die heute bekannten, mit Fernsehkameras gesteuerten Handhabungssysteme (z. B. OS 24 09 478). Diese Systeme sind zwar für den Einsatz an industriellen Handhabungssystemen konzipiert, benötigen aber ebenfalls speicherintensive Digitalrechner zur Durchführung des Erkennungsvorganges. Als typisches Beispiel sei eine programmierbare Montagemaschine genannt (Heginbothan, W.B. et al, The Nottingham Sirch Assembly Robot, Paper R 9 1st Conference on Industrial Robot Technology, 1973).

Hier wird beim Erkennungsvorgang die gesamte Außenstruktur des Werkstückes verarbeitet. Hierzu ist ein großer Rechenaufwand und demgemäß ein aufwendiger Rechner notwendig.

Der Erfindung liegt die Aufgabe zugrunde, mit einfachen Mitteln die Lageart, Orientierung und Position eines Objektes, z. B. eines Werkstückes oder Werkzeuges zu bestimmen, den Erkennungsvorgang zu vereinfachen und den apparativen Aufwand zu vermindern.

Diese Aufgabe wird erfindungsgemäß durch eine Einrichtung gemäß dem kennzeichnenden Teil des Anspruches 1 gelöst. Weitere vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.

Als Beispiel für solche signifikanten Merkmale sind zu nennen: Winkel von Kanten, Abmessungen der Außenkontur, Abmessungen besonderer Aussparungen, Differenzen von Aussparungen bzw. Innenkonturen und Außenkonturen, Flächen und das Vorhandensein oder nicht Vorhandensein von werksiückerfassenden Fern-

sehzeilen. Es kann sich dabei sowohl um Werkstücke handeln, die auf einem Förderband liegend gegen einen Anschlag geführt werden, so daß entsprechend der Anmeldung P 24 261993 diskrete Lagekla'isen gebildet werden, die durch das Verfahren klassefiziert und in ihrer Position vermessen werden, so daß der Greifer des Handhabungssystems entsprechend einem zugeordneten Greifprogramm gesteuert werden kann. Das Verfahren ist jedoch nicht nur auf Werkstücke beschränkt die auf einem Forderband liegend gegen ι ο einen Anschlag gefahren werden. Es können in gleicher Weise Relativpostionen von Werkstücken oder Werkzeugen ermittelt werden, wobei gleichzeitig in der vorher geschilderten Weise eine Werkstückerkennung durchgeführt werden kann. Aufgaben dieser Art treten is vor allem bei automatischen Fügevorgängen auf, an die sich dann ein weiterer Bearbeitungsschritt, z.B. das Zusammenschweißen der Teile, anschließt Hierbei ist es möglich, mit zwei Fernsehkameras dreidimensionale Lagekoordinaten zu vermessen.

Zur Durchführung des Verfahrens werden die zu erkennenden Objekte entweder im Durchlicht — oder im Auf licht betrachtet

Ein wesentlicher Vorteil der Einrichtung Sensorsystem) ist es, daß für das Erfassen der vorher genannten Merkmale nur Zählvorgänge benötigt werden, wobei wegen der Beschränkung auf wenige Merkmale auch nur wenige Zählergebnisse anfallen. Zählergebnisse sind mit Hilfe der Digitalelektronik leicht zu realisieren, die geringe Anzahl der zu verarbeitenden Zählergebnhse bedeutet eine Datenreduktion und damit eine Abnahme des benötigten Speicherplatzes.

Bei der Durchführung des Erkennungsvorganges (Klassifikation) werden die gespeicherten aktuellen Zählerstände mit vorgegebenen Sollwerten verglichen (elektronische Korrelation) und auf die Klasse mit maximaler Übereinstimmung entschieden.

Bei der Durchführung der Positionsbestimmung beinhaltet die Zeitdifferenz zwischen dem Zeilenanfang oder einem beliebigen anderen Anfangszeitpunkt und dem Eintreffen eines oder mehrerer Fernsehzeilen auf das Werkstück oder Werkzeug bei bekannter Zeilenabtastgeschwindigkeit die Information der Werkstückoder Werkzeuglage.

Ein zusätzlicher mit der Erfindung erzielbarer Vorteil ist die Unempfindlichkeit des Sensorsystems gegenüber Störeinflüssen der Fernsehkamera Durch den Verzicht auf die für den vorliegenden Anwendungsfall unnötige Detailerkennung und die Anzahl signifikanter Merkmale mit relativ großen geometrischen Abmessungen sind Linearitäts- und Zeilenfehler der Fernsehkamera sowie die begrenzte Auflösung bedeutungslos.

Ein weiteres wesentliches Kennzeichen des Sensorsystems ist die leichte Programmierbarkeit Gleichzeitig mit der gewünschten Flexibilität von Handhabungssystemen für den Einsatz bei verschiedenen Werkstücken und Handhabungsvorgängen müssen auch die mustererkennenden Sensorsysteme programmierbar sein. Bei der Vielzahl der möglichen Werkstücke und Handhabungsvorgänge ist bei einer universellen Verwendbar- eo keit des Sensorsystems eine leichte Anpassung an die jeweilige Aufgabenstellung anstrebenswert. Die Programmierung des Sensorsystems ist dadurch möglich, daß bei einer Kombination aus fest vorgegebenen Zählschaltungen, Speichern und logischen Baugruppen alle unveränderlichen Funktionen fest verdrahtet sind. Die Zeilenauswahl, die Wahl der durch einen Zählvorgang je nach ausgewählten Merkmal zu erfassenden Meßgröße und die logische Entscheidungsstufe wird in bekannter Weise zum Beispiel über Kreuzschienenverteiler mit Diodensteckern programmiert Hierzu ist ein Teil der für den Meß- und Erkennungsvorgang notwendigen Auswerteschaltung für alle Objekte gleich und dementsprechend fest verdrahtet Ein Teil der Schaltung ist jedoch durch variable Steckverbindungen flexibel gestaltet, so daß eine objektabhängige Programmierung mittels Steckverbindungen möglich ist

In gleicher Weise ist die Programmierung über Microprocessoren oder Ablaufsteuerungen (MikrocontroUer) möglich, bei denen die Programminstruktionen in leicht austauschbaren Festwertspeichern festgelegt sind.

Die Eingabe der für die Klassifikation benötigten Sollwerte kann auf zweierlei Weise erfolgen. Es ist zum einen möglich, die Sollwerte aus den jeweiligen Werkstückdaten zu bestimmen und fest in die Speicher einzugeben. Es ist ebenso möglich, die Sollwerte durch einen direkten Bildschirm-Bediener-Dialog einzugeben. Dieser Vorgang entspricht dem der eigentlichen Programmierung (teach-in) der Handhabungssysterne. Hierbei werden der Fernsehkamera je nach Handhabungsaufgabe nacheinander die verschiedenen Objekte oder Objektlagen angeboten. Mit Hilfe eines Monitorbildes, bei dem eine verschiebbar angeordnete Zeile z. B. durch eine Dunkeltastung dieser Zeile gekennzeichnet ist, bringt der Bediener die gekennzeichnete Zeile an die gewünschte signifikante Stelle des Objektes. Auf Knopfdruck werden die sich als Zählergebnisse in dieser Zeile ergebenden Abschnitte der Schwarz-Weiß-Strekken eines z. B. im Durchlicht erscheinenden Objektes in die Sollwertspeicher eingegeben. Dies wird für jede mögliche Lageklasse wiederholt

Die Ablaufsteuerung des Erkennungsvorganges und die logischen Entscheidungen übernimmt ein Microprocessor, der in vielen Fällen eine reine Ablaufsteuerung (Mikrocontroller) sein kann. Hierbei wird in bekannter Weise die gesamte Programminformation in einem Festwertspeicher gespeichert Je nach Aufgabe wird dieser Speicher mit den Programminformationen ausgetauscht Durch die Datenreduktion ist der Speicherplatz für Befehle und Daten gering.

Ein Ausführungsbeispiel für eine Werkstückklassifizierung und ein Ausführungsbeispiel für eine Relativpositionierung von Werkstücken ist in der Zeichnung dargestellt und im folgenden näher beschrieben. Es zeigt

F i g. 1 die an einem Beispiel durchgeführte Datenreduktion durch die Beschränkung auf einige wenige Fernsehzeilen an signifikanten Werkstückstellen bei der Aufgabe der Werkstückklassifikation und Positionsbestimmung.

F i g. 2 ein Beispiel für die Anwendung des Verfahrens bei der Relativpositionierung von Werkstücken.

F i g. 3 die Draufsicht der Anordnung zur Relativpositionierung von Werkstücken.

F i g. 4 ein Blockschaltbild des Sensorsyste.ns.

Zur Durchführung des Verfahrens zur Werkstückklassifikation und Positionsbestimmung wird das in F i g. 1 beispielsweise als Winkel ausgeführte Werkstück in bekannter Weise gegen einen Anschlag 1 geführt Hierdurch ergeben sich die dargestellten sechs stabilen Anlauflagen Li-L₆. Bei der Erfassung dieses Bildes mit Hilfe einer senkrecht zur Bildebene stehenden Fernsehkamera ist eine Bildauflösung von 625 Zeilen pro Bildausschnitt möglich. Von diesen 625 möglichen Zeilen sind entsprechend F i g. 1 die vier nicht äquidistanten Zeilen Z<—Zs herausgegriffen. Wie im

folgenden gezeigt wird, genügen diese vier Zeilen zu einer vollständigen Beschreibung der möglichen Lageklassen Li-Le. Dies bedeutet eine wesentliche Aufwands- und Datenreduktion und führt demgemäß zu einer Vereinfachung des Sensorsystems.

Man erkennt aus F i g. 1, daß nur die Zeilen Z\ und Z₂ die Werkstücklagen L\ und L₂ erfassen. Im Videosignal der Fernsehkamera bewirkt das Vorhandensein eines Gegenstandes bei der betreffenden Abtastzeile eine deutliche Pegeländerung. Das Vorhandensein einer solchen Pegeländerung in einer Zeile wird gespeichert

Die Entscheidung welche der beiden möglichen Lagen Li oder L₂ vorliegt, wird bei der zweiten Fernsehzeile Z₂ getroffen. Bei gemeinsamen Loslaufen aller Fernsehzeilen von einer Anfangsmarke 2 (F i g. 1) trifft bezogen auf diesen Anfangspunkt bei der Lage L\ die Zeile Z₂ früher auf das Werkstück als die Zeile Zi. Bei der Lage L₂ ist dies umgekehrt Durch Erfassung der Auftreffzeitpunkte der Zeilen Z\ und Z₂ auf das Werkstück mittels vom Videosignal getriggerten Zählern kann auf die Lage Li oder L₂ entschieden werden. In gleicher Weise ist es möglich, aus den unterschiedlichen Steigungswinkeln der Werkstückkanten die restlichen Lageklassen L₃-Ls zu bestimmen. Für den Erkennungsvorgang wurden dabei im vorliegenden Beispiel von den früher genannten Merkmalen nur die Winkel von Werkstückkanten und das Vorhandensein oder NichtVorhandensein von werkstückerfassenden Fernsehzeilen ausgenutzt

In gleicher Weise ist es möglich, durch das Verwenden anderer Merkmale den Erkennungsvorgang durchzuführen. So kann die Lage Li und Li von der Lage L₅ und L₈ dadurch unterschieden werden, daß durch den Zählvorgang die unterschiedlichen Breiten der Außenkonturen oder das Vorhandensein einer Aussparung des Werkstückes bei der Lage L₅ und L₆ in Zeile Z₃ ermittelt werden.

Für den Erkennungsvorgang (Klassifikation) werden die gespeicherten aktuellen Zählerstände mit vorgegebenen Sollwerten verglichen (elektronische Korrelation) und auf die Klasse mit maximaler Übereinstimmung entschieden.

Die Positionsvermessung des Werkstückes erfolgt aus der Zeitdauer (Zählvorgang), die beispielsweise die Zeile Z₃, die alle Werkstücklagen L\—L\ erfaßt vom Anfangspunk: 2 bis zum Werkstück benötigt

Nun sind Werkstücklage und Werkstückposition bekannt so daß mit diesen Daten der Greifer des Handhabungssystems entsprechend der für jede Lageklasse vorprogrammierten Greifbewegung gesteuert werden kann.

Die für jedes Werkstück vorzunehmende Programmierung des Steuersystems kann zum einen bei einer vorher festgelegten Zeilenauswahl aus den geometrischen Abmessungen erfolgen. Im vorliegenden Beispiel sind das beispielsweise die Wegdifferenzen der einzelnen Zeilen oder die Breite der Außenkonturen. Desgleichen ist es möglich, mittels eines Monitorbildes in einem Bildschirm-Bediener-Dialog für jede Werkstücklage mittels einer durch Dunkeltastung gekennzeichneten und verschieblichen Monitorzeile die signifikanten Stellen des Werkstückes abzutasten und direkt die vom Videosignal getriggerten Schwarz-Weiß-Bereiche der jeweiligen Zeile als Sollwerte zu speichern.

Als weiteres Beispiel für die Anwendbarkeit des Verfahrens bei nicht vorliegenden diskreten Lageklassen ist in Fig.2 die Relativpositionierung von Werkstücken näher ausgeführt.

Das Werkstück 3 wird beispielsweise über ein Förderband 4 auf eine Haltevorrichtung 5, beispielsweise eine magnetische oder mit Vakuum arbeitende Vorrichtung, aufgesetzt Die Aufsetzlage des Werkstükkes kann beliebig sein. Im oder auf dem Werkstück befindet sich ein signifikantes Merkmal Im Beispiel ist dies eine rechteckige Werkstückaussparung 6. Wird das Werkstück im Durchlicht betrachtet, so erscheint diese Aussparung als heller Fleck auf dem dunklen Werk-ο stück. Es muß sich hierbei keineswegs um Aussparungen handeln, die an dieser Stelle lichtdurchlässig ist. In gleicher Weise kann es auch eine lichtundurchlässige Vertiefung oder eine Erhöhung sein. Im Werkstück befindet sich eine in der Seitenansicht nicht sichtbare öffnung 7. In diese öffnung soll ein ganz bestimmtes Werkstück 8 von einer Zubringeeinrichtung 9 eingefügt werden. Diese Aufgabe wird dadurch gelöst, daß das Werkstück 3 von einer Zeile Zi einer Fernsehkamera abgetastet wird. Diese Fernsehzeile ist so positioniert, daß sie die signifikante Aussparung 6 erfaßt Durch Drehen der Halterung 5 durch das Handhabungssystem bis zur maximalen von der Fernsehzeile erfaßten und bekannten Abmessung der Innenkontur 6 ist die Lage bis auf eine Parallelverschiebung senkrecht zur Zeichenebene erfaßt

Handelt es sich beispielsweise bei dem signifikanten Merkmal um eine lichtundurchlässige Aussparung oder eine Erhebung, so nutzt man als Sollwert für die Drehung des Werkstückes das Intensitätsmaximum des

Videosignals beim Glanzwinkel aus.

In F i g. 3 ist zur Verdeutlichung die Draufsicht der Anordnung mit dem Werkstück 3 und der Fernsehkamera 10 dargestellt Die Kamera 10 erfaßt in beschriebener Weise die sich gegen eine von der Rückseite durch eine Lampe 11 beleuchtete Mattscheibe 12 hell vom Werkstück 3 abhebende Aussparung 6.

Tritt nach der Ausrichtung des Werkstückes durch die beschriebene Drehung noch ein Freiheitsgrad durch eine mögliche Parallelverschiebung in y-Richtung auf, so läßt sich diese mit einer senkrecht zur ersten Fernsehkamera 1(5 angeordneten zweiten Kamera 13 durch eine einzige Zeile erfassen, die die Außenkonturen des Werkstückes abtastet
Wegen der starren und bekannten Relativposition zwischen der Marke 6 und der Werkstücköffnung 7 (F i g. 2) ist es nun möglich, die Zubringeeinrichtung 9 so zu steuern, daß das Werkstück 8 in die öffnung eingefügt werden kann. Hierbei ist es möglich, durch eine zweite Zeile Z₂ der ersten Fernsehkamera 10 das

so zugebrachte Werkstück in gleicher Weise zu klassifizieren und in der Lage auszurichten. So ist es beispielsweise auch möglich, je nach der Art des Werkstückes 8 verschiedene Manipulationen vorzunehmen, beispielsweise in verschiedene öffnungen des

Werkstückes 3 einzusetzen.

Die Lage in x-Rkhtung ergibt sich in beschriebener Weise aus dem Zeitabstand der Fernsehzeilen Zi und Z₂ von der Anfangsmarke 14 (F i g. 2\
In Fig.4 ist ein Blockschaltbild des Sensorsystems dargestellt Das von einer Fernsehkamera 15 erfaßte Bild wird in einer Impulstrennstafe 16 in das Videosignal und die Zeilenimpulse zeriegt Das Videosignal dient zur Ansteuerung einer Triggerstufe 17 für Schwarzweiß-Obergänge des Bildes und zur Ansteuerung einer

Triggerstufe 18 für Weißschwarz-Obergänge des abgetasteten Bildes. Diese Stufen steuern über eine Start-Stop-Schaltung 19 die Zählhnpulse, die von einem HF-Oszillator 20 in einen Zähler 21 eingegeben werden.

Die Zählergebnisse werden für jede Zeile bei der angegebenen Stellung des Schalters 22 in den Istwertspeicher 23 eingegeben. Die gewünschte Fernsehzeilen werden nach der Impulstrennstufe 16 über einen Zeilenzähler 24 und einen Zeilendekodierer 25, der zur Auswahl der gewünschten Zeilen dient, in einem Zeilenspeicher 26 gespeichert. Über eine Koinzidenzschaltung 27 werden dem aus der Steuereinheit 28, dem programmierbarem Festwertspeicher 29 und der Ein-Ausgabelogik (Entscheidungsstufe) 30 bestehenden Microprocessor Steuerbefehle zugeführt Dieser Microprocessor steuert seinerseits nach Maßgabe des flexiblen und programmierbaren Festwertspeichers 29

den Meßvorgang und trifft in der Ein-Ausgabelogik durch Vergleich der Inhalte des Istwert- und Sollwertspeichers die Entscheidung auf die Lageklasse. Die Position des Werkstückes ist für eine bestimmte Zeile im Istwertspeicher 23 festgehalten, woraus in einer Schaltung 33 beispielsweise die Position des Schwerpunktes ermittelt werden kann. Zur Programmierung des Sensorsystems wird das Bild der Fernsehkamera 15 auf dem Monitor 31 beobachtet, die gewünschte Zeile mit dem Zeilenzähler 24 eingestellt, und die Sollwerte der Werkstöckabmessungen nach Umschalten des Schalters 22 in den Sollwertspeicher 32 eingegeben.

Hierzu 4 Blatt Zeichnungen

Claims

Patentansprüche:

1. Einrichtung zur Bestimmung der Lageart, Orientierung und Position eines Objektes, z. B. eines Werkstückes oder Werkzeuges, dessen Auflagemöglichkeiten bekannt sind, für die Steuerung von automatischen Handhabungssystemen mittels Abtastung des Objektes mit Hilfe einer Fernsehkamera, dadurch gekennzeichnet, daß in einer Programmierphase aus der Objektgeometrie durch Abtastung des Objektes mit einigen, wenigen — elektronisch über Wahlschalter, Zeilenzähler (24) und Zeilendekodierer (25) — ausgewählten und auf die signifikanten Stellen des Objektes eingestellten Zeilen der Fernsehkamera (15) Streckenabschnitte is ermittelt und in einem Speicher (23) gespeichert werden und in der Meßphase von dem zu bestimmenden Objekt von den gleichen Zeilen Streckenabschnitte ermittelt werden und diese mit den in der Programmierphase ermittelten Streckenabschnitten in der Auswerteschaltung (28—30) korreliert werden und dadurch die Lageart, Orientierung und Position des Objektes ermittelt wird.

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Streckenabschnitte als Zählimpulse in einem Zähler (21) erfaßt werden, wobei die Zahl der Zählimpulse die Abstände des Objektes von einer Bezugsmarke, Winkel von Objektkanten oder Abmessungen von Außen- oder Innenkonturen des Objektes sein können.

3. Einrichtung nach Anspruch 1 und 2, dadurch gekennzeichnet, daß der Ablauf der Programmier- und Meßphase von der Auswerteschaltung (28—30) gesteuert wird, die mittels austauschbarer Festwertspeicher programmiert ist

4. Einrichtung nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß die Programmier- und Meßphase sowie die elektronische Korrelation von einem Mikroprozessor gesteuert und durchgeführt wird. to

5. Einrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß von der Fernsehkamera die Objekte im Durchlicht erfaßt werden.

6. Einrichtung nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß von der Fernsehkamera die Objekte im Auflicht erfaßt werden.

7. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Objektlage aus dem Auftreten der Maximalintensität des Videosignals beim Glanzwinkel bestimmt wird.