Mikro-Forum

Foren => Mikrofoto-Forum => Thema gestartet von: sushidelic in Januar 19, 2018, 21:31:25 NACHMITTAGS

Titel: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: sushidelic in Januar 19, 2018, 21:31:25 NACHMITTAGS
Hallo,

heute möchte ich Euch die ersten Testergebnisse aus einer Kollaboration von Bernd (Bernd552) und mir zeigen. Bernd hat mir 49 Einzelaufnahmen einer Kieselalge aus verschiedenen Winkeln erstellt, aus denen ich mittels Photogrammetrie ein 3D-Modell erzeugt habe.
Ich muss noch die elektronische Linse des REM auf eine "optische" Linse umrechnen (Brennweite und Filmgate/Sensorgrösse), um bessere Ergebnisse zu erhalten, auch machen die starken Helligkeitsunterschiede bei verschiedenen Winkeln der Software zu schaffen. Aber auf jeden Fall ist es eine spannende Sache, und da kommt sicher noch mehr.

Hier ein paar von Bernds Rohbildern (stark verkleinert, die Originale hatten eine Auflösung von 3072x3072 Pixeln im Bildteil):

(https://www.mikroskopie-forum.de/pictures009/227261_44419000.jpg)
(https://www.mikroskopie-forum.de/pictures009/227261_52697953.jpg)
(https://www.mikroskopie-forum.de/pictures009/227261_22597652.jpg)
(https://www.mikroskopie-forum.de/pictures009/227261_10261382.jpg)

Das aus den Einzelbildern erstellte OBJ-Modell wurde in 3D Studio Max importiert, bereinigt, texturiert und als Kamerafahrt gerendert, hier ein paar Einzelbilder und darunter der Link zur kompletten Animation (12MB)

(https://www.mikroskopie-forum.de/pictures009/227261_59109011.jpg)
(https://www.mikroskopie-forum.de/pictures009/227261_42659827.jpg)
(https://www.mikroskopie-forum.de/pictures009/227261_40644060.jpg)
(https://www.mikroskopie-forum.de/pictures009/227261_17043416.jpg)

Hier die Animation:
https://owncloud.celluloid-vfx.com/index.php/s/KYnRGzsKlxbteUy (https://owncloud.celluloid-vfx.com/index.php/s/KYnRGzsKlxbteUy)

Viel Spass beim Betrachten!
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: anne in Januar 20, 2018, 13:08:54 NACHMITTAGS
Hallo,
das ist das Schöne an diesem Forum, dass hier solch wunderbare Kooperationen von Fachleuten entstehen.
Vielen Dank für diese tolle Animation.
lg
anne
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: RainerTeubner in Januar 20, 2018, 14:07:53 NACHMITTAGS
Hallo,

die Animation ist wunderschön!

Viele Grüße

Rainer
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: KlausB in Januar 20, 2018, 17:48:39 NACHMITTAGS
Finde die Animation wirklich toll.

Viele Grüße
Klaus
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Bob in Januar 20, 2018, 22:42:34 NACHMITTAGS
Hallo Michael,

unverschämt, sowas hatte ich auch vor!
Die Animation ist wirklich sehr schön geworden. Hast Du da "einfach" die 49 Bilder hintereinandergehängt, oder hast Du einen Software-Trick angewendet, um die Bewegung glatter ablaufen zu lassen?

Viele Grüße,

Bob
 
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Rawfoto in Januar 21, 2018, 07:28:22 VORMITTAG
Hallo Michael

Toller Ansatz, die Überschrift hat bei mir jedoch eine andere Erwartung geweckt. Wobei ich denke dazu müsste die Zahl der Einzelbilder noch einmal erhöht werden (die kommt aber erst im Text).

Du hast in mir den Wunsch erweckt eine 360 Gradansichtsmöglichkeit sehen zu können.

Habe so etwas z.B. Von meinem Kiefer zu sehen bekommen. Die Daten waren die eines Panoramascanns.

Dabei wird die Aufnahmeposition mit Linien entlang der Kugeloberfläche geführt.

Du fährst da derzeit einen Teil so einer Aufnahmebahn ab, zumindest interpretiere ich das so in der Ansicht.

Absolut spannendes Thema hinter dem Ihr beiden da gerade her seid👌

Liebe Grüsse

Gerhard
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Bob in Januar 21, 2018, 19:47:36 NACHMITTAGS
Hallo zusammen,

gerade Diatomeen sind manchmal so spannend geformt, dass man ihre Form am einfachsten verstehen und bewundern könnte, wenn man sie in so einem Film rotieren sieht. Ein Problem auf diesem Weg ist die Tiefenschärfe des Lichtmikroskops, man müsste umfangreiche Stacks pro Bild machen. Dieses Problem schafft einem das REM vom Hals. Das zweite Problem ist, dass man für eine flüssige rundum-Rotation ein REM bräuchte, das sowas kann. Das REM unserer Gruppe kann gar nicht rotieren. Das REM der Biologen der Uni Hamburg kann rotieren, man ist aber wohl auf einen schwächer auflösenden Kanal beschränkt, reicht aber vermutlich aus. Eine zu lösende Aufgabe wäre noch das mittige und symmetrische Anbringen der Probe auf dem REM-Teller. Hier war meine Idee, entsprechende REM-Teller mit einem zentralen Dorn zu drehen. Das letzte Hindernis sehe ich in der Anzahl der Bilder, die für einen flüssigen 360°-Umlauf nötig sind. Gerade, wenn man das REM nicht selbst bedient, ist es sicherlich nicht weise, 0,1°-Schritte festzulegen. 8)
Hier könnte Software Abhilfe schaffen. Es gibt Software, die aus in normalem Tempo gedrehten Filmen ruckfreie Zeitlupen-Aufnahmen macht. Das sollte hier auch funktionieren. Würde man alle 5° eine Aufnahme machen, käme man auf 72 Bilder. Bei 30 Bildern pro Sekunde wäre die Umdrehung schnell zuende. Da würde eine Zeitlupen-Software helfen. Die guten Programme sind aber auch nicht billig, und man muss auch damit umgehen können.
Mal sehen, wann ich dazu komme, das weiter zu verfolgen. ::)

Viele Grüße,

Bob
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Päule Heck in Januar 22, 2018, 09:24:49 VORMITTAG
Zitat von: anne in Januar 20, 2018, 13:08:54 NACHMITTAGS
Hallo,
das ist das Schöne an diesem Forum, dass hier solch wunderbare Kooperationen von Fachleuten entstehen.
Vielen Dank für diese tolle Animation.
lg
anne

Dem kann ich mich nur anschließen. Ein toller "Dreh", der Appetit auf mehr macht  :D
Herzliche Grüße
Päule
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Heribert Cypionka in Januar 22, 2018, 15:25:08 NACHMITTAGS
Wirklich beeindruckend, was aus den so verschieden ausgeleuchteten Bildern gezaubert wurde. Da steckt viel Arbeit und know how drin!
Ich möchte noch ergänzend darauf hinweisen, dass man dem Lichtmikroskop und kostenfreier Software bei geeigneten Objekten aus 33 Aufnahmen eine Vollrotation durchaus in 10 Minuten hinbekommen kann: http://www.picolay.icbm.de/forum/picolay-abc.mp4 (http://www.picolay.icbm.de/forum/picolay-abc.mp4) (ungefähr bei 2 1/2 Minuten...)

Liebe Grüße
Heribert Cypionka
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: sushidelic in Januar 22, 2018, 16:21:55 NACHMITTAGS
Hallo und danke an alle für das Interesse und die Antworten!

Ich versuche mal so "global" wie möglich zu antworten und noch etwas besser zu erklären, wie das ganze funktioniert.
Es wäre mit dem REM und geeigneter Software sicher möglich, die Kieselalge in wirklich kleinen Winkeln sukzessive Abzulichten (abzuelektronen :) ), und diese Sequenz dann als Film abzuspielen. Damit wäre man dann aber limitiert auf die Perspektiven aus den Aufnahmen, und würde die Räumlichkeit zwar deutlich besser verstehen, hätte sie aber nicht "im Rechner". Was man in der Animation sieht, ist ein wirkliches 3D CAD / Drahtgittermodell, das man theoretisch auch mit dem 3D-Drucker ausdrucken könnte. Bei diesem ersten Versuch ist das noch nicht wirklich möglich, da leider meine Rekonstruktionssoftware die Rückseite der Diatomee nicht "verstanden" hat, und ich dementsprechend nur die Oberseite rekonstruieren konnte, also nur eine Oberfläche und kein Volumen erhalten habe. Unser Ziel ist eigentlich, es zu schaffen, "wasserdichte" 3D-Modelle aus REM-Bildern zu errechnen, die dann logischerweise auch von allen Seiten anschaubar wären.
Diesen Test hier kann man auch von allen Seiten anschauen, nur gibt es eindeutig eine Schokoladenseite :).
Wenn ich die elektronische Optik noch besser kalibriert bekomme, verbessert sich hoffentlich auch das Ergebnis, und das faszinierende daran ist, das man dann am 3D-Modell der Diatomee auch fast forensische Messungen vornehmen könnte. Falls das also mal gut funktionieren sollte, könnte das ganz vielleicht sogar wissenschaftlich interessant sein.
Der ganze Ansatz hat tatsächlich Ähnlichkeiten, wie es Herbert in seinem (tollen!) Picolay - Video zeigt, nur ist die dahinterliegende Methodik eine ganz andere.

Hier mal ein Screenshot aus der Oberfläche von Agisoft (der Fotogrammetrie - Software).
Unten sieht man die Einzelbilder, mit denen das Programm gefüttert wurde, und erkannt wurden leider nur die mit den grünen Haken.

(https://www.mikroskopie-forum.de/pictures009/227469_23264094.jpg)


Hier ein Bild aus einem vorherigen Schritt.
Man sieht unten klein die grobe Punktwolke der Kieselalge, und die lila Rechtecke stellen die errechneten Kameraperspektiven des REMs dar.

(https://www.mikroskopie-forum.de/pictures009/227469_14303791.jpg)


Diese erste grobe Punktwolke der Diatomee sieht näher betrachtet so aus:

(https://www.mikroskopie-forum.de/pictures009/227469_49584532.jpg)


Diese erste grobe Punktwolke (sparse cloud) wird dann verwendet, um in einer weiteren Iteration aus der vollen Information der Bilder eine genauere Punktwolke (dense cloud) zu berechnen, das sieht in diesem Fall dann so aus:

(https://www.mikroskopie-forum.de/pictures009/227469_19699911.jpg)


Aus diese Punktwolke kann man dann ein Drahtgittermodell berechnen:

(https://www.mikroskopie-forum.de/pictures009/227469_2389992.jpg)


Und eine aus den verschiedenen Aufnahmen zusammengestückelte Textur draufbacken:

(https://www.mikroskopie-forum.de/pictures009/227469_30880833.jpg)


Dieses Modell kann ich dann exportieren, und in einer 3D-Software, hier 3D Studio MAX, beliebig im Raum platzieren, Licht, Oberflächen, Kamerafahrten nach Gusto editieren, mittels Raytracing rendern und das ganze dann als Filmchen ausgeben.

(https://www.mikroskopie-forum.de/pictures009/227469_58154627.jpg)

Beste Grüße, Michael

PS: Bei mir ist gerade beruflich viel los, ich versuche aber trotzdem, regegelmässig hier im Forum mitzuwirken!
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Janosch Boerckel in Mai 06, 2020, 09:09:56 VORMITTAG
Hallo Michael,

ich bin Student an der Hochschule für bildende Künste Hamburg und arbeite momentan an meiner Masterarbeit.
Während einer Recherche bin ich auf dieses Forum und deinen Beitrag gestoßen. Wenn man REM und Fotogrammetrie googlet kommt man ziemlich schnell darauf.
Ich habe vor ein Bärtierchen (Tardigrada) zu fotogrammetrien, ebenfalls mit der Hilfe eines REM`s, zuvor habe ich im heimisch Studio ein paar Testaufnahmen gemacht.
Die Besonderheit bei der Fotogrammetrie ist es in diesem Falle das Objekt zu rotieren und nicht wie üblich bei dem Verfahren das Aufnahmegerät um das Objekt herum.
Diese Besonderheit löst einige Probleme aus, wie du selbst schon im Beitrag erwähnt hattest. Bei meinem Test sind ebenfalls nur die Aufnahmen von Agisoft registriert worden,
die von "oben" fotografiert worden sind.

Hattest du seit dem eine Lösung für diesen Phänomen gefunden? Du würdest mir dabei sehr weiterhelfen. Das Tardigrada möchte ich anschließend in vergrößerten Maßstab per 3D-Druck printen. Freue mich über Ideen vom Forum!

Ich freue mich über deine Rückmeldung.

Beste Grüße

Janosch
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: mikropit in Mai 06, 2020, 11:02:07 VORMITTAG
Sehr, sehr schön was Ihr da produziert habt!!!!!!!!!
Nachdem solche Techniken für mich und viele Andere nicht machbar sind, dürfen wir halt geniessen und noch auf mehr hoffen.
Vielen Dank dafür

Peter -mikropit
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: witweb in Mai 06, 2020, 11:51:15 VORMITTAG
Wahnsinn. ich bin begeistert!
Viele Grüße
Michael
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: wilfried48 in Mai 06, 2020, 13:06:36 NACHMITTAGS
Hallo,

mir gefallen im Moment noch die Originalbilder aus den verschiedenen Winkeln deutlich besser.

Da das REM das Bildsignal nur aus der Oberfläche der Diatomee kommt, ist es nahezu unmöglich die Struktur aus Richtungen
die das REM nicht gesehen hat zu errechnen.

Hier hat das Lichtmikroskop bei durchsichtigen Objekten Vorteile insbesondere das Konfokale Laser-Rastermikroskop ist hier gut, da es immer nur ein Volumenelement (Voxel) scharf abbildet, natürlich nur solange die Auflösung vom REM nicht gebraucht wird.

Aber wie wäre es, wenn unsere Diatomeenleger mal eine Diatomee auf einer feinen Nadelspitze seitlich ankleben ?
Dann könnte man sie frei um 360° rotieren. Und wenn man sie dann in den goniometrischen Punkt des REM Probenhalters brächte ein Computertomogramm im REM automatisch aufnehmen. Dafür gibt es meines Wissens für die REMs auch schon eine kommerzielle Software.

viele Grüsse
Wilfried
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: bernd552 in Mai 06, 2020, 18:11:16 NACHMITTAGS
Hallo Janosch,

Michael ist auf dem Gebiet der Photogrametrie ein Experte, deshalb habe ich ihn die REM- Bilder verrechnen lassen und diese danach beurteilt.
Ich habe das Projekt abgebrochen, da ich noch keine Photogrametriesoftware gefunden und gesehen habe, die Details oder Haare / Borsten wiedergeben kann.
Wenn du "rundere" 3D Objekte mit wenig Details hast (solche werden immer präsentiert) dann sind die Ergebnisse halbwegs akzeptabel. Bärtierchen sollten grundlegend funktionieren, so lange du auf die Haare und evtl. die Krallen verzichten kannst.

Gerechnete Objekte mit Textur täuschen immer ein besseres Ergebnis vor, wenn du einen 3D Druck ohne Textur siehst oder renderst, dann weißt du was ich meine.


Hallo Wilfried,

ich nehme an, du meinst Mikro-Röntgenstrahl-Tomografie im REM (Röntengenstrahlung wird mit dem E-Beam erzeugt), wo einzelne Schichten / Ebenen aufgenommen und dann verrechnet werden?
Diese Technik ergibt eine wirklich sehr hohe Detailauflösung.

LG
Bernd

Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Carsten Wieczorrek in Mai 06, 2020, 19:32:41 NACHMITTAGS
Hallo,
wann fangt Ihr denn an, die zu drucken? 😁
Bären gibt es ja schon...
Carsten
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: Janosch Boerckel in Mai 06, 2020, 19:42:20 NACHMITTAGS
@bernd
vielen Dank für deine Rückmeldung. Ich dachte mir schon, das es mit den Details schwer wird. Ich hoffe die Masse an Bildern und die Auflösung von 4000px Kantenlänge wird der Detailtreue  trotz allem ein wenig zu gute kommen. Ja Texturen täuschen sehr die Wahrnehmung diese sind spätesten im 3D-Druck verschwunden. Auf die Krallen möchte ich jedoch nicht verzichten.
Es kommt bei der Komplexität der Form sehr auf die Art des Bärtierchen an immerhin gibt es mehrer Hundert Arten.

@Carsten
Die Bären werden hoffentlich noch diesen Sommer in den Druck gehen und werden Anschließend in einer Installation im Kunst und Kulturkontext gezeigt.
Natürlich kann man sie als Skulptur in einer bestimmen Edition erwerben. Wahrscheinlich werde ich in diesem Forum Ergebnisse gewisser digitaler wie auch analoger Form präsentieren.

Janosch
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: liftboy in Mai 06, 2020, 20:34:50 NACHMITTAGS
Hallo Janosch,

Bären sind gut, aber bitte nicht mit Tigerente :-)

Wolfgang
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: wilfried48 in Mai 06, 2020, 23:23:50 NACHMITTAGS
Zitat von: bernd552 in Mai 06, 2020, 18:11:16 NACHMITTAGS

Hallo Wilfried,

ich nehme an, du meinst Mikro-Röntgenstrahl-Tomografie im REM (Röntengenstrahlung wird mit dem E-Beam erzeugt), wo einzelne Schichten / Ebenen aufgenommen und dann verrechnet werden?
Diese Technik ergibt eine wirklich sehr hohe Detailauflösung.

LG
Bernd

Hallo Bernd,
nein das meine ich nicht, das ist ja auflösungsmässig nicht so berückend weil es ja nur optiklose Röntgenschattenmikroskopie ist. Dafür bibt es heute Röntentomografen mit Zonenlinsen-Röntgenoptik und sub 100nm Auflösung.

Vielleicht ist das Wort Tomografie, bei dem was ich meinte auch nicht das richtige Wort, weil mit Elektronen ja keine Schnitte
gemacht werden können.
Ich meinte die Diatomee seitlich an eine feine Spitze (die z.B. mit Gummiarabicum beschichtet ist) anzukleben und dann während der Aufnahmen im REM die Nadel um die Längsachse um 360° zu rotieren.

viele Grüsse
Wilfried
Titel: Re: 3D-Rekonstruktion einer Kieselalge aus multiplen REM-Perspektiven
Beitrag von: bernd552 in Mai 07, 2020, 12:31:13 NACHMITTAGS
Zitat von: wilfried48 in Mai 06, 2020, 23:23:50 NACHMITTAGS

Ich meinte die Diatomee seitlich an eine feine Spitze (die z.B. mit Gummiarabicum beschichtet ist) anzukleben und dann während der Aufnahmen im REM die Nadel um die Längsachse um 360° zu rotieren.

Hallo Wilfried,

ok, jetzt weiß ich was du meinst, die Ansicht von unten mit erfassen.
Ich dachte schon, es wäre bei der sich derzeit rasant entwickelnder Technik in diesem (mich stark interessierenden) Bereich, ein neues Verfahren "an mir vorbei gegangen" ;)

LG
Bernd