Multimodale Koregistrierung an einem Standardmikroskop

[Ramon]

Hallo zusammen,

ich entwickle seit einiger Zeit einen einfachen Aufsatz für gewöhnliche Durchlichtmikroskope, der das Licht mittels frustrierter Totalreflexion (FrTIR) in den Objektträger einkoppelt — ich nenne es hier einfach das FrTIR-Gerät. Es beleuchtet das Präparat unter einem echten streifenden Winkel (nur wenige Grad zur Präparatebene) statt wie üblich von unten.

Zeigen möchte ich hier nicht das Gerät selbst, sondern eine Eigenschaft, die mich überrascht hat — ich würde sie multimodale Koregistrierung nennen: Da sich überhaupt nichts bewegt — Objektträger, Tisch und Objektiv bleiben fest, und ich schalte lediglich von einer Beleuchtung zur anderen um — kann ich dasselbe Bildfeld, durch dasselbe Objektiv, in drei verschiedenen Kontrastarten aufnehmen, die von Natur aus deckungsgleich (koregistriert) sind, Pixel für Pixel, ohne erneuten Ausrichtungsschritt.



Die drei Kanäle sind:

Hellfeld (Absorption) — die normale Durchlichtbeleuchtung des Mikroskops.
Streifendes Weißlicht (Streuung) — das FrTIR-Gerät mit weißen LEDs; ein dunkelfeldartiges Bild, aber aus streifendem Einfall.
Streifende Fluoreszenz (Emission) — das FrTIR-Gerät mit Violett–UV-LEDs (~395–405 nm) plus einem gelben Langpass-Sperrfilter (~500 nm), sodass nur die Stokes-verschobene Emission das Objektiv erreicht.

Das Beispiel unten ist ein botanisches Fertigpräparat — ein Farn-Sporangium (die sporentragende Kapsel, mit dem Ring der Anulus-Zellen), Safranin-gefärbt, 10×-Objektiv, Moticam 10MP. Von links nach rechts: Hellfeld, streifendes Weißlicht, streifendes Violett + Filter. Man beachte, wie dasselbe Sporangium und dieselben Anulus-Zellen in allen drei Bildern wiederkehren — genau darum geht es: Die drei Modi überlagern sich exakt, weil es dasselbe Bildfeld ist, sodass sie zusammen eine multimodale, koregistrierte Ansicht des Präparats ergeben.



Ein weiteres, auf die gleiche Weise untersuchtes Präparat ist ein Querschnitt eines Winterjasmin-Blattes. In diesem Fall ist das Anregungslicht blau.


Über eure Gedanken und Kritik — auch die skeptische — würde ich mich freuen.

Viele Grüße
Ramon

[Michael L.]

Moin, Moin,

gibt es jetzt Aprilscherze auch im Hochsommer? 😆

Fluoreszierende Grüße

Michael

[reblaus]

Hallo -

besteht bei diesem Flachwinkel-Durchlicht-System ein Unterschied zur Verwendung von Epi-HD-Objektiven, bei denen ebenfalls Durchlicht und Dunkelfeld-Auflicht mit sehr flachem Einstrahlwinkel (allerdings von oben) möglich ist?
Der Hauptvorteil deiner Einrichtung ist, dass sie für geübte Bastler wesentlich billiger ist.

Gruß

Rolf

[Aljoscha]

Ich frage mich, warum die Totalreflexion so frustriert ist.

[Ramon]

Hi Michael,

first, an apology — I am afraid I do not speak German, so I hope you do not mind me replying in English.

And no April Fools', promise   — I was skeptical myself at first.

The setup really is simple: LED light runs through a plastic/glass collector by total internal reflection, and a thin film of index-matched immersion oil (n ≈ 1.5) between the collector and the slide frustrates that TIR — so the light crosses into the slide and lights the specimen at a grazing angle. The key is that nothing moves between the three shots — only the light source is switched — which is why brightfield, scattering and fluorescence are pixel-perfectly aligned.

The fluorescence is what draws the most doubt, so let me start with the cleanest test I have. I imaged a pure chlorophyll extract (images below): green under white light, deep red under violet excitation + filter, and a matched alcohol-only blank stayed dark — so the red requires the chlorophyll, i.e. it is genuine fluorescence.


Chlorophyll extract, same field. Left: white light — the extract scatters green (chlorophyll is green). Middle: violet (~400 nm) + 500 nm filter — the same field emits deep red (~680 nm). Right: matched alcohol-only blank — dark. A green substance cannot reflect or scatter red, and the blank stays dark, so the red can only be Stokes-shifted fluorescence.

Find a short controlled write-up in the link:

https://drive.google.com/file/d/1Bt7OBpM8UmHdlkHUc4va9wCL74yyQ3SA/view?usp=sharing

And I am not the only one who has looked at this. A fellow microscopist — Pau, from the Photomacrography community — took the very same fern slide and imaged it on a proper research fluorescence microscope: a Leitz 16×/0.40 NPL Fluotar with real epifluorescence cubes (matched excitation, beamsplitter and emission filters) and a Zeiss darkfield condenser, six technique combinations on the same field. He could not reproduce my exact colours — different excitation/emission bands give different hues — but his conclusion was unambiguous: genuine fluorescence of the cell-wall components (cutin, cellulose) and chlorophyll or its derivatives, possibly the stain too. So the phenomenon is confirmed on a research fluorescence microscope; the FrTIR add-on simply makes it accessible on a standard one.


Pau's independent test on a research fluorescence microscope (Leitz 16×/0.40): the same fern field in six excitation/filter combinations, all showing genuine fluorescence of the cell-wall components. The emission colour depends on the barrier filter, not the specimen.

You can find Pau´s Fern leaf test in the following link:

https://drive.google.com/file/d/1gnmHrEr31W6ndgvTaWAV-ckj8ddMNqvi/view?usp=sharing

On my own rig, a simple no-filter test makes the same point directly on tissue. Winter jasmine, blue excitation (images below): without the filter the blue light floods the whole field; with the Thorlabs 500 nm hard-coated long-pass the background collapses and only the structured green emission of the cell walls remains. The fern images in my post use violet (~400 nm) excitation rather than blue — even further from the 500 nm cut-on, so the background is darker still.


Winter jasmine, cross-section, blue LED excitation — the same field, twice. Left: no barrier filter — scattered blue excitation floods the whole field. Right: with the Thorlabs 500 nm hard-coated long-pass — the scattered blue is blocked, the background collapses to dark, and only the structured green emission of the cell walls survives. A green that remains once the blue is filtered out can only be Stokes-shifted emission — genuine fluorescence, not scattered excitation.

For the wider picture of the method, there is a fuller technical overview here:

https://drive.google.com/file/d/1odlmWJy3f9dA-G-MNDF1EIwP7qsd7qhj/view?usp=sharing

Since you have a lot of experience with fluorescence and darkfield on the Polyvar and Jenamed, I would genuinely value your critical take — and honestly, on your optics this would look far better than on my rig. What control would convince you?

Fluorescent greetings back

Ramon

[Ramon]

Hello Rolf,

Good question — and yes, there is a real difference. It comes down to the angle of incidence: FrTIR reaches true grazing (down to ~0° from the specimen plane, up to ~47.5°), while Epi-HD — like air-coupled reflected and darkfield systems generally — reaches a shallow oblique angle but never truly grazing. You're right that Epi-HD gives reflected dark-field at a shallow angle, and that it's the more expensive route; but that shallow-versus-grazing gap is exactly where the two part ways.

Why FrTIR can graze where an air-coupled objective can't differs between transparent and opaque work:

Transparent specimens (like the fern you saw): to graze a slide-mounted specimen from an air-based source, the light must cross the air→glass boundary — and as the angle nears grazing, Fresnel reflection there rises toward total, so the light is turned away (reflected) before it reaches the specimen. FrTIR couples into the slide with immersion oil (n ≈ 1.5), removing that boundary, so it can skim the specimen inside the mountant.

Opaque specimens (your Epi-HD's shallow-angle domain): here there's no glass — the light travels through air onto the surface, and the limit is geometric. A reflected-darkfield objective delivers its oblique light through the collar around the objective, which reaches oblique but not truly grazing. FrTIR's disc sits flat on the surface (oil-coupled) and injects light by frustrated TIR at true grazing. On metals this reveals grain-orientation contrast — here is C10 steel (normalized, ferrite–pearlite) both ways




conventional reflected metallography (left) vs FrTIR (right), where each grain's crystallographic tilt reflects the grazing light differently into the objective (directional reflectance, grain mapping that usually needs polarized or interference contrast).

Full write-up:  https://drive.google.com/file/d/1I4so0t1O9-_k6JhrxoHSDkIl6DmkBbvI/view?usp=sharing

And a third mode, Fluorescence: because the guided excitation stays trapped below the coverslip, a single long-pass filter — no filter cube — turns the same setup into a label-free autofluorescence mode.

And yes, as you say: it runs on any standard biological microscope with ordinary objectives, so for an experienced hobbyist it reaches this kind of contrast at a fraction of the cost of dedicated Epi-HD optics.

Regards,

Ramon

[Werner]

Was er meint ist mir noch unklar.

Es gibt wohl eine Art erzwungener Tatalreflexion in DLP-Video-Projektoren (Mikrospiegel), das funktioniert mit telezentrischer Optik (Parallelstrahlen); habe ich noch nicht verstanden.
https://de.wikipedia.org/wiki/Digital_Light_Processing#Digital_Micromirror_Device
Das Prisma habe ich als PDF (wie PDF einfügen??)

Vielleicht meint er "Evanescent Wave Scattering"

Gruß - Werner

[Ramon]

Hi Werner,

First, your practical question — to attach a PDF, expand "Anhänge und weitere Optionen" below the message box and add it there, just like an image.

thanks for digging into it — the name "frustrated TIR" does invite the evanescent picture, so let me clarify.

The FrTIR (Frustrated Total Internal Reflection) device is a disc-shaped acrylic/glass collector fitted with 8 SMD LEDs around its perimeter. Light from the LEDs enters the collector and propagates by Total Internal Reflection (TIR) toward the specimen-facing surface (geometric center). A thin film of immersion oil (n ≈ 1.5), identical in refractive index to the acrylic/glass, is applied between the collector and the specimen. This optical continuum frustrates the TIR condition: the whole guided beam, no longer reflected back into the collector, passes straight through the index-matched interface onward to the specimen surface.

The result is that light reaches the specimen at illumination angles ranging from approximately 0° to 47.5° relative to the specimen plane — true grazing-angle incidence — without the Fresnel reflection losses that limit conventional darkfield and oblique systems. From an optical standpoint, the oil creates a single continuous medium from the light sources to the specimen surface, so no refraction or interface loss occurs along the light path.

The device runs in two arrangements (see the sketch):



Figure. In the ray trace diagrams, for clarity, only one of the 8 available LEDs is active

Mode 1 (opaque specimens): the collector sits on top of the sample, oil-coupled to its surface, and the objective looks down through the disc's centre; the grazing light reflects off the surface — grain facets, thin films — into the objective (this is the metals work).

Mode 2 (transparent specimens): the collector sits below the slide, oil-coupled to it; the grazing light crosses up into the slide and skims a transparent section from below (this is the fern).

Either way it's a real, propagating beam at grazing incidence — not an evanescent field, and not tunneling across a gap. So it isn't "evanescent wave scattering" (that's the TIRF near-field). The DLP TIR prism is a cousin but does the opposite: it uses TIR to steer light onto the micromirrors; here we defeat TIR to let the grazing light out onto the specimen.

You can find more information in the following link: https://drive.google.com/file/d/1odlmWJy3f9dA-G-MNDF1EIwP7qsd7qhj/view?usp=sharing

I will be happy to clarify any doubt.

For transparency: there's a patent application on the device — I mention it only so the IP status is clear, not because anything's for sale. Forum admins where notified. I'm here to learn from your criticism and improve it, nothing more. Tough questions very welcome.

Regards,
Ramon

[Sourdough]

Da ich mir auf Englisch zwar eine Pizza bestellen kann, aber ansonsten doch etwas öfter mal ein Wörterbuch oder einen guten Freund fragen muss, habe ich meinen KI-Freund um eine Übersetzung des Titels von Ramons Paper gebeten.

Hier we go: "Echte streifende Beleuchtung durch verhinderte Totalreflexion"
Der in Titel des Threads genannte Begriff ,,Multimodale Koregistrierung" ist wohl auch ein üblicher. Er bezeichnet das passgenaue übereinanderlegen von Bilders einer Sache, die mit unterschiedlichen Methoden (Modi) aufgenommen wurden, und das kann man, wenn man's kann, mit ImageJ machen.

Alle, die es schon gewußt haben, Tschuldigung, ich bin das etwas hinterher. Dass das kein Aprilscherz ist, war mir aber schon klar.

Super Beitrag von Ramon!

[Jürgen Boschert]

Hallo zusammen,

in der medizinischen Bildgebung gibt es das schon ca. 20 Jahren, heißt dort Image Fusion. Es können CT, (f)MRT, Röntgenaufnahmen, Angiographien, Ultraschall un weitere b.B. deckungsgleich übereinandergelegt werden.

[Lupus]

Hello Ramon,

I'm a bit sceptical about the fluorescence, at least in the case of the winter jasmine. One question is the wavelength of the excitation light. Is the blue wavelength around 463 nm? What dyes have been used to colour the plant cutting?

Hubert

[Ramon]

Da ich mir auf Englisch zwar eine Pizza bestellen kann, aber ansonsten doch etwas öfter mal ein Wörterbuch oder einen guten Freund fragen muss, habe ich meinen KI-Freund um eine Übersetzung des Titels von Ramons Paper gebeten.

Hier we go: "Echte streifende Beleuchtung durch verhinderte Totalreflexion"
Der in Titel des Threads genannte Begriff ,,Multimodale Koregistrierung" ist wohl auch ein üblicher. Er bezeichnet das passgenaue übereinanderlegen von Bilders einer Sache, die mit unterschiedlichen Methoden (Modi) aufgenommen wurden, und das kann man, wenn man's kann, mit ImageJ machen.

Alle, die es schon gewußt haben, Tschuldigung, ich bin das etwas hinterher. Dass das kein Aprilscherz ist, war mir aber schon klar.

Super Beitrag von Ramon!

Original in english AI translated

Vielen Dank, und Hut ab für die Übersetzung — ,,Echte streifende Beleuchtung durch verhinderte Totalreflexion" trifft den Kern genau. (Und keine Sorge wegen des Englischen: mein Deutsch reicht auch gerade so für die Pizza, den Rest erledigt bei mir ebenfalls ein KI-Freund. 😉)
Ein schöner Zusatz zu deiner Bemerkung über ImageJ: Du hast völlig recht, dass man Bilder aus verschiedenen Modi normalerweise nachträglich passgenau übereinanderlegen muss. Das Besondere beim FrTIR-Aufsatz ist, dass diese Koregistrierung quasi schon ,,eingebaut" ist — Absorption (Hellfeld), Streuung/Reflexion und Fluoreszenz entstehen alle durch dasselbe Objektiv, im selben Bildfeld, ohne die Probe zu bewegen. Die Modi sind also von Natur aus weitgehend deckungsgleich; der ImageJ-Schritt entfällt meist oder wird zur reinen Feinkorrektur.
Und nein, kein Aprilscherz. 🙂 Danke fürs freundliche Wort — das motiviert wirklich!

[Ramon]

Hallo zusammen,

in der medizinischen Bildgebung gibt es das schon ca. 20 Jahren, heißt dort Image Fusion. Es können CT, (f)MRT, Röntgenaufnahmen, Angiographien, Ultraschall un weitere b.B. deckungsgleich übereinandergelegt werden.

Hallo Jürgen, (translation from english original)

danke für den Hinweis — der Vergleich ist absolut treffend. Die ,,Image Fusion" ist in der medizinischen Bildgebung tatsächlich seit rund zwei Jahrzehnten etabliert, und das Ziel ist dasselbe: Aufnahmen unterschiedlicher Modalitäten deckungsgleich übereinanderzulegen.
Der interessante Unterschied liegt darin, wie die Deckungsgleichheit zustande kommt. In der Radiologie stammen CT, (f)MRT, Ultraschall usw. aus verschiedenen Geräten und Zeitpunkten, sodass die Bilder nachträglich per Software (Landmarken, Registrierungsalgorithmen) zur Deckung gebracht werden müssen. Selbst moderne Hybridgeräte (PET/CT, PET/MRT), die einen Teil davon schon ,,hardwareseitig" lösen, nehmen die Modalitäten noch mit getrennten Detektoren auf.
Beim FrTIR-Aufsatz entstehen die verschiedenen Kontrast-Modi (Absorption/Hellfeld, Streuung/Reflexion, Fluoreszenz) dagegen durch dasselbe Objektiv, im selben Bildfeld, an derselben Probe, ohne diese zu bewegen. Die Koregistrierung ist damit nicht das Ergebnis einer nachträglichen Berechnung, sondern von vornherein ,,eingebaut" — Pixel für Pixel deckungsgleich per Konstruktion; der Fusions-/ImageJ-Schritt entfällt weitgehend.
Also dasselbe Ziel wie die medizinische Image Fusion, aber auf optischem Weg und ohne nachträgliche Registrierung erreicht. Danke für den treffenden Begriff!

[Ramon]

Hello Ramon,

I'm a bit sceptical about the fluorescence, at least in the case of the winter jasmine. One question is the wavelength of the excitation light. Is the blue wavelength around 463 nm? What dyes have been used to colour the plant cutting?

Hi Hubert,

first off — I was also skeptical about the Jasmine. I went back to the bench to check it properly.

That image used blue LEDs (~452–455 nm) with a cheap long-pass filter, and my blue strip has a green spectral leak. I checked with a specimen-free blank (same optics, no sample; only slide/alcohol/cover slip): under blue excitation the empty field already shows a green background — so part of the green in that jasmine image is scattered excitation, not fluorescence. I would not defend that particular image as clean fluorescence; your scepticism was justified.

To separate the two, I re-imaged the same section with violet–UV excitation (~395–405 nm) and a proper 500 nm long-pass filter. Here the excitation sits entirely below the filter cut-off, so no excitation light can reach the camera — and indeed the specimen-free blank (only slide/alcohol/cover slip) is essentially black. Yet the section itself glows green at roughly 6× the blank. That green cannot be scattered excitation (there is almost none to scatter), so it reads as genuine emission: cell-wall autofluorescence (lignin/cutin), well documented in plant sections. However, looking at the image I sill remain skeptical. Something is off in this image.




Jasmine - Violet-UV + 500nm LPF (autofluorescence?)



Violet-UV blank + LPF control (near-black)



Blue LEDs blank + LPF(green leak)


The slide is a commercial prep, so I cannot exclude a stain contributing to the reddish signal in the vascular bundle — but the green cell-wall autofluorescence stands on its own. If you or others see a hole in even that, I am all ears; I genuinely want to get this right.


Thanks again, Hubert.

[Spectrum]

Hello Ramon,
I'm very curious about your device, too.
Concerning the proof of the fluorecence capabilities (as we already discussed via private messages):
Try to find some freshwater with algea in it!
Best would be some algea mat, swimming on top, with filamentous algea in it, like spirella. But any green algea film on the bottom or the walls, or even the green biofilm on a humid planting pot will do the job.
Scrape some of the green sludge of the surface, disperse it in water and take some pictures. Use your violet/blue lights and your emission filter.
Just like in this description:

http://www.microscopy-uk.org.uk/mag/indexmag.html?http://www.microscopy-uk.org.uk/mag/artmar09/dw-fluor1.html

If the chloroplasts of the algea will show up in red ....
That will be a distinctive proof of fluorescence.
As you remember, you already showed me some pictures, with such water mounted fresh specimen.
I'm pretty shure that you can already see the well known and distinctive red fluorescence of chlorophyll in this footage.
Greetings Holger