Mikro-Forum

Foren => Mikroskopie-Forum => Thema gestartet von: Bob in März 11, 2023, 07:35:38 VORMITTAG

Titel: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: Bob in März 11, 2023, 07:35:38 VORMITTAG
Hallo zusammen,
für den Raspberry Pi gibt es jetzt ein weiteres Kameramodul, eine 1,6 Megapixel-Kamera mit der Besonderheit eines "Global Shutters". Die Bildpunkte werden von diesem Sensor nicht der Reihe nach, sondern alle auf einmal ausgelesen, so gibt es keinen Rolling-shutter-Effekt.
Kennt Ihr andere Kameras mit dieser Eigenschaft und wie seht Ihr die Nützlichkeit, gerade für Aufnahmen von schnell beweglichem Zooplankton?

Hier ein Link, in dem die Kamera beschrieben wird:
https://stadt-bremerhaven.de/raspberry-pi-global-shutter-camera-fuer-50-us-dollar-veroeffentlicht/

Viele Grüße,

Bob
Titel: Re: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: Kay Hoerster in März 11, 2023, 09:36:00 VORMITTAG
Hallo Bob,

so wie ich es auf die Schnelle sehe, bieten die großen Industrie-Kamerahersteller Modelle sowohl mit Global-, als auch mit Rolling-Shutter an, etwas Besonderes ist das meiner Ansicht nach nicht. Im Netz findest Du viel Lesestoff zu den Vor- und Nachteilen des jeweiligen Systems, hier mal exemplarisch 2 Links:
https://www.baumer.com/de/de/service-support/funktionsweise/funktionsweise-und-einsatz-von-cmos-rolling-shutter-kameras/a/CMOS-rolling-shutter-cameras
https://www.machinevisionkamera.de/FAQ-ROLLING-VS-GLOBAL-SHUTTER

Der Vorteil des Global shutters liegt bei der Belichtung sich schnell bewegender Objekte, zweifelsohne, wird aber mit teureren Sensoren und anspruchsvollerer Elektronik erkauft. Ich meine mich zu erinnern, dass es auch Sensoren gab, die zu jedem Pixel ein benachbartes Speicherregister hatten / haben, sodass die belichtete Pixelmatrix in einem Takt die Bildinformation ins Speicherregister übertragen hat und danach schnell wieder für die nächste Aufnahme zur Verfügung stand / steht. Ob dieses Prinzip nun bei Global shutter Sensoren verwendet wird oder die Auslesegeschwindigkeit mittlerweile so groß ist, dass ein Zwischenspeicher / Pufferspeicher nicht mehr benötigt wird, kann ich nicht beantworten. Soweit mir bekannt ging aber die zusätzliche Zwischenspeicher-Einheit zu Lasten der Gesamtfläche des Pixels und somit zu Lasten der Sensorempfindlichkeit.

Beide Systeme (Global- und Rolling-Shutter) haben aber ihre Anwendung und Berechtigung.
Im Forum gibt es aber sicherlich noch weitaus berufenere Kollegen, die die Technologie besser beschreiben können.
Sollten meine Ausführungen totaler Mist sein, so bitte ich um Richtigstellung ;-)))

Viele Grüße
Kay
Titel: Re: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: Nochnmikroskop in März 11, 2023, 10:08:30 VORMITTAG
Hallo,

lt. Heise https://www.heise.de/news/Raspi-Kamera-fuer-Industrie-und-Spezialgebiete-Raspberry-Pi-Global-Shutter-Cam-7538356.html soll die Kamera 30µs als geringste Verschlusszeit bei guter Beleuchtung aufweisen, das wäre wie eine recht kurze Blitzzeit.
Wobei 1,6 Mpx haut jetzt nicht wirklich einen vom Hocker, aber dadurch bleibt der Preis moderat. Und die Pixelgröße von 3,45µm ist die von größeren Kameras.

LG Frank.
Titel: Re: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: TStein in März 11, 2023, 12:36:17 NACHMITTAGS
Hallo Bob, hallo in die Runde,

wie bereits gesagt, etwa ganz Besonderes ist es eher nicht und bei schnellen Industriekameras wohl doch die Regel.
Die Vermeidung des Rolling-Shutter-Effekts ist bei schnell bewegten Scenerien eher Pflicht, es gibt aber leider einige nicht unerhebliche Nachteile:
- extra Pixelfläche ist für das benötigte mehr an Transistoren und ein Extrakondensator für den GS erforderlich, dh. kleinere Full-Well-Kapazität der Pixel
- Mikrolinsen sind erforderlich, sonst geht die Qunateneffizienz runter
- die Auslesebildrate ist zu RS meist halbiert, der liest schon die erste Zeile wieder aus, da wartet der GS noch auf die letzte Zeile
- das Ausleserauschen ist deutlich schlechter, da die Pixelinformation in einen Kondensator zur Pufferung umgespeichert wird
Dh. man kann dann zwar kürzere Belichtungszeiten im µs-Bereich erreichen, aber die Empfindlichkeit sinkt leider doch sehr stark.

Blitzen funktioniert eigentlich anders, extreme Helligkeit innerhalb extrem kurzer Zeit, viel kürzer als man die Belichtungszeit einstellen muss. Da muss man die Belichtungszeit nur so einstellen, dass die Bildrate erreicht werden kann (100fps = 10ms Belichtungszeit). Aber gut synchronisieren muss man bei RS, das geht bei GS etwas einfacher.

Vg Tno   
Titel: Re: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: Jakob_Wittmann in März 11, 2023, 12:42:37 NACHMITTAGS
Hallo geschätzte Runde!


Ich schätze diese Kamera für den ,,Raspi" als durchaus interessant bzw. nützlich ein. Allerdings eher für Benutzer, die bereits einen Raspberry Pi haben.

Warum? Die meisten Einsteiger in die Raspberry Pi-Welt wundern sich relativ schnell, dass sie zusätzlich zur Platine noch Zubehör benötigen, das die ohnehin vom Preisleistungsverhältnis her betrachtet etwas überteuerten Raspi-Lösungen AUCH noch ,,haben wollen".

Die Raspis sind etwas empfindlich ihre Stromversorgung angehend, also ist ein wirklich gutes Netzteil sehr anzuraten. Ein Gehäuse ist auch notwendig. Diverses Kleinzeugs ebenso. Und: gewisse Bastelarbeiten sind schnell mal notwendig, was nicht unbedingt alle Interessenten freuen dürfte.

Was auch dazukommt: die Beschäftigung mit einem neuen Betriebssystem ist ebenso ein Erfordernis. Diese ist nicht weiter weiter schlimm bzw. komplex, aber dieser Umstand gehört bitte auch erwähnt.

Mit einer aktuellen, brauchbaren Version mit akzeptabler Speicherausstattung und oben erwähntem notwendigen Teilen ist man recht schnell im typischen Preisbereich eines Mini-PCs angelangt. Der unvergleichlich mehr Möglichkeiten bietet.

Mein persönliches Resümee die Raspis betreffend:

Für die Astrofotografie mit portabler Ausrüstung sind sie eine super Sache (enorme Gewichtsersparnis)!

Überall wo Platz nicht das entscheidende Thema ist: eher weniger.

Kameras mit Global-Shutter:

Bei allen Objekten, wo mehr oder minder schnelle Bewegungen im Bildfeld auftreten, wäre mit dieser Arbeitsweise eines Kameraverschlusses ein Vorteil gegeben.

Nur: Wie synchronisiert man einen Blitz einer Global-Shutter-Kamera?

Ich bin noch nicht damit fertig, dies halbwegs ausreichend zu bewerten bzw. rauszufinden.

Zur Zeit sind qualitativ hochwertige CMOS-Kameras mit Global-Shutter relativ teuer.

Etwas abzuwarten ist daher sicher kein Fehler.

Liebe Grüße

Jakob
Titel: Re: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: Michael Plewka in März 11, 2023, 14:00:15 NACHMITTAGS
hallo zusammen,

zunächst einmal recht herzlichen Dank für den Hinweis auf diese Kamera. Die Daten lesen sich zunächst mal spannnend:
Die minimale Belichtungszeit von 30 µs ermöglicht zumindest  theoretisch eine  Bildrate von circa 30.000 Frames per second, was schon die Beobachtung von Prozessen  möglich machen würde , die man ansonsten mit bloßem Auge überhaupt nicht sehen könnte.


ZitatWobei 1,6 Mpx haut jetzt nicht wirklich einen vom Hocker,


Das ist natürlich abhängig von den Prozessen, die man studieren möchte.

Am Mikroskop ergeben sich dabei ein paar spezielle Herausforderungen.

Wie vielleicht schon mal deutlich geworden, beschäftige ich mich seit mehr als zwei Jahren mit der Cilien- Bewegung von Rädertieren. Um diese besser zu verstehen, muss man  am Mikroskop schon mit Objektiven ≥ 40x arbeiten, um eine angemessene räumliche Auflösung zu haben. Daraus ergibt sich schon mal eine grundsätzlich niedrigere notwendige räumliche Auflösung des Bildsensors der Kamera. Ich habe zunächst mit einer LUMiX GH5 gearbeitet, die eine max. Bildrate von 180 fps bietet bei FullHD, was  bezogen auf diese räumliche Auflösung reicht. Selbst mit HD wäre  die Beobachtung kein Problem
Anders ist das mit der zeitlichen Auflösung. Wegen des Nyquist-Theorems kann die Aufnahmefrequenz   nie hoch genug sein, deshalb stand ich vor der Frage: welche Kamera bietet noch mehr?

Da bietet sich z.B. die Chronos 2.1. an, die eine sehr flexible Bildrate  (auch im Raw-Format!)  und globel shutter bietet (u.a. 1000 fps bei FHD) und außerdem   sehr interessante Schnittstellen hat. Der Nachteil erschien mir aber seinerzeit u.a., dass die Aufnahmezeit  auf max. 11 sek begrenzt ist. 
Mittlerweile arbeite ich mit  einer Lumix GH6, welche immerhin bei 300 Bildern pro Sekunde und Full HD Zeitlupen-Aufnahmen quasi ohne Zeitlimit  machen kann. Zwar hat diese Kamera auch einen RS , aber ist m.W.  die einzige Kamera unter 8000 €, die überhaupt eine solche Bildfrequenz  dauerhaft liefern kann, die Canons, Sonys und Nikons  haben auch m.W. einen RS, können diese Frequenz aber nicht.

Ich kann mir z.Zt. keinen (biologischen) Prozess am Mikroskop  vorstellen, bei dem der GS  einen qualitativen Vorteil gegenüber einem RS bieten würde.
Aus meiner Erfahrung heraus ist es also nicht der GS, der so entscheidend ist, sondern vielmehr die hohe zeitliche Auflösung, d.h. die Bildfrequenz.
  Was die räumliche Auflösung angeht, so ist  Full HD beziehungsweise selbst HD am Mikroskop bei Videos völlig ausreichend. Man bekommt damit, zumindest theoretisch, Erkenntnisse über diese Organismen, die ohne diese Zeitlupenfunktion überhaupt nicht möglich wären. Da muss man dann halt einen Kompromiss bezüglich der Auflösung inkauf nehmen. Man kann sich natürlich auch eine VisionResearch Phantom Kamera kaufen, die hat eine höhere Auflösung,  dann ist man aber gleich ein paar 100.000 € los.  Desweitere relativiert sich die räumlich Auflösung des Kamerasensors insofern, als Objekte im Mikroskop sich auch in der z-Achse bewegen und deshalb möglicherweise sogar ganz vom Sensor verschwinden. Ich bin mal gespannt, wann wir die ersten scharfen Zeitlupenaufnahmen eines Halteria-Ciliaten, der durchs Bildfeld rauscht, zu sehen bekommen....

Noch was Theoretisches bei dieser Raspberry-Kamera ist die sich daraus ergebende Speicherbandbreite.  Bei 30 000 fps müssten (im Raw-Format)  somit ca. 60 Gigapixel pro Sekunde in den Speicher geschaufelt werden. Wahrscheinlich ergibt sich da u.a. ein thermisches Problem. Wahrscheinlich findet deshalb schon eine Kompression (JPG-Umwandlung) statt; da stellt sich die Frage, was vom Bildmaterial an Information übrig bleibt.

Neben diesen theoretischen Aspekten ergeben sich aber bei einem Mikroskop-Einsatz auch einige echte praktische Probleme.

Das wichtigste besteht  dabei in der zur Verfügung stehenden Lichtmenge.  So ergibt sich an meinem Mikroskop beispielsweise für eine Foto-Aufnahme mit DIK-Optik  (Beleuchtung Cree XHP 70.2, ca. 12W) mit einem 40x- Objektiv und einer Belichtungszeit von 1/1000 Sekunde eine Empfindlichkeit von ISO 1600. Würde man also  nun eine Video Aufnahme mit den 30.000 fps (entsprechen 30µs)  machen, welche mit dieser Raspberry Kamera möglich sind, so bräuchte man  für eine solche  ISO Empfindlichkeit von  1600 eine Lichttquelle von ca. 360 W !!!!!. Da stellt sich dann die Frage, wie dieses technisch bzw. optisch realisierbar ist.  Wobei sich dann auch die Frage stellt, wie sich die Mikroorganismen bei entsprechender Beleuchtungsstärke auf dem Objektträger verhalten.
Alternativ bräuchte man bei derselben 12W-Lichtquelle eine Empfindlichkeit von ca. ISO 50000. Da stellt sich dann die Frage nach dem Rauschen bzw. wie das herausgerechnet wird.

Wahrscheinlich bietet sich ein Kompromiss zwische ISO und Beleuchtungsstärke an. Dabei bietet sich dann an,  eine LED statt mit konstantem Strom mit PWM zu betreiben. Die Frage ist dann, wie die PWM-Frequenz mit der Bildfrequenz synchronisiert werden kann.

Ein weiterer eher "psychologischer" Aspekt soll an dieser Stelle auch Erwähnung finden:  angenommen, ich  möchte die Nahrungsaufnahme eines Ciliaten oder die Kontraktion eines "Glockentierchens" studieren. Dann läuft die Kamera vielleicht 1 Minute durch, bevor die entsprechende Szene von 10 sek, auf die es ankommt, in der Kamera ist.  Um  eine einzige  Sekunde dieses Bildmaterials anzusehen braucht man anschließend  somit bei einer PAL-Frequenz von 50 Hz 10 Minuten  reine Beobachtungszeit von sehr langsamen  Veränderungen der Szene.

Ich bin  wirklich gespannt, wie es mit dieser Kamera weitergeht, welche Software dafür entwickelt werden kann und welche konkreten Lösungsmöglichkeiten sich für die Arbeit am Mikroskop in Zukunft ergeben .

Beste Grüße
Michael Plewka
Titel: Re: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: Nochnmikroskop in März 11, 2023, 15:51:14 NACHMITTAGS
Zitat von: Michael Plewka in März 11, 2023, 14:00:15 NACHMITTAGS

Die minimale Belichtungszeit von 30 µs ermöglicht zumindest  theoretisch eine  Bildrate von circa 30.000 Frames per second ....


Hallo,
die kürzeste Belichtungszeit hat nicht unbedingt etwas zu tun mit der max. Bildwiederholrate.
Der Sony Sensor kann max. 60,3 B/s liefern, also eher wenig bei der geringen Auflösung.
Vgl. PDF auf https://www.phase1vision.com/sensors/sony-sensors/pregius/imx296llr

Die Kamera kann halt theroretisch so eine kurze Belichtung zulassen, wenn ausreichend Licht da ist. Betonung auf EINE Belichtung.
Bei 60,3 B/s kann also alle  0,0166s ein Bild geschossen werden, ohne Rolling-Schutter-Effekt! Das Bild will dann aber auch erst einmal abgespeichert werden, das dauert ....

Die Panasonic Kameras haben ja noch einen Vorteil, den Pre-Burst Modus, im 4K Fotomodus meiner G9 sind das 60B/s. Dann verpasst man kaum eine Gelegenheit.
Übrigens hat die G9 auch eine kürzeste Verschlusszeit von 1/32000s mit elektronischem Verschluss.

LG Frank
Titel: Re: Global shutter camera für den Raspberry Pi - ein interessantes Produkt?
Beitrag von: Bob in März 11, 2023, 21:03:23 NACHMITTAGS
Hallo zusammen,
da habt Ihr allerhand interessante Aspekte angesprochen! Am Ende würde wohl erst ein Test einer in Hard- und Software eingebundenen Kamera an der jeweiligen Anwenung Klarheit schaffen, wie viel Potential diese Kamera hat. Über die praktisch verwertbare Leistung entscheiden ja oft kleine Details oder die Summe nützlicher Merkmale. Ein Potential der Raspi-Kamera ist die frei programmierbare Software, ein Potential das aber erst durch fleißige Programmierarbeit gehoben werden will. Mal beobachten, ob wir interessante Anwendungen dieser Kamera zu sehen bekommen!

Viele Grüße,

Bob