Smartphone-Zoomrevolution: Googles Fusion Zoom schließt die Kluft zu DSLRs

In den letzten Jahren hat sich die Kameratechnologie von Smartphones rasant weiterentwickelt, um die Lücke zu digitalen Spiegelreflexkameras (DSLRs) zu schließen. Eine der größten Herausforderungen dabei: die Fähigkeit, qualitativ hochwertige Zoomaufnahmen zu ermöglichen, ohne dabei auf sperrige Objektive angewiesen zu sein. Nun hat Google einen bedeutenden Durchbruch in dieser Hinsicht erzielt und ein innovatives Hybrid-Zoom-System namens "Fusion Zoom" vorgestellt.

Digitale Spiegelreflexkameras erreichen verschiedene Zoomstufen, indem sie entweder den Abstand der Linsen verändern oder Objektivtypen austauschen. Diese Techniken sind bei Smartphones aufgrund der Platzbeschränkungen nicht möglich. Die meisten Smartphone-Hersteller verwenden daher ein hybrides Zoomsystem mit einer Weitwinkelkamera (W) für niedrige Zoomstufen und einer Telekamera (T) für hohe Zoomstufen. Um Zwischenzoomstufen zwischen W und T zu simulieren, beschneiden diese Systeme Bilder der W-Kamera und skalieren sie digital hoch, was zu einem erheblichen Verlust an Bildqualität führt.

Google hat nun eine effiziente Methode für Hybrid-Zoom-Superresolution auf mobilen Geräten entwickelt. Diese Methode erfasst ein synchrones Paar von W- und T-Aufnahmen und verwendet maschinelles Lernen, um die Bilder zu justieren und Details von T zu W zu übertragen. Darüber hinaus wurde eine adaptive Blending-Methode entwickelt, die Unterschiede in der Tiefenschärfe, Szenenverdeckungen, Unsicherheiten im Bildfluss und Ausrichtungsfehler berücksichtigt.

Um die Lücke zwischen dem realen Einsatz und den Trainingsdaten zu minimieren, entwarf Google ein Dual-Phone-Kameragestell, um reale Eingaben und Wahrheiten für das überwachte Training zu erfassen. Die Methode kann ein 12-Megapixel-Bild in 500 Millisekunden auf einer mobilen Plattform generieren und schneidet im Vergleich zu anderen modernen Methoden bei einer umfangreichen Bewertung unter realen Szenarien gut ab.

Die "Fusion Zoom"-Technologie greift auf hochentwickelte Hardware, fortschrittliche Software und komplexe maschinelle Lernalgorithmen zurück. So nutzt zum Beispiel das Pixel 7 Pro von Google drei hintere Kameras: eine 0,5-fache Ultraweitwinkelkamera, eine 1x-Hauptkamera und eine 5x-Telekamera, die bei Zoomstufen zwischen 5x und 30x zum Einsatz kommt.

Trotz des hohen Zoompotenzials kommen diese Kameras in einem erstaunlich kleinen Paket daher, insbesondere im Vergleich zu typischen Teleobjektivkameras. Um Bilder aus der Ferne aufzunehmen, wird viel Licht benötigt, das auf spezielle Weise gebeugt wird. Traditionelle Teleobjektivkameras verwenden einen Stapel von Linsen, um dies zu erreichen. Die Linsen fangen viel Licht ein und beugen es entsprechend, bevor es auf einen Sensor trifft, der dieses Licht in Signale umwandelt, die die Software des Telefons liest und in Foto-Pixel übersetzt, die man auf dem Bildschirm sieht.

Das Pixel 7 Pro verwendet einen Spiegel, um die Linsen seitlich zu stapeln und horizontal in die Kameraleiste zu integrieren. Das Licht tritt in die Kamera ein und trifft auf den Spiegel, der das Licht horizontal zum Sensor umlenkt. Sobald das Licht auf den Sensor trifft, beginnen Software und KI-Algorithmen mit ihrer Arbeit.

Die Software des Telefons nutzt HDR+ mit Bracketing, um Bilder bei verschiedenen Belichtungen zu verschmelzen. Dieser Prozess sorgt für die bestmögliche Beleuchtung und Detailtreue in einem Foto. Für den Zoom nutzt das Teleobjektiv diese Technologie, um fast augenblicklich mehrere Bilder aufzunehmen, so schnell, dass der Benutzer es nicht bemerkt und es nicht anstoßen muss.

Ein weiterer wichtiger Softwareaspekt für den Super Res Zoom ist das "Remosaicing". Durch das Hineinzoomen in den inneren Teil des 48-Megapixel-Sensors des Pixel 7 Pro kann der Super Res Zoom 12-Megapixel-Fotos mit einem 10-fachen Zoom ausgeben. Ein neuer Algorithmus namens Remosaicing konvertiert diese Sensordaten in ein Format, mit dem HDR+ mit Bracketing arbeiten kann, um die Menge an Rauschen im endgültigen Bild zu reduzieren.

Schließlich tragen auch mehrere maschinelle Lernalgorithmen zum Super Res Zoom bei. Ein Beispiel ist der Fusion Zoom, ein Algorithmus, der Bilder von mehreren Kameras ausrichtet und zusammenführt, um sicherzustellen, dass Fotos auch dann großartig aussehen, wenn sie zwischen der Hauptkamera und der Telekamera aufgenommen werden (zum Beispiel beim Übergang von 2x zu 5x Zoom).

Diese Integration von Hardware, Software und KI ermöglicht es, dass Super Res Zoom funktioniert. Nutzer können sich darauf verlassen, dass ihre Fotos auch bei starker Zoomnutzung schön aussehen werden. Google verfolgt mit diesen Entwicklungen das Ziel, die Fotografie zugänglicher zu machen und Nutzern zu helfen, schöne Erinnerungen zu schaffen, indem fortschrittliche Bildgebungsfunktionen in Geräte integriert werden, die leicht in jede Tasche passen.