Foveon: Yetişemeyen Akıllı Görüntü Sensörü

2000’lerin başında, fotoğraf camiasında lens üreticisi olarak bilinen bir şirket olan Sigma, Foveon adı verilen yeni bir kamera sensörü türünü piyasaya sürdü. 1999 yılında patenti alınan bu yeni tip sensör, yenilikçi bir renk algılama teknolojisine sahiptir: 3 katmanlı ışığa duyarlı diyot yığını.

Kağıt üzerinde bu teknoloji, renk doğruluğu, düşük ışık gürültüsü ve görüntü netliği açısından CMOS sensörlerinden daha iyi performans gösterme sözü verdi. Bu makale, akıllıca bir fikir olmasına rağmen, Foveon’un teknolojisinin fotoğraf endüstrisinde neden hiçbir zaman gerçekten başarılı olamadığını açıklıyor.

APS-C Foveon X3 Quattro CMOS Sensör.

Temel Bilgilere Geri Dön: Kamera Renkleri Nasıl Yakalar?

Silikon, yaygın olarak yarı iletken bir malzeme olarak bilinir ve birçok elektronik devrede bu şekilde kullanılır. Fotoğrafçılar için silikonla ilgili temel endişe, ışığa duyarlı bir malzeme olmasıdır.

Daha spesifik olmak gerekirse, silikon 400 nm ile 1100 nm arasındaki herhangi bir dalga boyu için ışığı emer. İyi haber şu ki, bu aralık görünür ışık spektrumunu (~400 nm ila 750 nm) ve hatta yakın kızılötesi spektrumun bir kısmını kapsıyor. Kötü haber ise, silikonun tek başına ışığın rengini ayırt etmemesi ve yalnızca 400-1100 nanometre aralığındaki herhangi bir fotonu biriktirmesidir.

Görüntü kalitesini iyileştirmenin ilk adımı, kızılötesi ışığı (750 nm ile 1100 nm arasında) sensöre ulaşmadan önce ortadan kaldırmak için bir filtre eklemektir. Ortaya çıkan sistem, tek renkli bir kamera sensörü (siyah beyaz görüntüler sağlayan) oluşturur.

Oradan, bazı renk bilgilerini toplamanın en yaygın yolu bir renk filtresi matrisi (CFA) kullanmaktır. Bu filtre genellikle kırmızı, yeşil, yeşil ve mavi filtreler kullanılarak Bayer modeline (Kodak mühendisinin adından) göre düzenlenir.

Görüntü sensöründe bir Bayer filtre profili görüntüleyin. Çizim Cburnett tarafından yapılmıştır ve CC BY-SA 3.0 kapsamında lisanslanmıştır.

Bu üç filtre sayesinde görüntüdeki renk bilgisi geri yüklenebilir. Bununla birlikte, işlem, bazı görüntü çözünürlüğünün pahasına gelir. Belirli bir “kırmızı” piksel için, eksik yeşil ve mavi bilgileri bulmak için bir enterpolasyon yapılması gerekir. Birçok enterpolasyon algoritması mevcuttur, ancak süreç neredeyse her zaman bir tür kromatik artefakt ve görüntü yumuşatma ile sonuçlanır.

Renk filtresi dizileri, kesin olmamalarının yanı sıra, bazı renk bilgilerini toplama sürecinde birçok fotonu da emer. Soğurma, filtre seçimine ve görüntü içeriğine bağlı olarak değişir, ancak genellikle ışık akısının sensöre ulaşmadan önce 3 kata bölündüğü kabul edilir. Bu 1.5 durak ışık.

Foveon teknolojisinin arkasındaki akıllı fikir

Belli bir foton, rengine bağlı olarak, soğurulmadan önce silikonda belli bir mesafe kateder. Bu “hareket mesafesi”, dalga boyuna bağlı olan fotonun enerjisiyle ilgilidir. Kısa dalga boyuna (mavi ışık, UV ışığı vb.) sahip fotonlar, daha uzun dalga boyuna (kırmızı ışık, kızılötesi ışık, vb.) sahip fotonlardan daha enerjiktir ve bu nedenle silikona daha kısa bir geziden sonra emilirler.

“Soğurma derinliği, absorpsiyon katsayısının tersidir. Absorpsiyon derinliği, örneğin 1 um, ışığın yoğunluğunun orijinal değerinin %36’sına (1/e) düşürüldüğü anlamına gelir.” Arizona Eyalet Üniversitesi’nden Christiana Hunsberg ve Stewart Bowden tarafından çizilen diyagram.

Silikondaki absorpsiyon derinliği, fotonun dalga boyunun bir tahminini sağladığından, absorpsiyon derinliğinin ölçümü teorik olarak renk bilgisi sağlar. Foveon sensörlerinin akıllı fikri, yan yana renk filtreleri yerine “derinlik filtreleri” kullanmaktır.

Silikonda ve Foveon X3 sensöründe dalga boyuna bağlı absorpsiyon. Çizim Anoneditor tarafından yapılmıştır ve CC BY-SA 3.0 kapsamında lisanslanmıştır.

Kağıt üzerinde, en azından, herhangi bir renk filtresinin kaldırılması, sensöre düşen ışık akısını artırmalı ve renk filtreleriyle ilişkili kusurları ortadan kaldırmalıdır.

Foveon sensörleri 2002’de Sigma SD9 DSLR ile piyasaya ilk çıktığında, çoğu dijital kamera 10MPx çözünürlükten uzaktı. Canon EOS-1D’de 4.2 megapiksel, Nikon D100’de ise 6 megapiksel kamera vardı. Renk filtresi dizileri belirli sayıda piksel için sayısal tamamlayıcı gerektirdiğinden, renk filtresi dizisi keskinlikte büyük bir yükseltme sağlamıştır.

Sigma, SD9’un 3.43MP çıkış görüntüsüne sahip olduğunu ancak “10,3 milyon etkin piksel” olduğunu, yani piksellerinin 3 kat daha iyi performans gösterdiğini iddia ederek görüntü kalitesindeki bu farkı ticarileştirmeye çalıştı. Birkaç akademik makale, Foveon sensörlerinin, keskin kenarlar etrafında enterpolasyon ve kromatik efektler olmaması sayesinde fark edilir derecede daha yüksek çözünürlük sunduğunu zaten keşfetti. Bu açıdan Foveon sensörleri, kullanıcıya açık ve ölçülebilir bir fayda sağlar.

Araştırmacılar, Foveon sensörlerinin Bayer sensörlerinden daha yüksek çözünürlüğe sahip olduğunu buldu. Paul M. Hubel, John Liu ve Rudolph J. Guttosch’un “Renkli görüntü sensörlerinin uzamsal frekans tepkisi: Bayer ve Foveon X3 renk filtreleri”nden diyagram.

Sigma’nın vurguladığı son bir nokta, konu renk doğruluğu olduğunda Foveon sensörlerinin renk filtresi sensörlerinden daha üstün olmasıdır. İddia, renk bilgisinin olmamasıyla açıklanıyor. Aslında, belirli bir Foveon pikseli için, renk filtresi matrisinin aksine kırmızı, yeşil ve mavi veriler aynı yerde kaydedilir.

Foveon sensörü en azından kağıt üzerinde her şeye sahiptir: daha iyi ışık akısı, daha iyi düşük ışık performansı, daha iyi renk doğruluğu ve daha iyi görüntü netliği anlamına gelir. Ama kağıt özellikleri asla tüm hikayeyi anlatmaz…

Foveon’un parlak fikrinin nesi var?

Oradan gelen asıl soru şuna geliyor: Foveon sensörlerinin arkasındaki fikir oldukça zekice olduğuna göre, neden hepimiz Foveon sensörlerini kullanmayalım?

karar

Foveon teknolojisine olan ilginin bir kısmı, CMOS sensörlerinin geliştirilmesiyle ortadan kalktı. Piksel yoğunluğundaki çarpıcı artış, Foveon sensörlerinin ana satış noktalarından birini azalttı. Elbette, piksel sayısı nihai görüntü kalitesinin (lens, mevcut ışık miktarı, vb. ile birlikte) yalnızca bir kısmına katkıda bulunduğundan, bu gerçekten bir elma-elma karşılaştırması değildir. Akıllı telefonlar bile en az 20 megapiksel çözünürlükte fotoğraflar sunabildiğinden, Foveon 2000’lerin başında olduğundan daha az çekici.

renk

Foveon sensörünün renk avantajı teoride yadsınamaz ancak pratikte çok az fayda sağlar. Renk kalibrasyonlu monitörler ve laboratuvar ortamlarının dışında, renk doğruluğundaki fark, sıradan fotoğrafçıların çoğu tarafından fark edilmeyecek kadar küçüktür. Beyaz dengesi hatalarının veya yaratıcı Instagram filtrelerinin etkisinden kesinlikle daha incelikli.

Bayer (sol) ve Foveon (sağ) sensörlerinin tepki eğrileri. Boris van Schouten üzerinden çizelgeler.

Gürültü

Bu, en tartışmalı noktadır. Kağıt üzerinde, Foveon’un sensörleri yaklaşık 3 kat daha fazla ışık toplamalı, bu da sinyal-gürültü oranında 1,7 kat iyileşme anlamına gelmelidir. Yani, atış gürültüsünün baskın olduğunu varsayarsak. Ancak, pratik karşılaştırmalarda, Foveon sensörlerinin düşük ışıkta performansının yetersiz kaldığı ortaya çıkıyor. Foveon’un genel müdürü Shri Ramaswamy bile 2014’teki bir röportajda bunu itiraf etti:

“Foveon’un yaklaşımının bir sınırlaması, görüntü gürültüsünün geleneksel sensörlerden daha yüksek olmasıdır” dedi. “Bu muhtemelen kısmen sensör mimarisinin kendi içindeki verimsizliklerden kaynaklanıyor – belki de katmanları ayıran iç yapılarda bir miktar ışık kayboluyor – ve kısmen de çipin bir şekilde karışık sinyallerden saf renkler üretmek için yapılması gereken işlemlerden kaynaklanıyor. aslında yakalama.”

CMOS sensörleri ve Foveon sensörleri benzer bir tasarım sorununu paylaşır: bir pikselden diğerine bazı ışık sızıntıları. CMOS sensörlerde, fotodiyotlar arasında dikey izolasyon yapıları kullanılarak karışma sorunu çözülür.

Ancak Foveon sensörlerinde aynı hile uygulanamaz (aksi takdirde sadece mavi renk bilgisi alırsınız). Bu nedenle, Foveon sensörleri, bir optik çift katmandan diğerine foton sızıntısından muzdarip olma eğilimindedir.

Piksellerin şematik kesit görünümleri. (a) bir kontrol pikselidir ve (b) çapraz konuşma için optimize edilmiş bir pikseldir. “45 nm parlak piksel yığılmış CMOS görüntü sensörü işlem teknolojisi.”

Görüntü işleme: olağandışı sensörlerin arkasına gizlenmiş sorun

Tüm “olağandışı” renk şemalarının (Fuji X-Trans, RGBW filtreleri veya Foveon olsun) ortak bir dezavantajı, görüntü işlemenin de seçimden etkilenmesidir. Bayer filtreleri renkleri yakalamanın en iyi yolu olmasa da, onlarca yıldır piyasadalar ve sensör pazarında oldukça baskınlar. Sonuç olarak, görüntü işleme araştırmacıları ve şirketleri için bu tür sensörler için tüm algoritmalarda ince ayar yapma konusunda güçlü bir teşvik vardır.

Örneğin, gürültü giderme genellikle Foveon sensörlerine doğrudan uygulanamayan toplanan fotonlarla ilgili istatistiklerle ilgili bazı varsayımlarla yapılır. Ne yazık ki, Foveon sensörlerinin kullanımdaki payı nedeniyle, çoğu görüntü işleme şirketinin, bu tür sensörler için özel görüntü işleme boru hatları geliştirmeyi bırakın, Foveon dosyalarını destekleme konusunda hiçbir teşviki yoktur.

Eğilim, makine öğrenimine dayalı algoritmalarla daha da kötüleşiyor. Dürüst olmak gerekirse, makine öğrenimi algoritmaları yalnızca onları eğitmek için kullanılan veriler kadar iyidir (hem nicelik hem de nitelik açısından). Bayer filtre dizilerinde Foveon’dan alınanlardan binlerce kat daha fazla görüntü mevcut olduğundan, eski sensörler ikincisinden daha iyi algoritmalardan faydalanacaktır.

Diğer pazarlama konuları

Son olarak, odadaki file hitap etmemiz gerekiyor. Fotoğraf ekipmanı her zaman teknik nedenlerle satılmaz. Fiyatlandırma, pazarlama, çevresel lens sistemleri, markalaşma – bir teknolojinin başarısında birçok faktör vardır.

Sigma her şeyden farklı bir sensör sağlamaya çalıştı ancak şirket aynı anda iki savaş vermek zorunda kaldı. Birincisi, Foveon sensörlerinin görüntü kalitesi kanıtıdır. İkincisi, bir kamera üreticisi olarak kameralarının Canon veya Nikon kameralardan daha iyi performans gösterdiğini kanıtlamak.

Foveon, rekabetçi kamera endüstrisinde Sigma’nın gizli silahı olabilir. Ancak geleneksel sensörler ile Foveon sensörleri arasındaki performans farkı net değil. En azından yeni fotoğrafçıları Sigma markasına çekecek kadar açık değil.

Foveon Sensörü Geri Dönecek mi?

Sigma, Foveon tam çerçeve sensörünü geliştirmeye başladı. Sigma’nın son açıklamasına göre proje erken prototip aşamasında. Projenin prototip aşamasında takılıp kalması ve asla pazara ulaşmaması muhtemel görünüyor. En iyi ihtimalle, bu takvimden 2024’ten önce büyük miktarlarda bir sensör beklemek gerçekçi görünmüyor.

Bir şirket olarak Sigma, lens üretimi konusunda haklı bir üne sahiptir ve işini kameralara ve sensörlere genişletmek istemektedir. Ancak, kamera bir sensörden çok daha fazlasıdır. Sigma’nın gerçek zorluğu, yüksek kaliteli görüntü işleme eksikliği olabilir. Sigma’nın ayrıca Foveon dosyalarını açabilmesi için bir Adobe Photoshop eklentisi oluşturması gerekiyordu.

Sigma’nın tam çerçeve Foveon sensörlü yeni bir kamera piyasaya sürmesi imkansız olmasa da, teknolojiyi mevcut Foveon topluluğu dışında satmanın, onu bir endüstri standardı haline getirmenin hala uzun bir yolu var.


Yazar hakkındaTimothee Cognard, Paris, Fransa merkezli bir görsel uzman ve fotoğrafçıdır.

Leave a Comment