Reklama

Sony wprowadza pierwsze na świecie inteligentne czujniki wizyjne z funkcją AI

Sony Corporation zapowiedziało wprowadzenie dwóch modeli inteligentnych czujników wizyjnych, będących pierwszymi na świecie przetwornikami obrazu z funkcją przetwarzania opartego na sztucznej inteligencji wśród przetworników obrazu, Wprowadzenie funkcji przetwarzania AI w samym przetworniku obrazu umożliwia szybkie przetwarzanie Edge AI i selekcjonowanie tylko potrzebnych danych, co w przypadku użycia serwisów chmurowych oznacza mniejsze opóźnienia w transmisji, lepszą ochronę prywatności oraz niższe zużycie energii i koszty łączności.

Dzisiejsze aparaty umieszczone na przykład w najnowszych smartfonach dostarczają tak dobre zdjęcia nie tylko dzięki odpowiedniej optyce, ale przede wszystkim za sprawą cyfrowej, obliczeniowej "obróbki" obrazu. Jednocześnie kamery i aparaty stają się integralnymi urządzeniami mającymi zagwarantować nam bezpieczeństwo lub zoptymalizować prace - sztuczna inteligencja i komunikacja z chmurą danych pełnią dla nich równie istotną rolę.

Reklama

Nowe produkty zwiększą możliwości opracowywania kamer i aparatów wyposażonych w sztuczną inteligencję. Stworzą szereg nowych zastosowań w handlu detalicznym i sektorze urządzeń przemysłowych, przyczyniając się do budowy optymalnych systemów łączących z chmurą. 

Rozwój Internetu rzeczy (IoT) spowodował powstanie najróżniejszych urządzeń połączonych z chmurą, w wyniku czego powszechne stały się systemy do przetwarzania informacji, w których dane pochodzące z takich urządzeń są przetwarzane przez sztuczną inteligencję w chmurze. Wzrost ilości informacji obsługiwanych przez chmurę rodzi jednak różne problemy: większe opóźnienia w transmisji danych utrudniające przetwarzanie w czasie rzeczywistym, obawy o bezpieczeństwo w przypadku użytkowników, o których sądzi się, że przechowują w chmurze dane umożliwiające identyfikację osób, a także większy pobór mocy i wyższe koszty transmisji danych generowane przez usługi chmurowe.

Nowe przetworniki mają konfigurację warstwową i składają się bloku pikseli i bloku układów logicznych. Są pierwszymi na świecie przetwornikami obrazu, w których funkcje analizy i przetwarzania obrazu z użyciem sztucznej inteligencji są realizowane przez sam blok układów logicznych. Sygnał rejestrowany przez blok pikseli jest przetwarzany z użyciem sztucznej inteligencji w samym przetworniku. Eliminuje to zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, umożliwiając rozwój systemów Edge AI. Wyjściowymi danymi z przetwornika nie są informacje o obrazie, tylko metadane (informacje semantyczne należące do danych o obrazie), co pomaga rozwiązać problem dużej ilości danych i ochrony prywatności. 

Co więcej, sztuczna inteligencja pozwala zapewnić różnorodne funkcje o uniwersalnych zastosowaniach, takie jak śledzenie obiektów w czasie rzeczywistym z szybkim przetwarzaniem AI. Możliwość zastępowania danych w wewnętrznej pamięci pozwala wybierać różne modele AI, dostosowane do wymagań użytkownika lub warunków w miejscu, w których używany jest system.

Główne cechy

Pierwszy na świecie przetwornik obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI)

Blok pikseli jest wykonany w technologii BSI. Jego efektywna rozdzielczość wynosi około 12,3 megapiksela, co umożliwia rejestrację informacji przy szerokim kącie widzenia. Z kolei blok układów logicznych zawiera nie tylko standardowe obwody przetwornika obrazu, lecz także pamięć modelu AI oraz firmowy procesor sygnałowy (DSP) Sony przeznaczony do przetwarzania sygnału z użyciem sztucznej inteligencji. Taka konfiguracja eliminuje zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, dzięki czemu idealnie sprawdza się w systemach Edge AI        

Wyjściowe metadane

Sygnały rejestrowane przez blok pikseli przechodzą przez procesor obrazu (ISP), a przetwarzanie z użyciem sztucznej inteligencji odbywa się w bloku układów logicznych. Wyselekcjonowane informacje pojawiają się na wyjściu jako metadane, zmniejszając ilość obsługiwanych danych. Ponieważ na wyjściu układu nie muszą pojawiać się informacje o obrazie, maleje zagrożenie dla bezpieczeństwa i obawy o prywatność. Oprócz rejestracji obrazu przez standardowy przetwornik obrazu użytkownicy mogą wybrać format danych wyjściowych dostosowany do własnych potrzeb i zastosowań. Ustawienia obejmują wyjściowy format obrazu z procesora ISP (YUV/RGB) oraz obrazy z wyselekcjonowanym określonym obszarem (region zainteresowania — Region of Interest).

Szybkie przetwarzanie z użyciem AI

Kiedy do nagrywania materiału wideo służy standardowy przetwornik obrazu, do systemu przetwarzania AI trzeba przesłać informacje o każdej klatce wyjściowego obrazu, co zwiększa ilość przesyłanych danych i utrudnia uzyskanie działania w czasie rzeczywistym. Nowe przetworniki Sony wykonują przetwarzanie obrazu i szybkie przetwarzanie z użyciem AI (3,1 milisekundy dla architektury MobileNet V1*) na poziomie bloku układów logicznych, realizując cały proces w jednej klatce obrazu wideo. Taki system pozwala zapewnić dokładne śledzenie obiektów w czasie rzeczywistym przy nagrywaniu filmów.

Najważniejsze cechy IMX500 i IMX501

Nazwa modeluIMX500 (sam układ)IMX501 (produkt w obudowie)
Efektywna liczba pikseli4056 (poziomo) x 3040 (pionowo), około 12,3 megapiksela
Rozmiar obrazuPrzekątna 7,857 mm (typ 1/2,3")
Rozmiar piksela1,55 μm (poziomo) × 1,55 μm (pionowo)
Liczba klatek na sekundęWszystkie piksele60 kl./s
Obraz filmowy4K (4056 × 2288) 60 kl./s
1080p 240 kl/s
Wszystkie piksele / obraz filmowy + przetwarzanie AI30 kl./s
Wyjście metadanych30 kl./s
Czułość (wartość standardowa F5.6)Około 250 LSB
Poziom sygnału przy nasyceniu przetwornika (wartość minimalna)Około 9610e-
ZasilanieAnalogowe2,7 V
Cyfrowe0,84 V
Interfejs1,8 V
Główne funkcjeFunkcja przetwarzania z użyciem AI, procesor obrazu (ISP), zdjęcia HDR
WyjścieMIPI D-PHY 1.2 (4 kanały) / SPI
Matryca filtra barwMatryca Bayera
Format wyjściowyObraz (Bayer RAW), wyjście z procesora obrazu (YUV/RGB), region zainteresowania (Region of Interest), metadane
ObudowaCeramiczna LGA  12,5 mm (poziomo) × 15,0 mm (pionowo)