Ein kostengünstiges Bildverarbeitungsbrett FWD-RK3588 mit einer 64-Bit-CPU mit 8-Kern und einer Taktfrequenz von bis zu 2,4 GHz

Bei diesem Produkt handelt es sich um eine eingebettete Bildverarbeitungsplatine, die vom Rockchip RK3588-Prozessor angetrieben wird und im Wesentlichen aus zwei Komponenten besteht: einer Kernverarbeitungsplatine (SoM) und einer Schnittstellenträgerplatine. Der RK3588 ist Rockchips Flaggschiff-High-End-Prozessor der nächsten Generation, der mit einem fortschrittlichen 8-nm-Prozessknoten hergestellt wird. Es verfügt über eine 8-Kern-64-Bit-CPU mit einer primären Taktrate von bis zu 2,4 GHz. Der Prozessor integriert eine integrierte KI-Beschleuniger-NPU, die 6 TOPS Rechenleistung liefert und gängige Deep-Learning-Frameworks unterstützt.

Die Bildverarbeitungsplatine integriert drei Videoeingangsschnittstellen, darunter zwei MIPI-CSI-Schnittstellen und eine digitale BT.1120-Videoschnittstelle, und ermöglicht so die hochauflösende Videoerfassung aus mehreren Quellen. Ausgestattet mit zahlreichen integrierten Kommunikationsschnittstellen ermöglicht das Board eine stabile und effiziente Videodatenübertragung, um den anspruchsvollen Anforderungen leistungsstarker eingebetteter Bildverarbeitungssysteme gerecht zu werden. Das Produkt hat die Kerntreiberanpassung unter der Linux-Umgebung (Ubuntu RootFS) abgeschlossen, sodass Benutzer direkt mit der Entwicklung auf Anwendungsebene fortfahren können.

Dieses Produkt hat die Anpassung und Überprüfung aller Kernperipherietreiber auf Basis des Linux-Systems (standardmäßig mit dem Ubuntu-Dateisystem ausgestattet) abgeschlossen. Benutzer müssen sich nicht mit komplexen Low-Level-Treibern befassen und können die Entwicklung auf Anwendungsebene direkt über Standardsystemaufrufe durchführen.

• Kernprozessortreiber:Die Energieverwaltungs-, Takt-, Interrupt- und DMA-Controller des RK3588 wurden angepasst, um eine effiziente Planung der CPU- und NPU-Rechenleistung sicherzustellen.

• Videoeingangstreiber:

  • MIPI-Treiber:Anpassung der MIPI CSI-2-Kameraschnittstelle und der Bildsensoren zur Unterstützung der Kamerabilddatenerfassung.

  • BT.1120-Treiber:Der digitale Videoempfängerchip wurde angepasst, um die Videodatenerfassung über die BT.1120-Schnittstelle zu ermöglichen.

• Netzwerkschnittstellentreiber:Adaptives Gigabit-Ethernet, das RTSP-Streaming (Network Video Stream) und Fernbefehlssteuerung unterstützt.

• Kommunikationsschnittstellentreiber:Angepasste Onboard-Schnittstellen wie UART, I2C und GPIO. Benutzer können über Dateioperationen oder Systemaufrufe direkt die Steuerung und Dateninteraktion mit externen Geräten erreichen.

Das Board integriert zwei Arten von Videoeingangsschnittstellen, um den Anschlussanforderungen verschiedener Sensoren gerecht zu werden:

• MIPI Digitaler Videoeingang:Bietet eine Standard-V4L2-Schnittstelle. Benutzer können Bilddaten über Standardsystemaufrufe abrufen, zoffenUndioctl.

• BT.1120 Digitaler Videoeingang:Bietet über das V4L2-Framework eine einheitliche Videogeräteschnittstelle zur Anwendungsschicht und erleichtert so eine einheitliche Softwareverarbeitung.

Integriert eine NPU mit Tri-Core-Architektur, die INT4/INT8/INT16/FP16-Hybridoperationen unterstützt und komplexe Bildverarbeitungsaufgaben wie Objekterkennung, -klassifizierung und -verfolgung problemlos bewältigt. Stellt die RKNN-Laufzeit-API bereit, die für das Laden von RKNN-Modellen, die Verwaltung von Ein-/Ausgaben und die Ausführung von Inferenzberechnungen auf der NPU verantwortlich ist.

Um Benutzern den schnellen Einstieg zu erleichtern, stellen wir Beispiele für laufende Algorithmen zur Verfügung. Benutzer können sich auf die Implementierungslogik beziehen (Hinweis: Die Beispiele dienen nur als technische Anleitung; wir sind nicht für die Leistung oder Wirksamkeit der Algorithmen selbst verantwortlich):

• Objekterkennung:Bietet ein Bereitstellungsbeispiel für YOLOv5, das direkt eine Echtzeit-Objekterkennung für den erfassten Videostream durchführen und Begrenzungsrahmen und Kategorien ausgeben kann.

• Objektverfolgung:Integriert relevante Tracking-Algorithmus-Beispiele, sodass Benutzer eine Regelung mit geschlossenem Regelkreis basierend auf Fehlentfernungsdaten erreichen können.

• Integration mit Videostreams:Das Beispielprogramm demonstriert, wie man Bildframes zur Inferenz in die NPU einspeist und die Inferenzergebnisse (z. B. Begrenzungsrahmen) über die OSD-Funktion (On-Screen Display) mit dem Ausgabevideo überlagert, wodurch eine vollständige End-to-End-Anwendungsschleife entsteht.