Aron Petau - surveillance

AIRASPI Build-Protokoll

2024-01-30T00:00:00+00:00

AI-Raspi Build-Protokoll</h2>
Dieses Dokument dokumentiert den Prozess des Baus eines maßgeschneiderten Edge-Computing-Geräts für Echtzeit-Bilderkennung und Objektdetektion. Das Ziel war es, ein portables, eigenständiges System zu schaffen, das unabhängig von Cloud-Infrastruktur funktionieren kann.</p>
Projektziele:</strong></p>
Bau eines Edge-Geräts mit Bilderkennung und Objektdetektion, das Video in Echtzeit verarbeiten kann, mit dem Ziel von 30fps bei 720p-Auflösung. Portabilität und autonomer Betrieb sind kritische Anforderungen—das Gerät muss ohne aktive Internetverbindung funktionieren und einen kompakten Formfaktor für Installationsumgebungen beibehalten. Alle Berechnungen finden lokal auf dem Gerät selbst statt, was es zu einer echten Edge-Computing-Lösung ohne Cloud-Abhängigkeit macht.</p>
Dieses Projekt wurde inspiriert von pose2art</a>, das das kreative Potenzial der Echtzeit-Posenerkennung für interaktive Installationen demonstrierte.</p>

Hardware</h2>

Raspberry Pi 5</a></li>
Raspberry Pi Camera Module v1.3</a></li>
Raspberry Pi GlobalShutter Camera</a></li>
2x CSI FPC Kabel (benötigt eine kompakte Seite, um in Pi 5 zu passen)</li>
Pineberry AI Hat (m.2 E key)</a></li>
Coral Dual Edge TPU (m.2 E key)</a></li>
Raspi Official 5A Netzteil</li>
Raspi aktiver Kühler</li> </ul>
Setup</h2>
Hauptressourcen</h3>
Dieser Build wäre ohne die exzellente Dokumentation und Troubleshooting-Anleitungen aus der Community nicht möglich gewesen. Die Hauptquellen, auf die ich mich während dieses Projekts verlassen habe, waren:</p>

coral.ai offizielle Dokumentation</a> - Googles offizieller Setup-Leitfaden für die M.2 Edge TPU</li>
Jeff Geerlings Blog</a> - Kritische PCIe-Konfigurationseinblicke für Raspberry Pi 5</li>
Frigate NVR Dokumentation</a> - Umfassender Leitfaden für die Network-Video-Recorder-Software</li> </ul>
Raspberry Pi OS Installation</h3>
Ich habe den Raspberry Pi Imager verwendet, um das neueste Raspberry Pi OS auf eine SD-Karte zu flashen. Die OS-Wahl ist kritisch für die Kamerakompatibilität.</p>

Muss Debian Bookworm sein. Muss das vollständige arm64-Image (mit Desktop) sein, sonst gerät man in die Kameratreiber-Hölle.</p> </blockquote>
Initiale Konfigurationseinstellungen:</strong></p>
Mit den erweiterten Einstellungen des Raspberry Pi Imager habe ich vor dem Flashen Folgendes konfiguriert:</p>

Verwendung des Standard-arm64-Images (mit Desktop) - kritisch für Kameratreiber-Kompatibilität</li>
Aktivierung benutzerdefinierter Einstellungen für Headless-Betrieb</li>
Aktivierung von SSH für Fernzugriff</li>
Konfiguration des WiFi-Ländercodes für rechtliche Compliance</li>
Festlegung von WiFi-SSID und Passwort für automatische Netzwerkverbindung</li>
Konfiguration der Locale-Einstellungen für richtige Zeitzone und Tastaturlayout</li>
Festlegung eines benutzerdefinierten Hostnamens: `airaspi</code> für einfache Netzwerkidentifikation</li> </ul>`System-Update</h3> Nach dem ersten Boot ist das Aktualisieren des Systems unerlässlich. Dieser Prozess kann mit dem vollständigen Desktop-Image beträchtliche Zeit in Anspruch nehmen, stellt aber sicher, dass alle Pakete aktuell sind und Sicherheitspatches angewendet werden.</p> sudo apt update && sudo apt upgrade -y && sudo reboot </code></pre> Vorbereitung des Systems für Coral TPU</h3> Die PCIe-Schnittstelle des Raspberry Pi 5 erfordert eine spezifische Konfiguration, um mit der Coral Edge TPU zu funktionieren. Dieser Abschnitt war technisch am anspruchsvollsten und umfasste Kernel-Modifikationen und Device-Tree-Änderungen. Ein großes Dankeschön an Jeff Geerling für die Dokumentation dieses Prozesses—ohne sein detailliertes Troubleshooting wäre dies nahezu unmöglich gewesen.</p> # Kernel-Version prüfen uname -a </code></pre> # config.txt modifizieren sudo nano /boot/firmware/config.txt </code></pre> Während man in der Datei ist, folgende Zeilen hinzufügen:</p> kernel=kernel8.img dtparam=pciex1 dtparam=pciex1_gen=2 </code></pre> Speichern und neu starten:</p> sudo reboot </code></pre> # Kernel-Version erneut prüfen uname -a </code></pre> sollte jetzt anders sein, mit einem -v8 am Ende</li> </ul> /boot/firmware/cmdline.txt bearbeiten</p> sudo nano /boot/firmware/cmdline.txt </code></pre> pcie_aspm=off vor rootwait hinzufügen</li> </ul> sudo reboot </code></pre> Modifizierung des Device Tree</h3> Initialer Script-Versuch (Veraltet)</h4> Anfangs gab es ein automatisiertes Script, das die Device-Tree-Modifikationen handhaben sollte. Jedoch erwies sich dieses Script als problematisch und verursachte Probleme während meines Builds.</p> vielleicht ist dieses Script das Problem? ich werde es ohne erneut versuchen</p> </blockquote> curl https://gist.githubusercontent.com/dataslayermedia/714ec5a9601249d9ee754919dea49c7e/raw/32d21f73bd1ebb33854c2b059e94abe7767c3d7e/coral-ai-pcie-edge-tpu-raspberrypi-5-setup | sh </code></pre> Ja, es war das problematische Script. Ich habe einen Kommentar dokumentiert, der das Problem auf dem ursprünglichen Gist beschreibt: Mein Kommentar auf dem Gist</a></p> Manuelle Device-Tree-Modifikation (Empfohlen)</h4> Anstatt mich auf das automatisierte Script zu verlassen, folgte ich Jeff Geerlings manuellem Ansatz. Diese Methode gibt vollständige Kontrolle über den Prozess und hilft zu verstehen, was tatsächlich unter der Haube passiert.</p> In der Zwischenzeit wurde das Script aktualisiert und wird nun wieder empfohlen.</p> </blockquote> Der Device-Tree-Modifikationsprozess umfasst das Sichern des aktuellen Device-Tree-Blobs (DTB), das Dekompilieren in ein lesbares Format, das Bearbeiten der MSI-Parent-Referenz zur Behebung von PCIe-Kompatibilitätsproblemen und dann das Zurückkompilieren in Binärformat. Hier ist der schrittweise Prozess:</p> 1. Device Tree sichern und dekompilieren</strong></p> # Aktuelles dtb sichern sudo cp /boot/firmware/bcm2712-rpi-5-b.dtb /boot/firmware/bcm2712-rpi-5-b.dtb.bak # Aktuelles dtb dekompilieren (Warnungen ignorieren) dtc -I dtb -O dts /boot/firmware/bcm2712-rpi-5-b.dtb -o ~/test.dts # Datei bearbeiten nano ~/test.dts # Zeile ändern: msi-parent = <0x2f>; (unter `pcie@110000`) # Zu: msi-parent = <0x66>; # Dann Datei speichern. # dtb rekompilieren und zurück ins Firmware-Verzeichnis verschieben dtc -I dts -O dtb ~/test.dts -o ~/test.dtb sudo mv ~/test.dtb /boot/firmware/bcm2712-rpi-5-b.dtb # Neustart für Änderungen sudo reboot </code></pre> Hinweis: msi-parent scheint heutzutage den Wert <0x2c> zu haben, hat mich ein paar Stunden gekostet.</p> </blockquote> 2. Änderungen verifizieren</strong></p> Nach dem Neustart prüfen, dass die Coral TPU vom System erkannt wird:</p> lspci -nn | grep 089a </code></pre> Die Ausgabe sollte ähnlich sein: 0000:01:00.0 System peripheral [0880]: Global Unichip Corp. Coral Edge TPU [1ac1:089a]</code></p> Installation des Apex-Treibers</h3> Mit dem ordnungsgemäß konfigurierten Device Tree ist der nächste Schritt die Installation von Googles Apex-Treiber für die Coral Edge TPU. Dieser Treiber ermöglicht die Kommunikation zwischen Betriebssystem und TPU-Hardware.</p> Gemäß den offiziellen Anweisungen von coral.ai</a>:</p> echo "deb https://packages.cloud.google.com/apt coral-edgetpu-stable main" | sudo tee /etc/apt/sources.list.d/coral-edgetpu.list curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add - sudo apt-get update sudo apt-get install gasket-dkms libedgetpu1-std sudo sh -c "echo 'SUBSYSTEM==\"apex\", MODE=\"0660\", GROUP=\"apex\"' >> /etc/udev/rules.d/65-apex.rules" sudo groupadd apex sudo adduser $USER apex sudo reboot </code></pre> Diese Sequenz:</p> Fügt Googles Paket-Repository und GPG-Schlüssel hinzu</li> Installiert das gasket DKMS-Modul (Kernel-Treiber) und Edge-TPU-Runtime-Bibliothek</li> Erstellt udev-Regeln für Geräteberechtigungen</li> Erstellt eine apex</code>-Gruppe und fügt den Benutzer hinzu</li> Neustart zum Laden des Treibers</li> </ol> Nach dem Neustart Installation verifizieren:</p> lspci -nn | grep 089a </code></pre> Dies sollte die verbundene Coral TPU als PCIe-Gerät anzeigen.</p> Als Nächstes bestätigen, dass der Device-Node mit entsprechenden Berechtigungen existiert:</p> ls -l /dev/apex_0 </code></pre> Wenn die Ausgabe /dev/apex_0</code> mit entsprechenden Gruppenberechtigungen zeigt, war die Installation erfolgreich. Falls nicht, udev-Regeln und Gruppenzugehörigkeit überprüfen.</p> Testen mit Beispielmodellen</h3> Um zu verifizieren, dass die TPU korrekt funktioniert, verwenden wir Googles Beispiel-Klassifizierungsskript mit einem vortrainierten MobileNet-Modell:</p> # Python-Pakete installieren sudo apt-get install python3-pycoral # Beispiel-Code und Modelle herunterladen mkdir -p ~/coral && cd ~/coral git clone https://github.com/google-coral/pycoral.git cd pycoral # Vogel-Klassifizierungsbeispiel ausführen python3 examples/classify_image.py \ --model test_data/mobilenet_v2_1.0_224_inat_bird_quant_edgetpu.tflite \ --labels test_data/inat_bird_labels.txt \ --input test_data/parrot.jpg </code></pre> Die Ausgabe sollte Inferenz-Ergebnisse mit Konfidenzwerten zeigen, was bestätigt, dass die Edge TPU korrekt funktioniert.</p> Docker-Installation</h3> Docker bietet Containerisierung für die Anwendungen, die wir ausführen werden (Frigate, MediaMTX, etc.). Dies hält Abhängigkeiten isoliert und macht das Deployment wesentlich sauberer.</p> Docker mit dem offiziellen Convenience-Script von docker.com</a> installieren:</p> curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh sudo usermod -aG docker $USER </code></pre> Nach der Installation ab- und wieder anmelden, damit Änderungen der Gruppenzugehörigkeit wirksam werden.</p> Docker so konfigurieren, dass es automatisch beim Booten startet:</p> sudo systemctl enable docker.service sudo systemctl enable containerd.service </code></pre> Edge TPU testen (Optional)</h3> Um zu verifizieren, dass die Edge TPU innerhalb eines Docker-Containers funktioniert, können wir ein Test-Image bauen. Dies ist besonders nützlich, wenn man plant, die TPU mit containerisierten Anwendungen zu nutzen.</p> Test-Verzeichnis und Dockerfile erstellen:</p> mkdir coraltest cd coraltest sudo nano Dockerfile </code></pre> In die neue Datei einfügen:</p> FROM debian:10 WORKDIR /home ENV HOME /home RUN cd ~ RUN apt-get update RUN apt-get install -y git nano python3-pip python-dev pkg-config wget usbutils curl RUN echo "deb https://packages.cloud.google.com/apt coral-edgetpu-stable main" \ | tee /etc/apt/sources.list.d/coral-edgetpu.list RUN curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - RUN apt-get update RUN apt-get install -y edgetpu-examples RUN apt-get install libedgetpu1-std CMD /bin/bash </code></pre> Test-Container bauen und ausführen, Coral-Gerät durchreichen:</p> # Docker-Container bauen docker build -t "coral" . # Docker-Container ausführen docker run -it --device /dev/apex_0:/dev/apex_0 coral /bin/bash </code></pre> Innerhalb des Containers ein Inferenz-Beispiel ausführen:</p> # Inferenz-Beispiel innerhalb des Containers ausführen python3 /usr/share/edgetpu/examples/classify_image.py --model /usr/share/edgetpu/examples/models/mobilenet_v2_1.0_224_inat_bird_quant_edgetpu.tflite --label /usr/share/edgetpu/examples/models/inat_bird_labels.txt --image /usr/share/edgetpu/examples/images/bird.bmp </code></pre> Man sollte Inferenz-Ergebnisse mit Konfidenzwerten von der Edge TPU sehen. Falls nicht, einen sauberen Neustart des Systems versuchen.</p> Portainer (Optional)</h3> Portainer bietet eine webbasierte GUI für die Verwaltung von Docker-Containern, Images und Volumes. Obwohl nicht erforderlich, macht es das Container-Management deutlich komfortabler.</p> Dies ist optional, gibt einem eine Browser-GUI für die verschiedenen Docker-Container.</p> </blockquote> Portainer installieren:</p> docker volume create portainer_data docker run -d -p 8000:8000 -p 9443:9443 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer-ce:latest </code></pre> Portainer im Browser aufrufen und Admin-Passwort setzen:</p> Navigieren zu: https://airaspi.local:9443</a></li> </ul> VNC-Setup (Optional)</h3> VNC bietet Remote-Desktop-Zugriff auf den Headless-Raspberry Pi. Dies ist besonders nützlich zum Testen von Kameras und Debuggen von visuellen Problemen, ohne einen physischen Monitor anzuschließen.</p> Dies ist optional, nützlich zum Testen der Kameras auf dem Headless-Gerät. Man könnte einen Monitor anschließen, aber ich finde VNC bequemer.</p> </blockquote> VNC über das Raspberry Pi Konfigurationstool aktivieren:</p> sudo raspi-config </code></pre> Navigieren zu: Interface Options</strong> → VNC</strong> → Enable</strong></p> Verbindung über VNC Viewer</h3> RealVNC Viewer</a> auf dem Computer installieren (verfügbar für macOS, Windows und Linux).</p> Mit der Adresse verbinden: airaspi.local:5900</code></p> Man wird nach Benutzernamen und Passwort des Raspberry Pi gefragt. Nach der Verbindung hat man vollen Remote-Desktop-Zugriff zum Testen von Kameras und Debuggen.</p> Frigate NVR Setup</h2> Frigate ist ein vollständiger Network Video Recorder (NVR) mit Echtzeit-Objektdetektion, angetrieben von der Coral Edge TPU. Es ist das Herzstück dieses Edge-AI-Systems.</p> Docker Compose Konfiguration</h3> Dieses Setup verwendet Docker Compose, um den Frigate-Container mit allen notwendigen Konfigurationen zu definieren. Wenn man Portainer verwendet, kann man dies als Custom Stack hinzufügen.</p> Wichtig: Die Pfade müssen auf die eigenen Pfade angepasst werden.</p> </blockquote> version: "3.9" services: frigate: container_name: frigate privileged: true # dies ist möglicherweise nicht für alle Setups notwendig restart: unless-stopped image: ghcr.io/blakeblackshear/frigate:stable shm_size: "64mb" # für Kameras basierend auf obiger Berechnung aktualisieren devices: - /dev/apex_0:/dev/apex_0 # reicht PCIe Coral durch, Treiberanweisungen hier folgen https://coral.ai/docs/m2/get-started/#2a-on-linux volumes: - /etc/localtime:/etc/localtime:ro - /home/aron/frigate/config.yml:/config/config.yml # durch eigene Config-Datei ersetzen - /home/aron/frigate/storage:/media/frigate # durch eigenes Storage-Verzeichnis ersetzen - type: tmpfs # Optional: 1GB Speicher, reduziert SSD/SD-Karten-Verschleiß target: /tmp/cache tmpfs: size: 1000000000 ports: - "5000:5000" - "8554:8554" # RTSP feeds - "8555:8555/tcp" # WebRTC über tcp - "8555:8555/udp" # WebRTC über udp environment: FRIGATE_RTSP_PASSWORD: "******" </code></pre> Wichtige Konfigurationspunkte in dieser Docker-Compose-Datei:</p> Privileged-Modus</strong> und Device-Mappings</strong>: Erforderlich für Hardwarezugriff (TPU, Kameras)</li> Shared Memory Size</strong>: Zugewiesen für effiziente Video-Frame-Verarbeitung</li> Port-Mappings</strong>: Macht Frigate's Web-UI (5000) und RTSP-Streams (8554) zugänglich</li> Volume-Mounts</strong>: Persistiert Aufnahmen, Konfiguration und Datenbank</li> </ul> Frigate-Konfigurationsdatei</h3> Frigate benötigt eine YAML-Konfigurationsdatei, um Kameras, Detektoren und Detektionszonen zu definieren. Diese Datei am Pfad erstellen, der in der docker-compose-Datei angegeben wurde (z.B. /home/aron/frigate/config.yml</code>).</p> Dies ist nur einmal notwendig. Danach kann man die Konfiguration in der GUI ändern.</p> </blockquote> Hier ist eine funktionierende Konfiguration mit der Coral TPU:</p> mqtt: enabled: False detectors: cpu1: type: cpu num_threads: 3 coral_pci: type: edgetpu device: pci cameras: cam1: # <++++++ Kamera benennen ffmpeg: hwaccel_args: preset-rpi-64-h264 inputs: - path: rtsp://192.168.1.58:8900/cam1 roles: - detect cam2: # <++++++ Kamera benennen ffmpeg: hwaccel_args: preset-rpi-64-h264 inputs: - path: rtsp://192.168.1.58:8900/cam2 roles: - detect detect: enabled: True # <+++- Detektion deaktivieren bis funktionierende Kamera-Feeds vorhanden width: 1280 # <+++- für Kameraauflösung aktualisieren height: 720 # <+++- für Kameraauflösung aktualisieren </code></pre> Diese Konfiguration:</p> Deaktiviert MQTT</strong>: Vereinfacht Setup für rein lokalen Betrieb</li> Definiert zwei Detektoren</strong>: Einen Coral-TPU-Detektor (coral</code>) und einen CPU-Fallback</li> Verwendet Standard-Detektionsmodell</strong>: Frigate enthält ein vortrainiertes Modell</li> Konfiguriert zwei Kameras</strong>: Beide auf 1280x720-Auflösung eingestellt</li> Verwendet Hardware-Beschleunigung</strong>: preset-rpi-64-h264</code> für Raspberry Pi 5</li> Detektionszonen</strong>: Nur aktivieren, wenn Kamera-Feeds ordnungsgemäß funktionieren</li> </ul> MediaMTX Setup</h2> MediaMTX ist ein Echtzeit-Medienserver, der das Streaming von den Raspberry-Pi-Kameras zu Frigate handhabt. Es ist notwendig, weil Frigate libcamera</code> (den modernen Raspberry Pi Kamera-Stack) nicht direkt unterstützt.</p> MediaMTX direkt auf dem System installieren (nicht via Docker - die Docker-Version hat Kompatibilitätsprobleme mit libcamera).</p> Chip-Architektur beim Download doppelt prüfen - dies verursachte mir erhebliche Kopfschmerzen beim Setup.</p> </blockquote> MediaMTX herunterladen und installieren:</p> mkdir mediamtx cd mediamtx wget https://github.com/bluenviron/mediamtx/releases/download/v1.5.0/mediamtx_v1.5.0_linux_arm64v8.tar.gz tar xzvf mediamtx_v1.5.0_linux_arm64v8.tar.gz && rm mediamtx_v1.5.0_linux_arm64v8.tar.gz </code></pre> MediaMTX-Konfiguration</h3> Die mediamtx.yml</code>-Datei bearbeiten, um Kamera-Streams zu konfigurieren. Die untenstehende Konfiguration verwendet rpicam-vid</code> (Raspberry Pis modernes Kamera-Tool), das durch FFmpeg geleitet wird, um RTSP-Streams zu erstellen.</p> Folgendes zum paths</code>-Abschnitt in mediamtx.yml</code> hinzufügen:</p> paths: cam1: runOnInit: bash -c 'rpicam-vid -t 0 --camera 0 --nopreview --codec yuv420 --width 1280 --height 720 --inline --listen -o - | ffmpeg -f rawvideo -pix_fmt yuv420p -s:v 1280x720 -i /dev/stdin -c:v libx264 -preset ultrafast -tune zerolatency -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH' runOnInitRestart: yes cam2: runOnInit: bash -c 'rpicam-vid -t 0 --camera 1 --nopreview --codec yuv420 --width 1280 --height 720 --inline --listen -o - | ffmpeg -f rawvideo -pix_fmt yuv420p -s:v 1280x720 -i /dev/stdin -c:v libx264 -preset ultrafast -tune zerolatency -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH' runOnInitRestart: yes </code></pre> Diese Konfiguration:</p> cam1</code> und cam2</code></strong>: Definieren zwei Kamerapfade</li> rpicam-vid</code></strong>: Erfasst YUV420-Video von Raspberry-Pi-Kameras</li> ffmpeg</code></strong>: Transkodiert das Rohvideo zu H.264-RTSP-Stream</li> runOnInitRestart: yes</code></strong>: Startet Stream automatisch neu, falls er fehlschlägt</li> </ul> Port-Konfiguration</h3> Standard-RTSP-Port ändern, um Konflikte mit Frigate zu vermeiden:</p> In mediamtx.yml</code> ändern:</p> rtspAddress: :8554 </code></pre> Zu:</p> rtspAddress: :8900 </code></pre> Sonst gibt es einen Port-Konflikt mit Frigate.</p> MediaMTX starten</h3> MediaMTX im Vordergrund ausführen, um zu verifizieren, dass es funktioniert:</p> ./mediamtx </code></pre> Wenn keine Fehler auftreten, Streams mit VLC oder einem anderen RTSP-Client verifizieren:</p> rtsp://airaspi.local:8900/cam1</code></li> rtsp://airaspi.local:8900/cam2</code></li> </ul> Hinweis: Standard-RTSP-Port ist 8554, aber wir haben ihn in der Konfiguration auf 8900 geändert.</p> Aktueller Status und Performance</h2> Was funktioniert</h3> Das System streamt erfolgreich von beiden Kameras mit 30fps und 720p-Auflösung. Die Coral Edge TPU führt Objektdetektion mit minimaler Latenz durch - die TPU selbst kommt nicht ins Schwitzen und behält durchgehend hohe Performance bei.</p> Laut Frigate-Dokumentation kann die TPU bis zu 10 Kameras handhaben, es gibt also erheblichen Spielraum für Erweiterung.</p> Aktuelle Probleme</h3> Es gibt jedoch mehrere signifikante Probleme, die das System behindern:</p> 1. Frigate Display-Limitierungen</strong></p> Frigate begrenzt die Display-FPS auf 5, was deprimierend anzusehen ist, besonders da die TPU nicht einmal ins Schwitzen kommt. Die Hardware ist eindeutig zu viel mehr fähig, aber Software-Limitierungen halten sie zurück.</p> 2. Stream-Stabilitätsprobleme</strong></p> Der Stream ist völlig unberechenbar und droppt ständig Frames. Ich habe manchmal Detektions-FPS von nur 0,2 beobachtet, aber die TPU-Geschwindigkeit sollte definitiv nicht der Flaschenhals sein. Eine mögliche Lösung könnte sein, die Kameras an ein separates Gerät anzuschließen und von dort zu streamen.</p> 3. Coral-Software-Aufgabe</strong></p> Das größte Problem ist, dass Google das Coral-Ökosystem scheinbar aufgegeben hat, obwohl sie gerade neue Hardware dafür veröffentlicht haben. Ihr aktuellster Python-Build unterstützt nur Python 3.9.</p> Speziell scheint pycoral</code> das Problem zu sein - ohne ein ordentliches Update bin ich auf Debian 10 mit Python 3.7.3 beschränkt. Das ist mies. Es gibt Custom-Wheels, aber nichts, das plug-and-play zu sein scheint.</p> Dies schränkt die Fähigkeit, moderne Software und Bibliotheken mit dem System zu nutzen, erheblich ein.</p> Reflexionen und Lessons Learned</h2> Hardware-Entscheidungen</h3> Die M.2 E Key-Wahl</strong></p> Die Entscheidung, die M.2 E Key-Version zu nehmen, um Geld zu sparen, anstatt mehr für die USB-Version auszugeben, war ein riesiger Fehler. Bitte tu dir selbst einen Gefallen und gib die zusätzlichen 40 Euro aus.</p> Technisch ist sie wahrscheinlich schneller und besser für Dauerbetrieb, aber ich habe den Vorteil davon noch nicht gespürt. Die USB-Version hätte wesentlich mehr Flexibilität und einfacheres Debugging geboten.</p> Zukünftige Entwicklung</h2> Mehrere Verbesserungen und Experimente sind geplant, um dieses System zu erweitern:</p> Dokumentation und visuelle Hilfsmittel</strong></p> Bilder und Screenshots zu diesem Build-Protokoll hinzufügen, um es einfacher nachzuvollziehen</li> </ul> Mobile-Stream-Integration</strong></p> Prüfen, ob vdo.ninja</a> ein praktikabler Weg ist, mobile Streams hinzuzufügen, um Smartphone-Kamera-Integration und -Evaluierung zu ermöglichen</li> </ul> MediaMTX libcamera-Unterstützung</strong></p> Die MediaMTX-Entwickler*innen bezüglich libcamera-Unterstützung kontaktieren, was den aktuellen rpicam-vid</code>-Workaround eliminieren würde. Ich vermute, dass in der aktuellen Pipeline einiges an Performance verloren geht.</li> </ul> Frigate-Konfigurationsverfeinerung</strong></p> Die Frigate-Konfiguration optimieren, um Snapshots zu aktivieren und möglicherweise eine Bild-/Videodatenbank zum späteren Training benutzerdefinierter Modelle aufzubauen</li> </ul> Speichererweiterung</strong></p> Sich um das Anbringen einer externen SSD kümmern und die Videodateien darauf für Langzeitspeicherung und -analyse speichern</li> </ul> Datenexport-Fähigkeiten</strong></p> Einen Weg finden, die Landmarkenpunkte von Frigate zu exportieren, möglicherweise via OSC (wie in meinem pose2art</a>-Projekt) für kreative Anwendungen zu senden</li> </ul> Dual-TPU-Zugriff</strong></p> Einen anderen HAT finden, der Zugriff auf die andere TPU ermöglicht - ich habe die Dual-Version, kann aber aufgrund von Hardware-Einschränkungen derzeit nur auf 1 der 2 TPUs zugreifen</li> </ul>