<!doctype html><htmldata-theme=lightlang=dexmlns=http://www.w3.org/1999/xhtml><head><metacharset=UTF-8><metacontent="Mein Portfolio, Blog und allgemeine Präsenz online"name=description><metacontent="width=device-width,initial-scale=1"name=viewport><metacontent=#FF7E3Cname=theme-color><metacontent=#CC5A26media=(prefers-color-scheme:dark)name=theme-color><title>AIRASPI Build-Protokoll - Aron Petau</title><linkhref=https://aron.petau.net/de/project/airaspi-build-log/rel=canonical><linkhref=https://mastodon.online/@reprintedAronrel=me><metacontent=@reprintedAron@mastodon.onlinename=fediverse:creator><linkhref=/favicon/favicon-96x96.pngrel=iconsizes=96x96type=image/png><linkhref=/favicon/favicon.svgrel=icontype=image/svg+xml><linkrel="shortcut icon"href=/favicon/favicon.ico><linkhref=/favicon/apple-touch-icon.pngrel=apple-touch-iconsizes=180x180><metacontent="Aron Petau"name=apple-mobile-web-app-title><linkhref=/favicon/site.webmanifestrel=manifest><linkcrossoriginhref=https://cdnjs.cloudflare.com/ajax/libs/font-awesome/6.7.2/css/all.min.cssintegrity=sha512-...referrerpolicy=no-referrerrel=stylesheet><linktitle="Aron Petau - Atom Feed"href=https://aron.petau.net/atom.xmlrel=alternatetype=application/atom+xml><style>:root{--accent-color:#ff7e3c}[data-theme=dark]{--accent-color:#cc5a26}@media(prefers-color-scheme:dark){:root:not([data-theme=light]){--accent-color:#cc5a26}}</style><linkhref=https://aron.petau.net/style.cssrel=stylesheet><linkhref=https://aron.petau.net/css/timeline.cssrel=stylesheet><linkhref=https://aron.petau.net/css/mermaid.cssrel=stylesheet><linkhref=https://aron.petau.net/css/skills.cssrel=stylesheet><linkhref=https://aron.petau.net/css/gallery.cssrel=stylesheet><scriptdefersrc=https://aron.petau.net/closable.js></script><scriptdefersrc=https://aron.petau.net/copy-button.js></script><scriptdata-goatcounter=https://awebsite.goatcounter.com/countdefersrc=https://aron.petau.net/count.js></script><scriptdefersrc=https://aron.petau.net/fuse.js></script><scriptdefersrc=https://aron.petau.net/search-fuse.js></script><scriptdefersrc=https://aron.petau.net/theme-switcher.js></script><scripttype=module>importmermaidfrom'https://cdn.jsdelivr.net/npm/mermaid@11/dist/mermaid.esm.min.mjs';
mermaid.initialize({ startOnLoad: true });</script><metacontent="Aron Petau"property=og:site_name><metacontent="AIRASPI Build-Protokoll - Aron Petau"property=og:title><metacontent=https://aron.petau.net/de/project/airaspi-build-log/property=og:url><metacontent="Nutzung einer Edge-TPU zum Bau eines Edge-Geräts für Bilderkennung und Objektdetektion"property=og:description><metacontent=https://aron.petau.net/card.pngproperty=og:image><metacontent=de_DEproperty=og:locale><body><headerid=site-nav><nav><ahref=#main-contenttabindex=0> Zum Hauptinhalt springen </a><ul><liid=home><ahref=https://aron.petau.net/de/><iclass=icon></i>Aron Petau</a><liclass=divider><li><ahref=https://aron.petau.net/de/project/>Projekte</a><li><ahref=https://aron.petau.net/de/pages/contact/>Kontakt</a><li><ahref=https://aron.petau.net/de/pages/cv/>Vita</a><li><ahref=https://aron.petau.net/de/pages/about/>Über mich</a><liid=search><buttonclass=circleid=search-toggletitle=Suche><iclass=icon></i></button><liid=language-switcher><detailsclass=closable><summaryclass=circletitle=Sprache><iclass=icon></i></summary><ul><li><ahref=https://aron.petau.net/project/airaspi-build-log/lang=en>English</a></ul></details><liid=theme-switcher><detailsclass=closable><summaryclass=circletitle=Thema><iclass=icon></i></summary><ul><li><buttontitle="Zum hellen Thema wechseln"class=circleid=theme-light><iclass=icon></i></button><li><buttontitle="Zum dunklen Thema wechseln"class=circleid=theme-dark><iclass=icon></i></button><li><buttontitle="Systemthema nutzen"class=circleid=theme-system><iclass=icon></i></button></ul></details><liid=feed><aclass=circlehref=https://aron.petau.net/de/atom.xmltitle=Feed><iclass=icon></i></a><liid=repo><aclass=circlehref=https://forgejo.petau.net/aron/awebsitetitle=Repository><iclass=icon></i></a></ul></nav><divid=search-container><labelclass=visually-hiddenfor=search-bar>Suche</label><inputplaceholder="Suche nach…"autocomplete=offdisabledid=search-bartype=search><divid=search-results-container><divid=search-results></div></div></div></header><mainid=main-content><article><divid=heading><p><small><timedatetime=" 2024-01-30T00:00:00+00:00">Veröffentlicht am 30. 01. 2024</time></small><h1>AIRASPI Build-Protokoll</h1><p><small><span>Von Aron Petau</span><span> • </span><span>12 Minuten gelesen</span><span> • </span></small><ulclass=tags><li><aclass=taghref=https://aron.petau.net/de/tags/coral/>coral</a><li><aclass=taghref=https://aron.petau.net/de/tags/docker/>docker</a><li><aclass=taghref=https://aron.petau.net/de/tags/edge-tpu/>edge TPU</a><li><aclass=taghref=https://aron.petau.net/de/tags/edge-computing/>edge computing</a><li><aclass=taghref=https://aron.petau.net/de/tags/frigate/>frigate</a><li><aclass=taghref=https://aron.petau.net/de/tags/local-ai/>local AI</a><li><aclass=taghref=https://aron.petau.net/de/tags/private/>private</a><li><aclass=taghref=https://aron.petau.net/de/tags/raspberry-pi/>raspberry pi</a><li><aclass=taghref=https://aron.petau.net/de/tags/surveillance/>surveillance</a></ul></div><divid=buttons-container><atitle="Nach Oben gehen"href=#topid=go-to-top><iclass=icon></i></a><ahref="https://shareopenly.org/share/?url=https://aron.petau.net/de/project/airaspi-build-log/&text=Nutzung%20einer%20Edge-TPU%20zum%20Bau%20eines%20Edge-Ger%C3%A4ts%20f%C3%BCr%20Bilderkennung%20und%20Objektdetektion"id=sharetitle=Teilen><iclass=icon></i></a><atitle="Ein Issue erstellen"href=https://forgejo.petau.net/aron/awebsite/issuesid=issue><iclass=icon></i></a></div><h2id=AI-Raspi_Build-Protokoll>AI-Raspi Build-Protokoll</h2><p>Dieses Dokument dokumentiert den Prozess des Baus eines maßgeschneiderten Edge-Computing-Geräts für Echtzeit-Bilderkennung und Objektdetektion. Das Ziel war es, ein portables, eigenständiges System zu schaffen, das unabhängig von Cloud-Infrastruktur funktionieren kann.<p><strong>Projektziele:</strong><p>Bau eines Edge-Geräts mit Bilderkennung und Objektdetektion, das Video in Echtzeit verarbeite
</code></pre><h3id=Vorbereitung_des_Systems_für_Coral_TPU>Vorbereitung des Systems für Coral TPU</h3><p>Die PCIe-Schnittstelle des Raspberry Pi 5 erfordert eine spezifische Konfiguration, um mit der Coral Edge TPU zu funktionieren. Dieser Abschnitt war technisch am anspruchsvollsten und umfasste Kernel-Modifikationen und Device-Tree-Änderungen. Ein großes Dankeschön an Jeff Geerling für die Dokumentation dieses Prozesses—ohne sein detailliertes Troubleshooting wäre dies nahezu unmöglich gewesen.<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh># Kernel-Version prüfen
</code></pre><p>Während man in der Datei ist, folgende Zeilen hinzufügen:<preclass=language-configdata-lang=config><codeclass=language-configdata-lang=config>kernel=kernel8.img
</code></pre><ul><li>sollte jetzt anders sein, mit einem -v8 am Ende</ul><p>/boot/firmware/cmdline.txt bearbeiten<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>sudo nano /boot/firmware/cmdline.txt
</code></pre><ul><li>pcie_aspm=off vor rootwait hinzufügen</ul><preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>sudo reboot
</code></pre><h3id=Modifizierung_des_Device_Tree>Modifizierung des Device Tree</h3><h4id=Initialer_Script-Versuch_(Veraltet)>Initialer Script-Versuch (Veraltet)</h4><p>Anfangs gab es ein automatisiertes Script, das die Device-Tree-Modifikationen handhaben sollte. Jedoch erwies sich dieses Script als problematisch und verursachte Probleme während meines Builds.<blockquoteclass=markdown-alert-warning><p>vielleicht ist dieses Script das Problem? ich werde es ohne erneut versuchen</blockquote><preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>curl https://gist.githubusercontent.com/dataslayermedia/714ec5a9601249d9ee754919dea49c7e/raw/32d21f73bd1ebb33854c2b059e94abe7767c3d7e/coral-ai-pcie-edge-tpu-raspberrypi-5-setup | sh
</code></pre><p>Ja, es war das problematische Script. Ich habe einen Kommentar dokumentiert, der das Problem auf dem ursprünglichen Gist beschreibt: <ahref="https://gist.github.com/dataslayermedia/714ec5a9601249d9ee754919dea49c7e?permalink_comment_id=4860232#gistcomment-4860232">Mein Kommentar auf dem Gist</a><h4id=Manuelle_Device-Tree-Modifikation_(Empfohlen)>Manuelle Device-Tree-Modifikation (Empfohlen)</h4><p>Anstatt mich auf das automatisierte Script zu verlassen, folgte ich Jeff Geerlings manuellem Ansatz. Diese Methode gibt vollständige Kontrolle über den Prozess und hilft zu verstehen, was tatsächlich unter der Haube passiert.<blockquoteclass=markdown-alert-note><p>In der Zwischenzeit wurde das Script aktualisiert und wird nun wieder empfohlen.</blockquote><p>Der Device-Tree-Modifikationsprozess umfasst das Sichern des aktuellen Device-Tree-Blobs (DTB), das Dekompilieren in ein lesbares Format, das Bearbeiten der MSI-Parent-Referenz zur Behebung von PCIe-Kompatibilitätsproblemen und dann das Zurückkompilieren in Binärformat. Hier ist der schrittweise Prozess:<p><strong>1. Device Tree sichern und dekompilieren</strong><preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh># Aktuelles dtb sichern
</code></pre><blockquoteclass=markdown-alert-note><p>Hinweis: msi-parent scheint heutzutage den Wert <0x2c> zu haben, hat mich ein paar Stunden gekostet.</blockquote><p><strong>2. Änderungen verifizieren</strong><p>Nach dem Neustart prüfen, dass die Coral TPU vom System erkannt wird:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>lspci -nn | grep 089a
</code></pre><p>Die Ausgabe sollte ähnlich sein: <code>0000:01:00.0 System peripheral [0880]: Global Unichip Corp. Coral Edge TPU [1ac1:089a]</code><h3id=Installation_des_Apex-Treibers>Installation des Apex-Treibers</h3><p>Mit dem ordnungsgemäß konfigurierten Device Tree ist der nächste Schritt die Installation von Googles Apex-Treiber für die Coral Edge TPU. Dieser Treiber ermöglicht die Kommunikation zwischen Betriebssystem und TPU-Hardware.<p>Gemäß den offiziellen Anweisungen von <ahref=https://coral.ai/docs/m2/get-started#2a-on-linux>coral.ai</a>:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>echo "deb https://packages.cloud.google.com/apt coral-edgetpu-stable main" | sudo tee /etc/apt/sources.list.d/coral-edgetpu.list
</code></pre><p>Diese Sequenz:<ol><li>Fügt Googles Paket-Repository und GPG-Schlüssel hinzu<li>Installiert das gasket DKMS-Modul (Kernel-Treiber) und Edge-TPU-Runtime-Bibliothek<li>Erstellt udev-Regeln für Geräteberechtigungen<li>Erstellt eine <code>apex</code>-Gruppe und fügt den Benutzer hinzu<li>Neustart zum Laden des Treibers</ol><p>Nach dem Neustart Installation verifizieren:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>lspci -nn | grep 089a
</code></pre><p>Dies sollte die verbundene Coral TPU als PCIe-Gerät anzeigen.<p>Als Nächstes bestätigen, dass der Device-Node mit entsprechenden Berechtigungen existiert:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>ls -l /dev/apex_0
</code></pre><p>Wenn die Ausgabe <code>/dev/apex_0</code> mit entsprechenden Gruppenberechtigungen zeigt, war die Installation erfolgreich. Falls nicht, udev-Regeln und Gruppenzugehörigkeit überprüfen.<h3id=Testen_mit_Beispielmodellen>Testen mit Beispielmodellen</h3><p>Um zu verifizieren, dass die TPU korrekt funktioniert, verwenden wir Googles Beispiel-Klassifizierungsskript mit einem vortrainierten MobileNet-Modell:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh># Python-Pakete installieren
</code></pre><p>Die Ausgabe sollte Inferenz-Ergebnisse mit Konfidenzwerten zeigen, was bestätigt, dass die Edge TPU korrekt funktioniert.<h3id=Docker-Installation>Docker-Installation</h3><p>Docker bietet Containerisierung für die Anwendungen, die wir ausführen werden (Frigate, MediaMTX, etc.). Dies hält Abhängigkeiten isoliert und macht das Deployment wesentlich sauberer.<p>Docker mit dem offiziellen Convenience-Script von <ahref=https://docs.docker.com/engine/install/debian/#install-using-the-convenience-script>docker.com</a> installieren:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>curl -fsSL https://get.docker.com -o get-docker.sh
</code></pre><p>Nach der Installation ab- und wieder anmelden, damit Änderungen der Gruppenzugehörigkeit wirksam werden.<p>Docker so konfigurieren, dass es automatisch beim Booten startet:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>sudo systemctl enable docker.service
</code></pre><h3id=Edge_TPU_testen_(Optional)>Edge TPU testen (Optional)</h3><p>Um zu verifizieren, dass die Edge TPU innerhalb eines Docker-Containers funktioniert, können wir ein Test-Image bauen. Dies ist besonders nützlich, wenn man plant, die TPU mit containerisierten Anwendungen zu nutzen.<p>Test-Verzeichnis und Dockerfile erstellen:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>mkdir coraltest
</code></pre><p>In die neue Datei einfügen:<preclass=language-Dockerfiledata-lang=Dockerfile><codeclass=language-Dockerfiledata-lang=Dockerfile>FROM debian:10
</code></pre><p>Innerhalb des Containers ein Inferenz-Beispiel ausführen:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh># Inferenz-Beispiel innerhalb des Containers ausführen
</code></pre><p>Man sollte Inferenz-Ergebnisse mit Konfidenzwerten von der Edge TPU sehen. Falls nicht, einen sauberen Neustart des Systems versuchen.<h3id=Portainer_(Optional)>Portainer (Optional)</h3><p>Portainer bietet eine webbasierte GUI für die Verwaltung von Docker-Containern, Images und Volumes. Obwohl nicht erforderlich, macht es das Container-Management deutlich komfortabler.<blockquoteclass=markdown-alert-note><p>Dies ist optional, gibt einem eine Browser-GUI für die verschiedenen Docker-Container.</blockquote><p>Portainer installieren:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>docker volume create portainer_data
</code></pre><p>Portainer im Browser aufrufen und Admin-Passwort setzen:<ul><li>Navigieren zu: <ahref=https://airaspi.local:9443>https://airaspi.local:9443</a></ul><h3id=VNC-Setup_(Optional)>VNC-Setup (Optional)</h3><p>VNC bietet Remote-Desktop-Zugriff auf den Headless-Raspberry Pi. Dies ist besonders nützlich zum Testen von Kameras und Debuggen von visuellen Problemen, ohne einen physischen Monitor anzuschließen.<blockquoteclass=markdown-alert-note><p>Dies ist optional, nützlich zum Testen der Kameras auf dem Headless-Gerät. Man könnte einen Monitor anschließen, aber ich finde VNC bequemer.</blockquote><p>VNC über das Raspberry Pi Konfigurationstool aktivieren:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>sudo raspi-config
</code></pre><p>Navigieren zu: <strong>Interface Options</strong> → <strong>VNC</strong> → <strong>Enable</strong><h3id=Verbindung_über_VNC_Viewer>Verbindung über VNC Viewer</h3><p><ahref=https://www.realvnc.com/en/connect/download/viewer/>RealVNC Viewer</a> auf dem Computer installieren (verfügbar für macOS, Windows und Linux).<p>Mit der Adresse verbinden: <code>airaspi.local:5900</code><p>Man wird nach Benutzernamen und Passwort des Raspberry Pi gefragt. Nach der Verbindung hat man vollen Remote-Desktop-Zugriff zum Testen von Kameras und Debuggen.<h2id=Frigate_NVR_Setup>Frigate NVR Setup</h2><p>Frigate ist ein vollständiger Network Video Recorder (NVR) mit Echtzeit-Objektdetektion, angetrieben von der Coral Edge TPU. Es ist das Herzstück dieses Edge-AI-Systems.<h3id=Docker_Compose_Konfiguration>Docker Compose Konfiguration</h3><p>Dieses Setup verwendet Docker Compose, um den Frigate-Container mit allen notwendigen Konfigurationen zu definieren. Wenn man Portainer verwendet, kann man dies als Custom Stack hinzufügen.<blockquoteclass=markdown-alert-important><p>Wichtig: Die Pfade müssen auf die eigenen Pfade angepasst werden.</blockquote><preclass=language-yamldata-lang=yaml><codeclass=language-yamldata-lang=yaml>version: "3.9"
</code></pre><p>Wichtige Konfigurationspunkte in dieser Docker-Compose-Datei:<ul><li><strong>Privileged-Modus</strong> und <strong>Device-Mappings</strong>: Erforderlich für Hardwarezugriff (TPU, Kameras)<li><strong>Shared Memory Size</strong>: Zugewiesen für effiziente Video-Frame-Verarbeitung<li><strong>Port-Mappings</strong>: Macht Frigate's Web-UI (5000) und RTSP-Streams (8554) zugänglich<li><strong>Volume-Mounts</strong>: Persistiert Aufnahmen, Konfiguration und Datenbank</ul><h3id=Frigate-Konfigurationsdatei>Frigate-Konfigurationsdatei</h3><p>Frigate benötigt eine YAML-Konfigurationsdatei, um Kameras, Detektoren und Detektionszonen zu definieren. Diese Datei am Pfad erstellen, der in der docker-compose-Datei angegeben wurde (z.B. <code>/home/aron/frigate/config.yml</code>).<blockquoteclass=markdown-alert-note><p>Dies ist nur einmal notwendig. Danach kann man die Konfiguration in der GUI ändern.</blockquote><p>Hier ist eine funktionierende Konfiguration mit der Coral TPU:<preclass=language-yamldata-lang=yaml><codeclass=language-yamldata-lang=yaml>mqtt:
enabled: True # <+++- Detektion deaktivieren bis funktionierende Kamera-Feeds vorhanden
width: 1280 # <+++- für Kameraauflösung aktualisieren
height: 720 # <+++- für Kameraauflösung aktualisieren
</code></pre><p>Diese Konfiguration:<ul><li><strong>Deaktiviert MQTT</strong>: Vereinfacht Setup für rein lokalen Betrieb<li><strong>Definiert zwei Detektoren</strong>: Einen Coral-TPU-Detektor (<code>coral</code>) und einen CPU-Fallback<li><strong>Verwendet Standard-Detektionsmodell</strong>: Frigate enthält ein vortrainiertes Modell<li><strong>Konfiguriert zwei Kameras</strong>: Beide auf 1280x720-Auflösung eingestellt<li><strong>Verwendet Hardware-Beschleunigung</strong>: <code>preset-rpi-64-h264</code> für Raspberry Pi 5<li><strong>Detektionszonen</strong>: Nur aktivieren, wenn Kamera-Feeds ordnungsgemäß funktionieren</ul><h2id=MediaMTX_Setup>MediaMTX Setup</h2><p>MediaMTX ist ein Echtzeit-Medienserver, der das Streaming von den Raspberry-Pi-Kameras zu Frigate handhabt. Es ist notwendig, weil Frigate <code>libcamera</code> (den modernen Raspberry Pi Kamera-Stack) nicht direkt unterstützt.<p>MediaMTX direkt auf dem System installieren (nicht via Docker - die Docker-Version hat Kompatibilitätsprobleme mit libcamera).<blockquoteclass=markdown-alert-warning><p>Chip-Architektur beim Download doppelt prüfen - dies verursachte mir erhebliche Kopfschmerzen beim Setup.</blockquote><p>MediaMTX herunterladen und installieren:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>mkdir mediamtx
</code></pre><h3id=MediaMTX-Konfiguration>MediaMTX-Konfiguration</h3><p>Die <code>mediamtx.yml</code>-Datei bearbeiten, um Kamera-Streams zu konfigurieren. Die untenstehende Konfiguration verwendet <code>rpicam-vid</code> (Raspberry Pis modernes Kamera-Tool), das durch FFmpeg geleitet wird, um RTSP-Streams zu erstellen.<p>Folgendes zum <code>paths</code>-Abschnitt in <code>mediamtx.yml</code> hinzufügen:<preclass=language-yamldata-lang=yaml><codeclass=language-yamldata-lang=yaml>paths:
</code></pre><p>Diese Konfiguration:<ul><li><strong><code>cam1</code> und <code>cam2</code></strong>: Definieren zwei Kamerapfade<li><strong><code>rpicam-vid</code></strong>: Erfasst YUV420-Video von Raspberry-Pi-Kameras<li><strong><code>ffmpeg</code></strong>: Transkodiert das Rohvideo zu H.264-RTSP-Stream<li><strong><code>runOnInitRestart: yes</code></strong>: Startet Stream automatisch neu, falls er fehlschlägt</ul><h3id=Port-Konfiguration>Port-Konfiguration</h3><p>Standard-RTSP-Port ändern, um Konflikte mit Frigate zu vermeiden:<p>In <code>mediamtx.yml</code> ändern:<preclass=language-yamldata-lang=yaml><codeclass=language-yamldata-lang=yaml>rtspAddress: :8554
</code></pre><p>Sonst gibt es einen Port-Konflikt mit Frigate.<h3id=MediaMTX_starten>MediaMTX starten</h3><p>MediaMTX im Vordergrund ausführen, um zu verifizieren, dass es funktioniert:<preclass=language-zshdata-lang=zsh><codeclass=language-zshdata-lang=zsh>./mediamtx
</code></pre><p>Wenn keine Fehler auftreten, Streams mit VLC oder einem anderen RTSP-Client verifizieren:<ul><li><code>rtsp://airaspi.local:8900/cam1</code><li><code>rtsp://airaspi.local:8900/cam2</code></ul><p>Hinweis: Standard-RTSP-Port ist 8554, aber wir haben ihn in der Konfiguration auf 8900 geändert.<h2id=Aktueller_Status_und_Performance>Aktueller Status und Performance</h2><h3id=Was_funktioniert>Was funktioniert</h3><p>Das System streamt erfolgreich von beiden Kameras mit 30fps und 720p-Auflösung. Die Coral Edge TPU führt Objektdetektion mit minimaler Latenz durch - die TPU selbst kommt nicht ins Schwitzen und behält durchgehend hohe Performance bei.<p>Laut Frigate-Dokumentation kann die TPU bis zu 10 Kameras handhaben, es gibt also erheblichen Spielraum für Erweiterung.<h3id=Aktuelle_Probleme>Aktuelle Probleme</h3><p>Es gibt jedoch mehrere signifikante Probleme, die das System behindern:<p><strong>1. Frigate Display-Limitierungen</strong><p>Frigate begrenzt die Display-FPS auf 5, was deprimierend anzusehen ist, besonders da die TPU nicht einmal ins Schwitzen kommt. Die Hardware ist eindeutig zu viel mehr fähig, aber Software-Limitierungen halten sie zurück.<p><strong>2. Stream-Stabilitätsprobleme</strong><p>Der Stream ist völlig unberechenbar und droppt ständig Frames. Ich habe manchmal Detektions-FPS von nur 0,2 beobachtet, aber die TPU-Geschwindigkeit sollte definitiv nicht der Flaschenhals sein. Eine mögliche Lösung könnte sein, die Kameras an ein separates Gerät anzuschließen und von dort zu streamen.<p><strong>3. Coral-Software-Aufgabe</strong><p>Das größte Problem ist, dass Google das Coral-Ökosystem scheinbar aufgegeben hat, obwohl sie gerade neue Hardware dafür veröffentlicht haben. Ihr aktuellster Python-Build unterstützt nur Python 3.9.<p>Speziell scheint <code>pycoral</code> das Problem zu sein - ohne ein ordentliches Update bin ich auf Debian 10 mit Python 3.7.3 beschränkt. Das ist mies. Es gibt Custom-Wheels, aber nichts, das plug-and-play zu sein scheint.<p>Dies schränkt die Fähigkeit, moderne Software und Bibliotheken mit dem System zu nutzen, erheblich ein.<h2id=Reflexionen_und_Lessons_Learned>Reflexionen und Lessons Learned</h2><h3id=Hardware-Entscheidungen>Hardware-Entscheidungen</h3><p><strong>Die M.2 E Key-Wahl</strong><p>Die Entscheidung, die M.2 E Key-Version zu nehmen, um Geld zu sparen, anstatt mehr für die USB-Version auszugeben, war ein riesiger Fehler. Bitte tu dir selbst einen Gefallen und gib die zusätzlichen 40 Euro aus.<p>Technisch ist sie wahrscheinlich schneller und besser für Dauerbetrieb, aber ich habe den Vorteil davon noch nicht gespürt. Die USB-Version hätte wesentlich mehr Flexibilität und einfacheres Debugging geboten.<h2id=Zukünftige_Entwicklung>Zukünftige Entwicklung</h2><p>Mehrere Verbesserungen und Experimente sind geplant, um dieses System zu erweitern:<p><strong>Dokumentation und visuelle Hilfsmittel</strong><ul><li>Bilder und Screenshots zu diesem Build-Protokoll hinzufügen, um es einfacher nachzuvollziehen</ul><p><strong>Mobile-Stream-Integration</strong><ul><li>Prüfen, ob <ahref=https://vdo.ninja>vdo.ninja</a> ein praktikabler Weg ist, mobile Streams hinzuzufügen, um Smartphone-Kamera-Integration und -Evaluierung zu ermöglichen</ul><p><strong>MediaMTX libcamera-Unterstützung</strong><ul><li>Die MediaMTX-Entwickler*innen bezüglich libcamera-Unterstützung kontaktieren, was den aktuellen <code>rpicam-vid</code>-Workaround eliminieren würde. Ich vermute, dass in der aktuellen Pipeline einiges an Performance verloren geht.</ul><p><strong>Frigate-Konfigurationsverfeinerung</strong><ul><li>Die Frigate-Konfiguration optimieren, um Snapshots zu aktivieren und möglicherweise eine Bild-/Videodatenbank zum späteren Training benutzerdefinierter Modelle aufzubauen</ul><p><strong>Speichererweiterung</strong><ul><li>Sich um das Anbringen einer externen SSD kümmern und die Videodateien darauf für Langzeitspeicherung und -analyse speichern</ul><p><strong>Datenexport-Fähigkeiten</strong><ul><li>Einen Weg finden, die Landmarkenpunkt
