KARARTISOLUTIONS beyzakararti.com
Menü
Sabyeza

Gesture 3D Viewer:
Drehen Sie das Modell von Hand

Eine Open-Source-Desktopanwendung, die lokale 3D-Modelle und Präsentationsbilder über das Webcam-Bild legt und sie alle mit Handgesten steuert. Halten Sie ein mechanisches Teil in die Luft und drehen Sie es, zoomen Sie mit beiden Händen hinein, sichern Sie es mit dem Präsentationsschloss und zeichnen Sie auf, während Sie erklären.

GLB · STL · OBJNative 3D-Modellunterstützung
MediaPipeHand-, Gesichts-, Posen- und Personensegmentierung
127.0.0.1alles ist lokal, die Kamera geht nicht aus
Open SourceÖffentlich verfügbar auf GitHub
GitHub-Repository

Gesten

Es gibt keine Maus,
Da ist eine Hand

Sie halten das Modell mit Daumen und Zeigefinger, öffnen und drehen Ihre Handfläche und zoomen hinein, indem Sie beide Hände öffnen und schließen. Bewegungen werden gegen Zittern abgeschwächt; Totzone und Begrenzung verhindern plötzliche Sprünge.

Greifen und tragen

Prise

Bei der Annäherung der Daumen-Zeigefinger-Spitze wird aus der Mitte der Finger ein Strahl auf das Modell geschossen; Trifft das Modell, wird es erfasst und in der Kameraebene gezogen. Separate Halte- und Freigabeschwellen verhindern Grenzjitter.

Drehen und zoomen

Offene Handfläche · zwei Hände

Die Bewegung des Handflächenmittelpunkts einer Hand wird in Rotation umgewandelt, und die logarithmische Abstandsänderung zwischen den Handflächenmittelpunkten beider Hände wird in Zoom umgewandelt.

Präsentationssperre

Spock/Vulkan

Der vulkanische Gruß, der etwa 900 ms lang gehalten wird, fixiert das Modell in der Präsentationsposition; Zum erneuten Auslösen wird die Hand kurz gesenkt. Wenn sich die Person vor dem Modell bewegt, verdeckt die Segmentierungsmaske natürlich das Modell.

Wofür wird es verwendet?

  • Untersuchen der mechanischen GLB-, STL- und OBJ-Teile auf dem Kamerabild (z. B. FRAGWATTs). STL-Dateien Drehen mit Handbewegung während der Präsentation).
  • Drehen von Modellen und Zeigen ihrer Teile per Hand im technischen Training.
  • Fixieren von Artikelseiten oder Diagrammen auf beiden Schultern.
  • Aufzeichnen von WebM-Videos mit Kommentaren für Vorträge, Wissenschaftskommunikation und Online-Meetings.
  • Entwicklung gestenbasierter Mensch-Computer-Interaktionsexperimente.

Architektur und Sicherheit

  • Electron + Three.js Schnittstelle; Python FastAPI WebSocket und MediaPipe Holistic Tracking nur bei 127.0.0.1:8765.
  • Bilder 480 × 270 JPEG, bis zu 8 FPS, jeweils ein Bild; Raw-Frames werden nicht auf die Festplatte geschrieben.
  • contextIsolation, Sandkasten, nodeIntegration: false; Vorladen öffnet nur feste IPC-Kanäle; CSP blockiert Remotecode.
  • Kamera, Mikrofon und Aufnahme werden erst eingeschaltet, wenn der Benutzer die Taste drückt.
Status: experimentell, aber funktional; Es wird als Open Source entwickelt. Die Roadmap umfasst Gestenkalibrierung, Tiefenkameraunterstützung, STEP/IGES- und CAD-Baugruppenbaum, Querschnitts- und Messwerkzeuge, virtuelle Kamera für Besprechungsplattformen und AR-Brillenunterstützung. Die Berechnung der Entfernung einer einzelnen Kamera ist ein Näherungswert.