đŸ“±

iPhone — VollstĂ€ndiges Handbuch

Alle offiziellen und inoffiziellen ZugÀnge, KanÀle, Sensoren und Möglichkeiten. Stand Mai 2026.

🔒 LOCKED STATE — kein Edit ohne Victor-Go
Heute sofort nutzbar, kein Setup
Hardware braucht Extra-GerÀt
Zukunft machbar, noch nicht gebaut
Hack unoffiziell / Jailbreak / Frida
USB braucht Kabel

⚖ Rat-Synthese — die drei grĂ¶ĂŸten Hebel

1.WLAN/Standort-Trigger via Shortcuts — Humboldt startet wenn Victor das Haus verlĂ€sst, Licht und Musik folgen dem Raum. Heute, ohne Hardware.
2.HealthKit-Proxy — Sancho kennt Victors Energie (HRV, Schlaf) und passt sein Verhalten an. Kurze Antworten wenn Victor erschöpft ist.
3.BLE-Raumtracking (ESP32 + Bermuda + IRK) — raumgenaue PrĂ€senz ohne GPS-Drain. 3–4 ESP32-Chips, einmalig eingerichtet.
🔌 KanĂ€le — Verbindungen 9 â–Ÿ
🔗
Shortcuts Webhooks
HTTP/HTTPS-Calls direkt aus Automations
HeutePrimÀr
Was geht
GET / POST / PUT / DELETE mit Custom Headers, JSON-Body, Auth. VollstÀndig. LÀuft als Automation ohne App-Offenhalten.
FĂŒr Watson
iPhone sendet Trigger an Mac Mini: Ort verlassen, WLAN-Wechsel, NFC-Tag, Uhrzeit, BLE-GerĂ€t verbunden → Dispatcher reagiert.
Endpunkt-Beispiel
POST http://192.168.0.192:8089/api/event mit JSON-Body.
🔔
Pushcut — Zwei-Wege-Bridge
Dispatcher → iPhone → BestĂ€tigung zurĂŒck
Heute
Wie es funktioniert
Mac Mini schickt HTTP-Call an Pushcut → Notification erscheint auf Sperrbildschirm mit Aktions-Buttons. Victor tippt → Webhook feuert zurĂŒck. Keine App nötig.
Perfekt fĂŒr
BestÀtigungen aus dem /rc-Modus. Victor bestÀtigt Aktionen ohne aufzusperren.
🔬
libimobiledevice (USB)
Tiefer Systemzugriff via Kabel
HeuteUSB
Tools
ideviceinfo — UDID, iOS-Version, Batteriezustand, ICCID, Seriennummer
idevicesyslog — Live-Systemlog aller Apps und Daemons
idevicecrashreport — alle Crash-Logs extrahieren
idevicediagnostics — Reboot, Shutdown, Sleep
ideviceinstaller — App-Liste mit Bundle-IDs, IPAs installieren
Voraussetzung
GerĂ€t entsperrt + Pairing bestĂ€tigt. Transport ĂŒber usbmuxd Port 27015 lokal.
📡
Bonjour / mDNS
iPhone im lokalen Netz entdecken
Heute
Was iPhone bewirbt
_airplay._tcp, _companion-link._tcp, _rdlink._tcp, _apple-mobdev2._tcp
Offene Ports
62078/tcp (lockdownd, Wi-Fi Sync), 49152–65535/tcp (dynamisch, Continuity), 5353/udp (mDNS)
Nutzung
Mac Mini kann iPhone via Bonjour finden und direkt ansprechen. NĂŒtzlich fĂŒr Presence-Detection.
🍎
Continuity Stack
Handoff, Universal Clipboard, iPhone Mirroring
Heute
Universal Clipboard
Inhalt 2 Minuten verfĂŒgbar. BLE-Discovery + TLS-Transport via Wi-Fi. AES-256-GCM verschlĂŒsselt.
iPhone Mirroring
iOS 18 / macOS Sequoia. Lokaler P2P (BLE + Wi-Fi), SchlĂŒssel im Secure Enclave. iPhone bleibt gesperrt.
Continuity Camera
iPhone als AVCaptureDevice in macOS. USB oder Wireless. Nahtlos in alle Apps.
☁
iCloud / CardDAV / CalDAV
Kontakte, Kalender, Dateien
Heute
Endpunkte
CardDAV: https://contacts.icloud.com/
CalDAV: https://caldav.icloud.com/
CloudKit
Public / Private / Shared DB. Zugriff via CloudKit JS API oder native Framework. Dispatcher könnte eigene iCloud-App-Daten schreiben/lesen.
iCloud Drive
Auf Mac unter ~/Library/Mobile Documents/ direkt zugÀnglich. Geteilte Ablage mit iPhone ohne Extra-Sync.
đŸ–„ïž
AFC — Apple File Conduit (USB)
Dateisystemzugriff via Kabel
HeuteUSB
Standard-AFC
Zugriff auf /private/var/mobile/Media — Fotos, Musik, Dokumente. Via ifuse als FUSE-Mount auf Mac.
iTunes File Sharing
Apps mit UIFileSharingEnabled=YES in ihrer plist geben ihren Documents-Ordner frei. z.B. VLC, Documents by Readdle, GoodReader.
🌐
HTTP-Server auf iPhone
iPhone als Server — mit EinschrĂ€nkung
EinschrÀnkung
Möglich
Ja — via GCDWebServer, Swifter, oder Apps wie WorldWideWeb. Beliebiger Port ĂŒber 1024.
Harte Grenze
Server pausiert wenn App in den Hintergrund wechselt oder Screen sperrt. Kein dauerhafter Hintergrund-Server ohne Background Mode (Audio oder VoIP).
🔄
AirDrop (AWDL)
P2P-Dateitransfer ohne Router
Heute
Protokoll
Apple Wireless Direct Link (AWDL) — 802.11 Peer-to-Peer, TLS-verschlĂŒsselt, BLE-Discovery. Open-Source: OpenDrop + OWL (seemoo-lab).
Zukunft
iOS 26 / EU: AWDL wird durch Wi-Fi Aware ersetzt (DMA-Anforderung).
đŸŽ›ïž Sensoren & Hardware 10 â–Ÿ
📊
Bewegungssensoren
Accelerometer, Gyro, Magnetometer
Heute
Accelerometer
Bis 100 Hz, 3 Achsen. Erkennt Vibration, Sturz, Gangrhythmus.
Gyroskop
Bis 100 Hz, 3 Achsen. Rotationserkennung.
Magnetometer
Reagiert auf elektromagnetische Felder laufender GerĂ€te. DIY-Anwendung: Waschmaschine-fertig-Erkennung — kein Smartplug nötig.
Framework
Core Motion — CMMotionManager, CMPedometer
đŸŒĄïž
Barometer
Absoluter Luftdruck — prĂ€ziser als Wetterstationen
HeuteWetter-Killer
Daten
Absoluter Luftdruck in kPa (~101.3 kPa auf Meereshöhe), relative HöhenÀnderung in Metern. Auflösung ~0.1 hPa.
Hintergrund
Funktioniert mit Background Mode processing. iPhone kann alle 5 Minuten Druckwert an Dispatcher senden.
Killer-Use-Case
Fallender Druck = Regen in 2–6h. Dispatcher schließt Dachfenster, passt Filmdreh-Plan an. Kein Cloud-API.
đŸ“¶
Bluetooth Low Energy (BLE)
Central + Peripheral Modus
Heute
Central
Scannen, verbinden, Services/Characteristics lesen/schreiben. Background möglich.
Peripheral
iPhone als BLE-Beacon — eigene Services advertisen. Mac Mini kann iPhone passiv entdecken.
Raumtracking
iPhone rotiert MAC-Adresse. Lösung: Identity Resolving Key (IRK) in Home Assistant Bermuda-Addon eintragen. Dann raumgenaue Triangulation via ESP32-Mesh.
đŸ·ïž
NFC (Core NFC)
Tags lesen, schreiben, APDU
Heute
Lesen
NFC Forum Tag Types 1–5, NDEF. Background-Tag-Reading ab iOS 14 fĂŒr bestimmte Tags.
Schreiben
Auf beschreibbare Tags ab iOS 13.
Low-Level
ISO 7816 (APDU), ISO 15693, FeliCa, MIFARE.
Idee
NFC-Tag an der TĂŒr = Wohnung-verlassen-Trigger. Tag im Studio = Filmdreh-Modus an.
📡
UWB (Ultra-Wideband)
Zentimeter-genaue Distanz + Richtung
ZukunftHardware
Genauigkeit
Distanz inch-genau + Azimuth/Elevation. iPhone 11+ (U1), iPhone 15+ (2. Generation).
Framework
NearbyInteraction — Discovery via BLE, dann UWB-Session. Background möglich wenn Accessory gekoppelt.
Potenzial
Victor betritt einen Raum → System weiß es auf 10cm genau. Braucht UWB-fĂ€higes Accessory als GegenstĂŒck.
đŸ“·
LiDAR (iPhone 12 Pro+)
3D-Raumscanning, Tiefenkarten
HeuteFilmmaker
Depth-Map
ARDepthData / sceneDepth — fusionierte LiDAR+Kamera-Tiefenkarte, ~256×192px per Frame, Format kCVPixelFormatType_DepthFloat32.
3D-Mesh
ARMeshAnchor — Weltkoordinaten-Mesh in Echtzeit.
Raumscan
RoomPlan API (iOS 16+) — strukturiertes Raummodell als USDZ in Minuten. Einmal scannen → Hue-Zonen auto-kalibrieren.
Photogrammetrie
RealityKit ObjectCaptureSession (iOS 17+) — 3D-Objekt aus Fotos als USDZ/OBJ. Area Mode 2024 fĂŒr grĂ¶ĂŸere Szenen.
đŸŽ€
Mikrofon
48kHz PCM, Hintergrundaufnahme möglich
Heute
Sample Rates
8000, 16000, 44100, 48000 Hz. Intern typisch 48kHz.
Hintergrund
Mit Background Mode audio möglich — dauerhaft.
SoundAnalysis
On-device Klassifikation: Staubsauger, Musik, Stimmen, Hund, Fernseher, Stille, Regen. Kein Cloud. Kein Privacy-Problem.
📍
GPS / Core Location
~5m Genauigkeit, Hintergrund-Updates
Heute
Genauigkeit
kCLLocationAccuracyBest ~5m. BestForNavigation kombiniert GPS+IMU+Baro.
Hintergrund
Mit Background Mode location. Significant Location Changes via Cell-Tower — sehr akkuschonend.
Besser
WLAN-Trigger in Shortcuts ist akkufreundlicher als GPS fĂŒr Heim-PrĂ€senz.
❀
HealthKit
100+ Datentypen — Schlaf, HRV, Schritte
HeuteAI-Gold
VerfĂŒgbare Daten
Herzfrequenz, HRV, Schritte, Schlafphasen (Core/Deep/REM seit iOS 18), Workouts, Ruhepuls, AktivitÀtsringe, ErnÀhrung.
EinschrÀnkung
HealthKit-Daten lesbar NUR wenn GerÀt entsperrt. Kein Hintergrund-Read bei gesperrtem Screen.
Export
XML-Export aus Health-App: export.xml mit Millionen von Records, ECG als CSV, GPS-Workout-Tracks als GPX.
AI-Anbindung
Apple Health MCP Server (Open Source) verbindet HealthKit direkt mit LLMs via Model Context Protocol.
đŸŽ„
Kamera (RAW / ProRAW)
DNG, Tiefenkarte, Photogrammetrie
HeuteFilmmaker
RAW
AVCapturePhotoOutput mit isRAWCaptureSupported → .dng (Adobe DNG).
ProRAW
iPhone 12 Pro+ — HEIF-basiertes RAW mit Computational Photography. isAppleProRAWSupported.
Depth
AVCaptureDepthDataOutput — Live-Tiefenkarte bei Aufnahme.
Continuity Camera
Als AVCaptureDevice in macOS — Stativ-Kamera fĂŒr den Mac. USB oder Wireless.
⚙ Automation & Apps 7 â–Ÿ
✂
Apple Shortcuts
Der mÀchtigste Einstiegspunkt
HeutePrimÀr
iOS 17 Änderung
Alle Automations laufen ohne BestÀtigung. Echter Hintergrund-Betrieb.
Was geht
HTTP/REST-Calls, HealthKit lesen, Location, BLE-Trigger, NFC-Trigger, WLAN-Trigger, Zeit-Trigger, Focus-Mode-Trigger, Kamera, Diktat, Clipboard, iMessage (kein Dialog bei bekannten Kontakten).
iOS 18 neu
Schlafphasen, Settings lesen/Ă€ndern, Control Center-Kontrolle, App Intents fĂŒr Drittanbieter.
Was nicht geht
Andere App-Sandboxes lesen. Kamera ohne UI-Dialog. Hintergrund bei gesperrtem Screen (meist).
📜
Scriptable
JavaScript auf iOS — vollstĂ€ndige API
Heute
VollstÀndige Klassen
Request (HTTP), Calendar, Reminder, Contact, Location, Photos, Notification, FileManager, Keychain, Device, Pasteboard, WebView, Speech, CallbackURL
Device-Klasse
GerĂ€tename, iOS-Version, Batteriestand, Screen-GrĂ¶ĂŸe, Dark Mode-Status — alles per Skript abrufbar.
Nicht drin
Kein HealthKit, kein direkter Socket, kein Kamerazugriff ohne Picker.
🐍
Pythonista (objc_util)
Objective-C-Bridge — direkter Framework-Zugriff
Fortgeschritten
Killer-Feature
objc_util: beliebige Objective-C-Klassen instanziieren, Methoden aufrufen. Theoretisch: jedes Framework das iOS dem Prozess erlaubt — CoreBluetooth, CoreMotion, AVFoundation, UIKit-Internals.
Native Module
contacts, reminders, photos, location, notifications, clipboard, keychain, ui (vollstÀndiges UIKit)
Achtung
App seit 2024 kein aktiver Update-Rhythmus mehr. Bestehende Features laufen, neue iOS-APIs nicht nachgezogen.
🔗
URL Schemes & x-callback-url
App-zu-App-Automatisierung ohne Server
Heute
Apple-intern
shortcuts://run-shortcut?name=X, prefs:root=BLUETOOTH (Settings Deep Links), facetime://, sms://, maps://?q=X
Drittanbieter
Drafts: volle x-callback-url-Suite. Working Copy: Git-Operationen. Bear, Scriptable: scriptable:///run?scriptName=X
Zwei-Wege
x-callback-url: app://x-callback-url/action?x-success=andere-app://callback — App A → B → Ergebnis zurĂŒck an A.
đŸ’Ÿ
Data Jar — globale Variablen
Persistente Shortcuts-Variablen
Heute
Problem gelöst
Shortcuts haben keine nativen globalen Variablen. Data Jar ist ein Key-Value-Store der zwischen Shortcut-AusfĂŒhrungen persistiert.
Use-Case
Watson-Zustand auf iPhone speichern: letzter Ort, aktuelle Energie-Level, offene Aufgaben.
đŸ› ïž
Toolbox Pro
130 extra Shortcuts-Aktionen
Heute
Killer-Aktionen
On-device OCR, NFC lesen/schreiben, Bewegungserkennung (Fahren/Gehen), Face ID Auth, Apple Music Katalog (60M Songs), Sprache aus Audio transkribieren, Objekterkennung in Bildern, GerÀtestatus (Orientierung, Silent Mode, Audio playing).
🐚
a-Shell / iSH Shell
Unix auf iOS — isoliert von iOS-APIs
Zukunft
a-Shell
WebAssembly. Python (pure pip), C/C++, Lua, SSH-Client. Shortcuts-Integration. Keine Sockets aus WASM.
iSH
x86_32-Emulation mit Alpine Linux. APK-Pakete, Python, GCC, Node. Kein 64-bit, kein Go, kein Rust. Isoliert von iOS-APIs.
Fazit
Gut als lokale Dev-Umgebung, nicht fĂŒr iOS-Datenintegration geeignet.
📂 Daten — Export & Import 6 â–Ÿ
đŸ„
Health XML Export
VollstÀndig, strukturiert, riesig
Heute
Inhalt
export.xml: jeder Messwert als <Record type=... value=... startDate=... endDate=... sourceName=...>. Workouts als GPS-GPX. ECG als CSV. Ringe tÀglich.
GrĂ¶ĂŸe
Typisch 50–150 MB als ZIP, 200–500 MB entpackt, Vielnutzer bis 1 GB+.
Trigger
Health-App → Profil → „Alle Gesundheitsdaten exportieren". Oder via Shortcuts automatisieren.
💬
Messages / Anruf-Logs (via Backup)
SQLite direkt — kein Jailbreak
HeuteUSB
Messages
Im Finder-Backup: sms.db (Hash: 3d0d7e5f
) — Tabellen message, chat, attachment. VollstĂ€ndiger Verlauf.
Anruf-Logs
call_history.db (Hash: 2b2b0084
) — Tabelle ZCALLRECORD: Datum, Dauer, Nummer, Typ, FaceTime-Flag.
Tool
iMazing (kommerziell) exportiert ohne Jailbreak als CSV/PDF. DB Browser for SQLite fĂŒr direkten Zugriff.
📾
Fotos mit vollstÀndigem EXIF
GPS, Belichtung, Tiefenkarte
Heute
EXIF
GPS-Koordinaten, Timestamp, Kameramodell, Belichtung, Linse — erhalten bei AirDrop und Kabel-Export. Nicht bei Teilen via Messages/Mail.
Depth Map
Portrait-Mode: separater HEIC-Anhang mit Tiefenkarte, wenn „Original exportieren" gewĂ€hlt.
📅
Kontakte / Kalender sync
CardDAV / CalDAV — eigener Server möglich
Heute
CardDAV
https://contacts.icloud.com/ — oder eigener Nextcloud-Server als Sync-Quelle. iPhone unterstĂŒtzt beliebige CardDAV-Server.
CalDAV
https://caldav.icloud.com/ — Export als .ics. Eigener Server möglich.
Import
.vcf öffnen → direkt in Kontakte. .ics öffnen → direkt in Kalender. Passwörter: CSV-Import in iOS 17+ unter Einstellungen → Passwörter.
⚙
OTA Konfigurationsprofile
.mobileconfig — mĂ€chtiger Konfigurations-Push
Heute
Was pushbar ist
Wi-Fi, VPN, E-Mail-Accounts, Zertifikate/CA-Roots, CalDAV, CardDAV, Passcode-Policy, AirPlay, AirPrint, Web-Content-Filter, Single-App-Modus, Wallpaper, Fonts.
Verteilung
Via URL-Link oder E-Mail. User bestÀtigt manuell. Via MDM: non-removable möglich.
đŸ—ș
Standort-Verlauf
Wichtige Orte — verschlĂŒsselt, kein Apple-Zugriff
Zukunft
Speicherort
Einstellungen → Datenschutz → Ortungsdienste → Systemdienste → Wichtige Orte. End-to-end verschlĂŒsselt.
Export
Kein nativer Export. Im Finder-Backup vorhanden in routined-Datenbank — nur mit forensischen Tools (iMazing, AXIOM) lesbar.
Alternative
Google Maps Timeline (seit Ende 2024 lokal gespeichert) → JSON via Google Takeout exportierbar.
🔮 Developer-Modus & Hacks 6 â–Ÿ
🔧
Developer Mode (iOS 16+)
Tieferer Systemzugriff ohne Jailbreak
Heute
Aktivierung
Einstellungen → Datenschutz → Developer Mode → Toggle ON → Neustart → BestĂ€tigen.
Was es freischaltet
Xcode-Debugging, Instruments-Profiling, Developer Disk Image (Voraussetzung fĂŒr Frida Gadget), Wireless Debugging, private Logs in Console.app nicht mehr redacted.
idevicesyslog
Live-Stream aller App- und System-Logs. Prozessname, PID, Timestamp, Log-Level. Filterable. Braucht Developer Mode.
đŸ•”ïž
Frida Gadget (ohne Jailbreak)
Dynamische Instrumentierung einer App
Hack
Vorgehen
1. IPA besorgen. 2. frida-gadget.dylib in Frameworks/ injizieren. 3. Binary-Header patchen (insert_dylib). 4. Neu signieren. 5. Via AltStore installieren. 6. App startet → Gadget lauscht auf Port 27042.
Kann
Alle ObjC-Klassen/Methoden auflisten, Methoden hooken, SSL-Pinning patchen, Speicher lesen/schreiben, JavaScript im Prozess ausfĂŒhren.
Grenzen
Nur die Ziel-App. Stirbt bei jedem App-Update. iOS 17+: get-task-allow muss im Provisioning-Profil gesetzt sein.
🌐
Netzwerk-Proxy (Charles / mitmproxy)
HTTPS-Traffic entschlĂŒsseln
Semi-offiziell
Setup
Proxy-Adresse in Wi-Fi-Settings eintragen. CA-Zertifikat via chls.pro/ssl installieren + als vertrauenswĂŒrdig markieren.
Danach
Gesamter HTTP/HTTPS-Traffic von Apps ohne SSL-Pinning sichtbar und entschlĂŒsselt.
SSL-Pinning bypass
Via Frida+Gadget: SecTrustEvaluateWithError auf errSecSuccess hooken. Via objection: ios sslpinning disable.
đŸȘ
TrollStore (iOS 14–17.0 only)
Permanente Signatur ohne 7-Tage-Limit
HackVersionsabhÀngig
Was es kann
Apps als „System-Apps" permanent signieren. Beliebige Entitlements möglich: com.apple.private.security.no-sandbox, task_for_pid-allow, Root-Helper via spawnRoot.
EinschrÀnkung
Nur iOS 14.0–16.6.1 und exakt 17.0. Apple hat in 16.7 und 17.0.1 gepatcht. Nicht auf aktuellen iOS-Versionen verfĂŒgbar.
🏱
Self-hosted MDM (NanoMDM)
Eigener MDM-Server — Was wirklich geht
Zukunft
Was MDM kann (personal)
Wi-Fi/VPN pushen, Zertifikate, Apps, CalDAV/CardDAV, Passcode-Policy. OS-Version und Batterie lesen.
Was NICHT geht (User Enrollment)
Kein Standort, keine vollstĂ€ndige App-Liste, keine UDID, kein Remote Wipe. Supervised Device Enrollment (fĂŒr eigene gekaufte GerĂ€te) gibt mehr.
Setup
NanoMDM (GitHub, aktiv) + APNs-Zertifikat (jÀhrlich erneuern) + SCEP + öffentlich erreichbare Domain. Enrollment: Nutzer installiert Profil manuell.
📡
Field Test Mode (*3001#12345#*)
Mobilfunk-Rohdaten in Echtzeit
Heute
Daten
RSRP/RSRQ/SINR in dBm, Cell ID, Physical Cell ID, Tracking Area Code, Frequenzband (5G n78, LTE Band 20), Carrier Aggregation, Nachbarzellen, Timing Advance.
Eingabe
Im Phone-Dialer eingeben (nicht als Kontakt speichern). Öffnet native Apple-Diagnose-App.
Bonus
Settings → Datenschutz → Analytics → Analytics Data: alle .ips-Crash-Files, Energie-Reports, Kernel-Panic-Logs lesbar.
💡 VerrĂŒckte Ideen fĂŒr Watson 10 â–Ÿ
🏠
BLE-Raumtracking (ESP32 + Bermuda)
Raum-genaue PrÀsenz ohne GPS
HardwareTop-PrioritÀt
Funktionsprinzip
3–4 ESP32-Chips Ă  ~5€ verteilt im Wohnraum. ESPHome + Bermuda BLE Trilateration Addon in Home Assistant trianguliert anhand BLE-SignalstĂ€rken.
iPhone-MAC-Problem
iPhone rotiert seine Bluetooth-MAC-Adresse. Lösung: Identity Resolving Key (IRK) aus dem iPhone extrahieren und in HA eintragen → jede rotierende MAC sicher erkannt.
Ergebnis
Musik und Sancho-Audiofeedback folgen Victor durch die Wohnung. Lichter schalten sich raumgenau. Humboldt meidet belegte RĂ€ume.
đŸ§Č
Magnetometer als GerÀte-WÀchter
Waschmaschine-fertig ohne Smartplug
Heute
Prinzip
iPhone liegt auf oder neben einem GerÀt. Magnetometer erkennt das elektromagnetische Feld des laufenden Motors. Accelerometer erkennt Vibration.
App sendet
Webhook an Dispatcher wenn FeldstĂ€rke oder Vibration unter Schwellwert fĂ€llt → „Waschmaschine fertig".
Weitere GerÀte
Herd, Fernseher (Trafo-Feld), SpĂŒlmaschine, Kaffeemaschine. Kein NachrĂŒsten, keine Smartplug-Kosten.
đŸŒŠïž
Barometer als Wetter-Vorwarner
Regen 2–6h im Voraus — lokal
Heute
Logik
Stetig fallender Luftdruck = Regen kommt. iPhone sendet alle 5 Minuten Druckwert an Mac Mini. Dispatcher analysiert Zeitreihe.
Automationen
Dachfenster-Erinnerung, Filmdreh-Planung anpassen, Humboldt frĂŒher starten. Kein Cloud-API, kein Abo.
đŸŠ»
SoundAnalysis — Kontext-Detektor
Was hört Victor gerade?
HeutePrivat
Erkennbare Klassen
Hundegebell, Musik, Staubsauger, Kaffeemaschine, Fernseher, Stimmen, Stille, Regen. On-device via CoreML + SoundAnalysis.
Kein Cloud
VollstÀndig lokal. Keine Privacy-Bedenken. Kein Abo.
Watson-Integration
„Fernseher lĂ€uft" → Ruhemodus, keine Interrupts. „Stille > 20 Min" → Sanchos ins Stand-by. „Musik" → Track via Shazam loggen.
â€ïžâ€đŸ”„
HealthKit → Sancho-Stimmung
Sancho weiß wie es Victor geht
HeuteAI-Gold
Daten
HRV (HerzratenvariabilitÀt), Ruhepuls, Schlafphasen, Schlafstunden, Schritte, AktivitÀtsringe.
Logik
HRV niedrig + Schlaf unter 6h → Victor erschöpft. Sancho: kĂŒrzere Antworten, weniger Optionen, weniger Initiative. Kein „Hey wie geht's?" — das System weiß es.
Anbindung
Apple Health MCP Server (Open Source) verbindet HealthKit direkt mit LLMs via Model Context Protocol.
🏃
Gangrhythmus-Authentifizierung
Wer ist das? — passiv, ohne Kamera
Zukunft
Forschungsgrundlage
Accelerometer in der Hosentasche erkennt individuellen Gangrhythmus mit bis zu 99,75% Genauigkeit (PMC 2014, IEEE 2011). CoreML-Modell trainierbar auf Victors Muster.
Anwendung
Victor kommt durch die TĂŒr → System authentifiziert ihn passiv → richtiges Profil lĂ€dt. FĂŒr Mehrpersonenhaushalt: Victor vs. Melanie.
EinschrÀnkung
Training-Daten nötig. In Produktion noch wenig erprobt.
đŸš¶
WLAN-Trigger — smarte PrĂ€senz
Haus verlassen / ankommen — akkuschonend
Heute
Shortcuts-Automation
„Wenn ich dieses WLAN verlasse" → Webhook an Dispatcher. Kein GPS-Dauerbetrieb, kein Akku-Drain.
Verlassen
Humboldt startet, Lichter aus, Thermostat runter, Sancho in Stand-by.
Ankommen
Willkommens-Licht, Musik, Attenborough-Modus, Tagesplan vorlesen.
đŸ—ș
LiDAR-Raumplan → Hue-Kalibrierung
Einmal scannen, System kennt die Wohnung
HeuteFilmmaker
Vorgehen
RoomPlan API — 5 Minuten durch die Wohnung gehen → strukturiertes 3D-Modell als USDZ.
Watson-Nutzen
Hue-Lampen echten Raum-Polygonen zuordnen. Kamera-Positionen fĂŒr Filmdreh in echtem Grundriss planen. „Wohnung atmet" auf Basis echter Geometrie kalibrieren.
Periodisch
Nach Umzug oder grĂ¶ĂŸerem Umbau: neuer Scan in 5 Minuten.
đŸ‘ïž
LAN-WĂ€chter via Fing
Heimnetz-Monitoring vom iPhone
Heute
Fing App
Scannt LAN permanent. Fing API oder Webhook meldet neues/unbekanntes GerĂ€t → Dispatcher-Alert.
Watchdog
iPhone prĂŒft alle 10 Min: Mac Mini, Hue Bridge, Roborock, Broker erreichbar? „Silent Watchdog" ohne Extra-Hardware.
🔊
Ultraschall-SONAR (wildeste Idee)
Raum-PrÀsenz via unhörbarem Schall
ZukunftExperimentell
Prinzip
iPhone sendet kurze Ultraschallpulse (18–20 kHz, unhörbar) via Lautsprecher. Mikrofon analysiert Echos per Autokorrelation via AVAudioEngine.
Erkennt
Ob Raum leer oder besetzt ist (Echos verĂ€ndern sich bei Personen). Ob TĂŒr offen oder geschlossen ist. Welcher Raum es ist.
Status
Technisch möglich mit Swift + AVAudioEngine. Kaum in Consumer-Projekten gesehen. DIY-SONAR.
🚧 Echte Grenzen — was wirklich nicht geht 8 â–Ÿ
🚩
Limitierungsmatrix (klicken zum öffnen)
Was klingt machbar, aber nicht ist
FĂ€higkeitStatusWarum
Dauerhafter Hintergrund-Server✗ Nicht möglichiOS pausiert Prozesse ohne spezifischen Background Mode (Audio, Location, BLE)
Kamera ohne UI-Dialog✗ Nicht möglichKein silent Camera capture — Apple-Policy, kein Workaround ohne Jailbreak
SMS senden ohne Dialog✗ Nicht möglichiMessage an bekannte Kontakte geht (iOS 17), SMS immer mit Dialog
Andere App-Sandbox lesen✗ Nicht möglichiOS-Sandbox ist hart. Nur mit TrollStore-Entitlements (nur alte iOS-Versionen)
HealthKit bei gesperrtem Screen✗ Nicht möglichPrivacy-Design: Gesundheitsdaten nur bei entsperrtem GerĂ€t lesbar
SSH-Server eingehend✗ Nicht möglichKein Daemon-Betrieb möglich ohne Jailbreak
MDM Standort (User Enrollment)✗ Nicht möglichNur bei Supervised Device Enrollment (unternehmenseigene GerĂ€te)
Classic Bluetooth fĂŒr Drittanbieter✗ Nicht möglichNur BLE. Kein A2DP, kein HFP direkt ansteuerbar via öffentliche APIs
Focus Mode von extern setzen⚠ UmwegNur via Shortcuts-Automation als Reaktion auf Trigger — kein direkter externer API-Call
Screen Time Rohdaten⚠ TeilweiseNur via verschlĂŒsseltes Backup-Parsing mit forensischen Tools (iMazing)
🎯 PrioritĂ€tsliste — Was als nĂ€chstes 3 Stufen â–Ÿ
🟱
Stufe 1 — Heute, kein Setup
Sofort nutzbar mit bestehendem System
Heute
✅ Voice Input via voice.html — bereits stabil (M-042)
✅ WLAN-Trigger — Shortcuts-Automation, 10 Minuten Setup
✅ Pushcut — Zwei-Wege-BestĂ€tigungen vom Sperrbildschirm
✅ NFC-Tags — Trigger fĂŒr Studio-Modus, TĂŒr, Schreibtisch
✅ Barometer-Polling — Wetter-Automation via Shortcuts-Webhook
✅ HealthKit-Export — XML einmalig analysieren, Profil aufbauen
✅ libimobiledevice — Systemlog, Batterie, UDID via USB schon jetzt
🟡
Stufe 2 — Kleine Hardware-Investition
3–4 ESP32, ~20€ gesamt
Hardware
đŸ”” BLE-Raumtracking — ESP32 + ESPHome + Bermuda + IRK → raumgenaue PrĂ€senz
đŸ”” Magnetometer-Automation — iPhone als GerĂ€te-Sensor (Waschmaschine, Herd)
đŸ”” LiDAR-Raumscan — einmalig, danach Hue-Kalibrierung und Dreh-Planung
đŸ””
Stufe 3 — Zukunftsprojekte
Machbar, aber Aufwand > 1 Tag
Zukunft
đŸ”” HealthKit MCP Server — Live-Anbindung ans LLM-System
đŸ”” SoundAnalysis-App — Kontext-Detektor on-device
đŸ”” Gangrhythmus-Auth — CoreML-Training auf Victors Muster
đŸ”” Self-hosted MDM — NanoMDM fĂŒr Config-Push
đŸ”” Ultraschall-SONAR — experimentell, DIY-Projekt
Recherche: Mai 2026 · 5 Perplexity-Agenten · Rat der Weisen · 🔒 LOCKED