Nabız — die Runtime-Root-Cause-Schicht für live Agenten
Ein org-interner Zero-Egress-Wächter für live Agentforce-Agenten — Nabız (türkisch für 'Puls') korreliert eine deterministische Zeitreihe der Gesprächsqualität mit dem Änderungsstrom der Org, benennt die stärkste Kandidaten-Ursache mit einer Evidenz-Note A–E und schlägt Fixes vor, die ein Mensch freigeben muss. Salesforce Observability sagt dir, WAS passiert ist; Nabız sagt dir, WARUM — und sein Ehrlichkeits-Gate (Cohens κ ≥ 0,60) hat schlechte Kalibrierungen nachweislich zurückgewiesen statt durchgewinkt.
- Jahr
- 2026
- Rolle
- Salesforce Developer — Agent Observability
- Technologien
- Apex + 6 Lightning Web ComponentsEWMA control band + changepoint detection — deterministic, no ML3 change sources: Setup Audit Trail, Flow versions, BotVersion SHA-256 diffEvidence Ladder — 5 verifiable rungs → grades A–ENegative-control cohort in the correlation engineCohen's κ ≥ 0.60 calibration gate (blind labeling console)Zero egress — no endpoints, no conversation content at restBudgetGuard — yields at 70% of any governor limitFix proposals only — the human gate is permanentSession tracing via Data Cloud DMO SOQL (zero OAuth)126/126 tests green on the live pilot org (Jul 2026) · 29 ADRs
Eckdaten
- Die Lücke, die es füllt, in einem Satz: Salesforce Observability sagt dir, WAS passiert ist — Nabız sagt dir, WARUM. Es baut eine deterministische Zeitreihe der Gesprächsqualität pro Topic (EWMA plus Kontrollband, handgeschriebenes Apex, kein ML), erfasst parallel den Änderungsstrom der Org, und wenn die Qualität fällt, korreliert es den Einbruch mit den jüngsten Änderungen und benennt die stärkste Kandidaten-Ursache — immer mit einer Evidenz-Note, nie als nackte 'Root Cause'
- Drei Änderungsquellen speisen ein dedupliziertes Register: der Setup Audit Trail, Flow-Definitionsversionen und ein SHA-256-Snapshot-Diff der Agentenkonfiguration selbst — wenn also jemand den Agenten still editiert und kein Ticket anlegt, erkennt Nabız die Änderung autonom und heftet sie an die Zeitachse
- Urteile klettern eine Evidenz-Leiter: fünf unabhängig verifizierbare Sprossen — Temporal, Dependency, Runtime, Isolation, Recovery — verdichten sich zu einer Note von A bis E, mit einer Negativkontroll-Kohorte gegen Scheinkorrelationen. Der Konfidenz-Prozentwert wird nur zur Anzeige abgeleitet, bei 99 gedeckelt, und ist nie Eingabe einer Entscheidung
- Das κ-Gate ist der Ehrlichkeitsmechanismus: semantisches LLM-Scoring bleibt AUS, bis menschliche Labels aus einer blinden Konsole mit dem Modell-Richter bei Cohens κ ≥ 0,60 übereinstimmen — und das Gate weist nachweislich zurück: an einem einzigen Live-Tag verwarf es drei ungültige Kalibrierungen, darunter ein zirkuläres κ=1,000. Ein Gate, das immer nur durchwinkt, ist Dekoration; dieses scheitert nachweisbar
- Zero-Egress per Konstruktion: es existieren keine Remote Site Settings, Gesprächsinhalte werden nie gespeichert (nur Hash-Referenzen), jeder Modellzugriff liegt hinter einem Seam, dessen Mock fünf Fehlverhaltensmodi simuliert, und ein BudgetGuard gibt bei 70 % jedes Governor-Limits nach. Fixes — Artikel-Republish, Flow-Rollback, Instruction-Patch — werden als Text vorgeschlagen und nie angewendet; das menschliche Gate ist permanent
- Es beobachtet das Echte: deployt in die live HanseWatt-Pilot-Org, wo es den deployten Agenten überwacht — vollständige zweiseitige Transkripte per einfachem SOQL auf Data-Cloud-DMOs, null OAuth — mit 126/126 Tests grün auf dieser Org (gemessen Juli 2026), 29 ADRs und einem State-of-Product-Dokument, das nicht nur Erfolge auflistet, sondern sechs doppelt gemessene Negative: was es wollte und nicht bekam. 'Die Org entscheidet' ist eine Hausregel, kein Slogan
Das Problem
Ein live Agent verschlechtert sich, und alle Dashboards sagen dasselbe Unbrauchbare: die Qualität ist am Dienstag gefallen. Was sie nicht sagen können, ist warum — denn die Ursache liegt meist gar nicht im Gespräch, sondern in der Org: ein Flow bekam eine neue Version, ein Wissensartikel wurde neu veröffentlicht, jemand hat die Instruktionen des Agenten editiert und kein Ticket angelegt. Native Agent Analytics zeigt den Einbruch; sie korreliert ihn nicht mit dem Änderungsstrom. Also halbieren Admins von Hand — Änderungen einzeln zurückrollen, an einem Produktions-Agenten — oder schlimmer: die Regression wird auf 'das launische Modell' geschoben, und niemand lernt etwas. Und jedes Tool, das dieses Problem löst, indem es Gesprächsinhalte an einen externen Dienst schickt, hat sich in einem deutschen Unternehmen vor der ersten Demo disqualifiziert.
Der Ansatz
Beobachte den Puls, beobachte die Änderungen — und lass Evidenz statt Modellmeinung die Verbindung herstellen. Nabız baut eine deterministische Qualitäts-Zeitreihe pro Topic (EWMA mit Kontrollband, Changepoint-Erkennung, saisonale Baselines — handgeschriebenes Apex, ausdrücklich kein ML), während drei Erfassungsquellen ein dedupliziertes Änderungsregister speisen: der Setup Audit Trail, Flow-Definitionsversionen und ein SHA-256-Snapshot-Diff der Agentenkonfiguration selbst — sodass selbst eine unticketierte Agenten-Änderung autonom erkannt wird. Fällt der Puls, kreuzt eine Korrelations-Engine Zeit, Abhängigkeitsgraph und eine Evidenz-Leiter — fünf unabhängig verifizierbare Sprossen (Temporal, Dependency, Runtime, Isolation, Recovery), die sich zu einer Note von A bis E verdichten, mit einer Negativkontroll-Kohorte gegen Scheinkorrelationen; der Konfidenz-Prozentwert dient nur der Anzeige und ist nie Eingabe einer Entscheidung. Semantisches LLM-Scoring existiert, bleibt aber hinter einem Kalibrierungs-Gate ausgeschaltet: menschliche Labels aus einer blinden Konsole müssen erst bei Cohens κ ≥ 0,60 mit dem Modell-Richter übereinstimmen. Alles ist Zero-Egress — keine externen Endpunkte, keine Gesprächsinhalte im Speicher (nur Hash-Referenzen), jeder Modellzugriff hinter einem Seam mit einem Fünf-Modi-Fehlverhaltens-Mock — und jeder vorgeschlagene Fix ist Text, den ein Mensch freigeben muss: das menschliche Gate ist permanent, per ADR.
Das Ergebnis
Es läuft gegen das Echte: deployt in die live HanseWatt-Pilot-Org, wo es den deployten Agenten überwacht — vollständige zweiseitige Session-Transkripte per einfachem SOQL auf Data-Cloud-DMOs mit null OAuth, die Response-Evaluation-Urteile der Plattform selbst als Qualitätssignal geerntet, und eine Agentenkonfigurations-Änderung autonom in der Live-Org erkannt. 126/126 Tests grün auf dieser Org, gemessen Juli 2026 (die Suite ist seither auf ~150 im Quellcode gewachsen); 66 Produktionsklassen, 29 ADRs, sechs LWC-Konsolen vom Health Board bis zur blinden Kalibrierung. Die Ehrlichkeit ist strukturell: das κ-Gate hat bislang ausschließlich Kalibrierungen zurückgewiesen — drei ungültige an einem einzigen Live-Tag, darunter ein zirkuläres κ=1,000 — und das State-of-Product-Dokument verzeichnet neben den Erfolgen sechs doppelt gemessene Negative, in Evidenzklassen von [measured] bis [refuted]. Ehrlich eingegrenzt: es benennt Kandidaten-Ursachen mit Noten, nie Gewissheiten; es schlägt vor, es wendet nie an. Im Lebenszyklus des Portfolios ist es der laufende Herzschlag: PreFlight beweist den Boden, HanseWatt baut, Blast Radius begrenzt, was Code erreichen kann, Prüfstand greift an, Nabız beobachtet den Live-Puls und benennt das Warum — und Aktenlage macht die Evidenz aktenkundig.