PreFlight — der Vorinstallations-Nachweis-Scan für Agentforce
Ein org-internes, LLM-freies Salesforce-Paket, das die Frage beantwortet, die jedes Agentforce-Projekt überspringt: hätte ein Agent auf der echten Historie dieses Kunden funktioniert? Es scannt 12–24 Monate geschlossener Cases für null Credits, bewertet die Daten auf einem sechskomponentigen Agent Readiness Index und erzeugt einen vorstandsfertigen deutschen Nachweisbericht, in dem jede Zahl als Measured, Observed, Derived oder Projected markiert ist. Hätte Ihr Agent letztes Jahr funktioniert? Beweisen Sie es, bevor Sie bauen.
- Jahr
- 2026
- Rolle
- Salesforce Developer — Pre-Installation Evidence
- Technologien
- Apex (with sharing) + Queueable orchestrationAgent Readiness Index — 6 components, frozen weights 25/20/15/15/15/10Phase 0 is LLM-free — zero credits, read-onlyEvidence tiers: Measured / Observed / Derived / Projected (ADR-013)Q-tags — every metric traceable to a documented query (Q1–Q15)Seeded-LCG demo corpus with built-in answer keyModels API behind a gateway seam + mock (runs without Einstein)Live replay via in-org invocable action — no callout, no secretGerman Nachweisbericht (Visualforce + LWC)79/79 tests · 93% coverage · 137 components (measured Jul 2026)
Eckdaten
- Die Frage, die es beantwortet, bevor jemand baut: PreFlight scannt 12–24 Monate echter geschlossener Cases und Abschluss-E-Mails der Org — LLM-frei, null Flex Credits, read-only gegenüber Standard-Objekten — und fragt, ob ein Agent auf dieser Historie funktioniert hätte. Demand Mining (Keyword-Clustering mit deutschen Stoppwörtern), ein Flow/Apex-Fähigkeitsinventar, und die Schlagzeile: ein Agent Readiness Index von 0–100
- Der ARI ist konstruiert, kein Bauchgefühl: sechs Komponenten mit eingefrorenen Gewichten (25/20/15/15/15/10), Sättigungskurven, ein umgekehrtes U für Themenkonzentration, Mediane statt Mittelwerte, vier Readiness-Bänder — und er ist ehrlich eingeordnet (ADR-013) als Diagnose des Daten-Substrats, nicht als Vorhersage des Agenten-Erfolgs
- Jede Zahl im Report trägt eine Evidenz-Stufe — Measured (per Query reproduzierbar), Observed (rohe Systemausgabe), Derived (heuristische Interpretation) oder Projected (Hochrechnung) — und einen Q-Tag, der auf die exakte dokumentierte Query zeigt, aus der sie stammt. Die Einsparungszahl ist absichtlich als Projektion markiert
- Der Klassifizierer wird gegen einen Antwortschlüssel gemessen, nie gegen sich selbst: der Seeded-LCG-Demo-Generator (gleicher Seed, byte-identisches Korpus — die Prüfstand-Philosophie) schreibt die wahre Absicht jedes Cases in den Datensatz, sodass die LLM-Klassifikationsqualität mit Cohens Kappa gegen Ground Truth gemessen wird — und ein modell-beurteilter Answer-Key-Check bleibt eine separate Achse, damit ein selbstbewusst-falsches 'Beantwortet' nie als Erfolg durchgeht
- Live-Replay mit ehrlichen Grenzen: die echte erste Nachricht eines Cases wird über eine org-interne Invocable Action gegen den deployten Entwurfs-Agenten wiederholt — kein externer Callout, kein Secret — und das Ergebnis wird als das eingeordnet, was es ist: der gemessene Boden eines Starter-Entwurfs, keine Decke; der Outcome-Classifier sagt offen, dass er eine deterministische Keyword-Heuristik ist, die eine erste Antwort beurteilt, nicht das ganze Gespräch
- Positionierung gegenüber dem Plattform-Tooling: das Testing Center testet einen Agenten mit synthetischen Fragen; PreFlight testet die Agenten-Idee gegen die echte Historie des Kunden — bevor der Agent überhaupt existiert. Es ist die Pre-Sales-Evidenz, die ein Delivery-Team braucht, um dem Pilot-Fegefeuer zu entgehen, bevor es hineingerät
- Deployt sauber in eine Scratch-Org (137 Komponenten in drei Paketen) — 79/79 Tests grün, 93 % Test-Run-Coverage, gemessen Juli 2026. Live-LLM-Klassifikation erfordert eine Einstein-fähige Org; alles andere läuft per Design ohne sie (Gateway-Seam + Mock)
Das Problem
Agentforce-Projekte beginnen mit einer Demo und einem Versprechen — und sterben im Pilot-Fegefeuer, weil niemand vor dem Bauen gemessen hat, ob die eigene Historie der Org einen Agenten tragen kann. Der beste Prädiktor für den Erfolg eines Agenten liegt in den geschlossenen Cases des Kunden: was Menschen wirklich gefragt haben, wie Cases wirklich geschlossen wurden, ob die Abschlusstexte überhaupt Substanz haben. Aber diese Evidenz wird nie gehoben; das Scoping läuft nach Bauchgefühl, der Business Case auf einer Folie. Und das Plattform-Tooling hilft hier nicht — das Testing Center testet einen Agenten, der schon existiert, mit synthetischen Fragen. Was fehlt, ist der Schritt davor: Evidenz aus echter Historie, bevor eine einzige Build-Stunde ausgegeben wird.
Der Ansatz
Mach die Historie der Org zum Zeugen — und halte das Modell aus dem Gerichtssaal. Phase 0 ist ein Lite Scan — reines Apex, LLM-frei, null Credits, read-only: SOQL-Aggregate über geschlossene Cases, Keyword-Clustering mit deutschen Stoppwörtern für Demand Mining, Substanzanalyse der Abschlusstexte und ein Flow/Apex-Fähigkeitsinventar, alles gespeist in einen deterministischen Agent Readiness Index — sechs Komponenten, eingefrorene Gewichte (25/20/15/15/15/10), Mediane statt Mittelwerte, vier Readiness-Bänder. Jede Metrik trägt einen Q-Tag, rückverfolgbar zu einer dokumentierten Query, und jede berichtete Zahl eine Evidenz-Stufe: Measured, Observed, Derived oder Projected — eine Disziplin, die in den ADRs festgeschrieben ist. Erst in Phase 1 kommt ein Modell ins Spiel, strikt hinter einem Gateway-Seam mit Mock (das Paket deployt und läuft auch in Orgs ohne Einstein), mit verpflichtender PII-Maskierung, stratifiziertem Sampling und Cohens-Kappa-Kalibrierung gegen einen eingebauten Antwortschlüssel — der Seeded-Demo-Generator schreibt die wahre Absicht jedes Cases in den Datensatz, sodass der Klassifizierer gegen Ground Truth gemessen wird, nie gegen sich selbst. Phase 1.5 wiederholt echte erste Nachrichten über eine org-interne Invocable Action gegen den deployten Entwurfs-Agenten und ordnet das Ergebnis ehrlich als Boden eines Starter-Entwurfs ein, mit einem modell-beurteilten Answer-Key-Check als separater Achse, damit eine selbstbewusst-falsche Antwort nie als Erfolg zählt.
Das Ergebnis
Deployt sauber in eine Scratch-Org — 137 Komponenten in drei Paketen, 79/79 Tests grün, 93 % Test-Run-Coverage, gemessen Juli 2026. Das Ergebnis ist ein zweisprachiger Nachweisbericht (demonstriert an der fiktiven HanseWatt Energie GmbH — demselben deutschen Energieversorger-Szenario, auf dem der Rest des Portfolios aufbaut) plus eine Partner-Delivery-Schicht: vorstandsfertiges HTML, CSV/JSON-Exporte, ein Testing-Center-Datensatz, ein Jira-Import, ein Consultant-Playbook. Ehrlich eingegrenzt, per Design: Phase 0 macht keine Vorhersage — der ARI ist eine Diagnose des Daten-Substrats; die Einsparungszahl ist als Projektion markiert; das Replay misst einen Starter-Entwurf, keinen fertigen Agenten; und Live-LLM-Klassifikation erfordert eine Einstein-fähige Org, während alles andere ohne sie läuft. Im Lebenszyklus des Portfolios ist es das erste Tor: PreFlight beweist den Boden, bevor HanseWatt darauf baut — und Blast Radius, Prüfstand, Nabız und Aktenlage übernehmen, sobald der Agent existiert.