KI-Engineering & Governance
Die meisten Piloten scheitern nicht am Modell. Sie bleiben stehen an fünf Ebenen.
Eine Demo beweist, dass etwas funktionieren kann. Der Produktivbetrieb beweist, dass es sicher, verlässlich und wiederholbar funktioniert. Das heißt: die richtigen Nutzer aus aktuellen Daten beantworten, wissen, wann man nicht raten darf, und eine prüfbare Spur hinterlassen. Diese Seite geht drei Beispiele durch und die Governance-Entscheidungen, die jedes davon mit sich bringt.
01 · Vom Problem zur Architektur
Wo ein Pilot tatsächlich stehenbleibt.
Illustrativ — kein KundenprojektDas ist ein durchgearbeitetes Beispiel, keine Fallstudie. Es zeigt die Form eines Problems, dem wir oft begegnen, und wie wir es angehen — als repräsentatives Komposit statt als benanntes Kundenprojekt.
Der Aufbau: ein interner Retrieval-Assistent, der Mitarbeiterfragen aus der Unternehmensdokumentation beantwortet. Im Notebook funktioniert er. Acht Monate später hat er den Produktivbetrieb immer noch nicht erreicht.
Eine Anfrage trifft auf eine Ebene, die nie gebaut wurde
Zugriff
Wo es stehen bleibt
Die Dokumente liegen in vier Systemen mit vier Berechtigungsmodellen. Der Pilot lief auf einem von Hand erstellten Export und musste deshalb nie die Frage beantworten, wer was sehen darf.
Was entschieden wird
Ob die Autorisierung pro Anfrage gegen die Quellsysteme aufgelöst wird oder der Index nach Berechtigungen partitioniert ist. Es ist die erste Entscheidung und sie bedingt jede spätere.
Referenzwahrheit
Wo es stehen bleibt
Niemand kann sagen, ob eine Antwort richtig war. Die Demo wurde von den Menschen beurteilt, die sie gebaut hatten, und die Antworten lasen, deren Antwort sie bereits kannten.
Was entschieden wird
Ein Testset aus echten Fragen, eine Metrik, die die tatsächlichen Kosten eines Fehlers abbildet, und ein Schwellenwert, der vereinbart wird, bevor irgendetwas gebaut wird. Das ist die Kennzahl, gegen die Phase 05 misst.
Aktualität
Wo es stehen bleibt
Der Export ist eine Momentaufnahme. Die Dokumentation änderte sich in der Woche darauf, und der Assistent zitiert nun selbstbewusst eine Richtlinie, die zurückgezogen wurde.
Was entschieden wird
Wie sich Änderungen fortpflanzen: Neuindizierung beim Schreiben, geplanter Abgleich oder explizit angezeigte Veraltung für die lesende Person. Jede Variante ist vertretbar; die für die Domäne falsche ist der Weg, auf dem im dritten Monat das Vertrauen verloren geht.
Fehlverhalten
Wo es stehen bleibt
Wird der Pilot nach etwas gefragt, das außerhalb seiner Dokumente liegt, antwortet er trotzdem. In einer Demo liest sich das als Leistungsfähigkeit. In der Produktion ist es der Vorfall.
Was entschieden wird
Was das System tut, wenn es etwas nicht weiß — sich enthalten, an einen Menschen eskalieren oder mit beigefügten Belegen antworten und die lesende Person urteilen lassen. Als Verhalten eingebaut, nicht als Haftungsausschluss angehängt.
Verantwortung
Wo es stehen bleibt
Es läuft auf jemandes Konto, wird von jemandes Laptop deployt und hat niemanden in der Rufbereitschaft. Das ist die Ebene, an der die meisten Piloten enden, und sie ist kein technisches Problem.
Was entschieden wird
Welches bestehende Team es besitzt, was in dessen Runbook steht und was der Alarm um drei Uhr morgens bedeutet. Will kein Team es übernehmen, ist das eine Erkenntnis, die mehr wert ist als das System.
Beachten Sie, was nicht auf dieser Liste steht. Welches Modell, welcher Vektorspeicher, welches Framework. Das sind echte Entscheidungen und sie dauern einen Nachmittag. Die fünf oben dauern das ganze Projekt, und sie falsch zu treffen ist der Grund, warum eine funktionierende Demo acht Monate später immer noch eine Demo ist.
Auch deshalb dauert Approach Phase 02 — die unglamouröse Schicht — sechs Wochen und nicht eine. Zugriff, Referenzwahrheit und Aktualität sind das Fundament; alles danach ist vergleichsweise billig.
02 · Das Evaluations-Harness
Der Teil, den die meisten Angebote auslassen.
Was ein Schwellenwert mit einer Verteilung von Antworten macht
„Das Modell ist zu 92 % genau“ ist kein Befund, sondern eine Behauptung. Es wird zu einem Befund, wenn jemand anderes es im nächsten Quartal mit neuen Daten erneut ausführen und eine vergleichbare Zahl erhalten kann.
Ein Quenora-Projekt liefert deshalb ein Harness neben dem System: den Testdatensatz, die Metrik, die Schwellen und das Skript, das sie ausführt. Daran misst Approach Phase 05, und es wird mit dem Code übergeben — denn die Frage, auf die es ankommt, ist nicht, ob das System an dem Tag funktioniert hat, an dem wir gegangen sind, sondern ob Ihr Team sechs Monate später feststellen kann, dass es das immer noch tut.
Es ist zugleich die ehrliche Antwort auf einen berechtigten Einwand. Eine Firma ohne Fallstudien bittet Sie, einer Behauptung zu vertrauen. Eine Firma, die Ihnen die Mittel zur Prüfung ihrer eigenen Arbeit übergibt, bittet um sehr viel weniger.
03 · Prinzipien
Fünf Prinzipien, und woran jedes gebunden ist.
Prinzipien aufzuzählen ist billig. Jedes hier ist an etwas Konkretes im Ablauf eines Projekts gebunden, damit Sie uns daran messen können.
Es muss enden
Jede Phase trägt eine Abschlussbedingung, die in die Leistungsbeschreibung geschrieben ist. Die letzte lautet, dass Ihr Team das System ohne uns betreibt.
Gebunden an · Approach Phase 06, ÜbergabeEs muss messbar sein
Eine Kennzahl wird in Phase 01 vereinbart. Phase 05 misst schriftlich gegen diese Kennzahl. Hat sie sich nicht bewegt, sagen wir das.
Gebunden an · Approach Phasen 01 und 05Ihnen gehört alles
Der Code, die Dokumentation und das Evaluations-Harness gehören Ihnen, unabhängig davon, wie das Projekt endet. Es gibt kein Szenario, in dem Sie am Ende nichts vorzuweisen haben.
Gebunden an · jedes ProjektEs muss in Ihrer Systemlandschaft laufen
Produktion bedeutet die Systeme, die Sie bereits haben, mit den Berechtigungen, die sie bereits durchsetzen. Eine Fähigkeit, die nur im Reinraum funktioniert, hat die Arbeit nicht erreicht.
Gebunden an · Approach Phasen 03 und 04Einfach genug zum Übergeben
Der Maßstab eines Entwurfs ist, ob das Team, das ihn erbt, ihn sicher ändern kann. Ein Entwurf, den nur seine Urheberin oder sein Urheber pflegen kann, ist eine Last, die wir Ihnen übergeben würden.
Gebunden an · Approach Phase 0604 · Governance
Governance ist eine Menge von Entscheidungen, kein Dokument.
Die meisten Governance-Unterlagen beschreiben eine Richtlinie. Was ein Produktivsystem braucht, ist eine Menge von Antworten, die in den Bau eingelassen sind, denn jede davon verändert die Architektur. Das sind die Fragen, die wir klären, bevor etwas ausgeliefert wird, und wo in den sechs Governance-Phasen jede davon geklärt wird.
Wer was sehen darf
Ob die Autorisierung pro Anfrage gegen die Quellsysteme aufgelöst wird oder der Index nach Berechtigungen partitioniert ist. Festgelegt in Foundation, weil jede spätere Entscheidung sie erbt.
Die Variante, die still schiefgeht: ein Pilot auf Basis eines manuellen Exports, bei dem die Berechtigungsfrage nie gestellt wurde, weil es nur eine Kopie und eine lesende Person gab.
Was das System nicht entscheiden darf
Der Schwellenwert, oberhalb dessen eine Antwort zurückgegeben wird, unterhalb dessen sie eskaliert wird, und der Weg, den ein Mensch dann sieht. Festgelegt in Foundation zusammen mit dem Evaluations-Harness und gemessen in Prove.
Eine Automatisierung verdient Vertrauen, indem sie weiß, was sie nicht entscheiden darf. Diese Linie zu ziehen ist die Arbeit; ein nachträglich angehängter Haftungsausschluss ist nicht dasselbe.
Was festgehalten wird, wenn es läuft
Welche Eingaben, Ausgaben, Modellversionen und Entscheidungswege aufbewahrt werden, wie lange und wer sie lesen darf. Festgelegt in Integrate, denn einen Prüfpfad nachzurüsten bedeutet, Historie neu zu erzeugen, die Sie nicht mehr haben.
Das ist der Nachweis, nach dem Einkauf und Risikomanagement nach dem Go-live fragen — die Frage, die ankommt, wenn etwas bereits in Produktion ist und niemand die Antwort festgehalten hat.
Wohin die Daten gehen und an wen
Welche Anbieter was verarbeiten, in welcher Rechtsordnung, ob etwas bei ihnen gespeichert bleibt und was Ihre Grenze überhaupt verlässt. Festgelegt in Frame, weil es die Architektur bedingt statt aus ihr zu folgen.
Für europäische Kunden ist das die erste Frage von Betriebsrat und Einkauf, und sie ist eine Entwurfsbedingung, keine Compliance-Übung, die man am Ende durchführt.
Was passiert, wenn es driftet
Was überwacht wird, welcher Schwellenwert einen Menschen auslöst, wer auf dem Eskalationsweg steht und worin das Rollback tatsächlich besteht. Festgelegt in Ship, geprobt statt theoretisiert.
Modelle driften, vorgelagerte Systeme ändern sich und Volumina wachsen. Ein System, das niemand beobachtet, ist nicht geregelt, wie gut das Richtliniendokument auch sein mag.
Wem es gehört, nachdem wir gegangen sind
Eine benannte verantwortliche Person, die Runbooks, die Entscheidungsprotokolle und das Evaluations-Harness — übergeben als arbeitsfähige Artefakte, nicht als Ordner. Festgelegt in Handover.
Governance, die von der Firma abhängt, die das System gebaut hat, ist keine Governance. Sie ist eine Abhängigkeit.
Was diese Seite nicht behauptet. Quenora besitzt heute keine Zertifizierung nach ISO 27001 oder SOC 2, und diese Seite wird keine solche nahelegen. Die sechs Entscheidungen oben beschreiben, wie die Arbeit konstruiert ist. Nachweise, ein Auftragsverarbeitungsvertrag, eine Liste der Unterauftragsverarbeiter und Versicherungsnachweise werden im Beschaffungsverfahren auf Anfrage bereitgestellt — fragen Sie im ersten Gespräch danach, nicht im dritten.
Erkennen Sie Ihr eigenes System in einer dieser fünf Ebenen wieder? Das ist das Gespräch — zwei Absätze dazu, welche davon klemmt.
Gespräch beginnen