Datenschutz

Was beim Indexieren von Dokumenten wirklich passiert

Indexieren heißt, dass der komplette Dokumententext durch ein Embedding-Modell läuft. Was das bei gehosteten Schnittstellen bedeutet.

Europäische KI

Ein Dokument, das für die KI-Suche vorbereitet wird, wird vollständig verarbeitet. Jeder Absatz, nicht nur die Stellen, nach denen später jemand fragt. Wo dieser Schritt abläuft, entscheidet deshalb über den gesamten Dokumentenbestand und nicht über einzelne Eingaben. OpenAI veröffentlicht seine Regeln dazu nachlesbar, und sie zeigen, wie der Standardfall aussieht.

Was passiert eigentlich, wenn ein Dokument "indexiert" wird?

Beim Indexieren wird ein Dokument in kleine Textstücke zerlegt, und jedes dieser Stücke läuft durch ein Embedding-Modell, das den Text in eine lange Zahlenreihe übersetzt. Diese Zahlenreihe heißt Vektor. Sie steht für die Bedeutung des Textstücks und nicht für seine Wörter, weshalb die Suche später auch Passagen findet, in denen der gesuchte Begriff gar nicht vorkommt.

Die Textstücke heißen Chunks, und wie groß sie sind, entscheidet der Betreiber der Suche. Der Chunking-Leitfaden von Firecrawl nennt als Ausgangswert 400 bis 512 Token pro Chunk bei 10 bis 20 Prozent Überlappung, also rund 50 bis 100 Token, die sich zwei benachbarte Chunks teilen (abgerufen am 6. September 2026). Token ist dabei die Zähleinheit, in der Sprachmodelle Text messen, grob ein kurzes Wort oder ein Wortteil. Die Überlappung existiert, damit ein Satz, der genau auf der Schnittkante steht, nicht in beiden Stücken halbiert ankommt.

Die fertigen Vektoren landen in einer Vektordatenbank. Das ist ein Speicher, der nicht nach Zeichenketten sucht, sondern nach Nähe zwischen Zahlenreihen. Stellt jemand später eine Frage, wird auch diese Frage in einen Vektor übersetzt und mit den gespeicherten verglichen. Die ähnlichsten Textstücke gehen als Kontext an das Sprachmodell, das die Antwort formuliert. Dieses Verfahren trägt das Kürzel RAG, Retrieval Augmented Generation, also Generierung mit vorgeschaltetem Nachschlagen.

Warum sieht ein gehostetes Embedding-Modell den ganzen Bestand und nicht nur die Frage?

Weil jedes Textstück jedes indexierten Dokuments einmal durch das Embedding-Modell laufen muss, bevor überhaupt gesucht werden kann. Die spätere Frage eines Nutzers ist dagegen winzig. Ein langer Vertrag wird beim Indexieren vollständig verarbeitet, Abschnitt für Abschnitt, unabhängig davon, ob je jemand eine Frage dazu stellt. Auch Dokumente, die anschließend niemand abruft, sind einmal durch das Modell gelaufen.

Eine gehostete Schnittstelle, im Englischen hosted API, ist ein Dienst, den ein Anbieter auf seinen eigenen Servern betreibt und den das Unternehmen über das Internet aufruft. Liegt das Embedding-Modell hinter einer solchen Schnittstelle, verlässt der komplette indexierte Bestand die Umgebung des Unternehmens. Das ist kein Sonderfall, sondern der Normalbetrieb dieser Bauweise.

Wer nur prüft, welche Eingaben Mitarbeiter in ein Chatfenster tippen, prüft den kleineren Teil. Die Eingaben sind einzelne Sätze, der Index ist der Aktenschrank. Ob und wie lange die übermittelten Inhalte beim Anbieter der Schnittstelle gespeichert werden, entscheiden dessen Bedingungen und nicht die eigene IT.

Wie lange speichert OpenAI, was durch seine Schnittstelle läuft?

Bis zu 30 Tage. OpenAIs eigene Dokumentation zu den Datenkontrollen der Plattform gibt an, dass Ein- und Ausgaben zur Missbrauchsüberwachung "up to 30 days" aufbewahrt werden, "unless longer retention is required by law" (abgerufen am 6. September 2026). Das ist der Normalfall für Inhalte, die über die Schnittstelle gehen, und damit auch für ein Dokument, das über eine gehostete Embedding-Schnittstelle indexiert wird, solange keine Ausnahme greift.

Diese Ausnahme heißt Zero Data Retention, kurz ZDR: die Zusage, dass Ein- und Ausgaben gar nicht erst gespeichert werden. Den Endpunkt /v1/embeddings führt OpenAI in derselben Dokumentation als ZDR-fähig auf. Entscheidend ist die Reihenfolge. ZDR ist nicht der Auslieferungszustand, sondern muss vorher beantragt und freigegeben werden, in der Regel im Rahmen eines Enterprise-Vertrags.

Für die Praxis heißt das zweierlei. Ein Unternehmen, das ohne besondere Vereinbarung eine gehostete Embedding-Schnittstelle nutzt, arbeitet im Standardzustand mit einer Aufbewahrung von bis zu 30 Tagen. Und der Satz "der Anbieter bietet Zero Data Retention an" sagt für sich genommen noch nicht, dass ZDR für den eigenen Zugang eingeschaltet ist.

OpenAI dient hier als nachlesbares Beispiel dafür, wie eine gehostete Schnittstelle im Standard arbeitet, weil OpenAI diese Regeln selbst veröffentlicht. Über die Voreinstellungen anderer Anbieter sagt das nichts, die stehen jeweils in deren eigener Dokumentation.

Was ändert sich, wenn Embedding und Vektordatenbank im eigenen Haus laufen?

Der Indexierungsschritt hört auf, eine Übermittlung an Dritte zu sein. Läuft das Embedding-Modell auf der Infrastruktur des Plattformbetreibers und liegt die Vektordatenbank ebenfalls dort, wird beim Indexieren kein Dokumententext an eine fremde Schnittstelle übergeben. Die Frage nach fremden Aufbewahrungsfristen stellt sich für diesen Schritt nicht.

Die Plattform oneAI ist so gebaut: Embedding-Modell, ein Modell zum Auslesen von Dokumenten, ein Zusammenfassungsmodell und ein Klassifizierer für die Risikostufen des EU AI Act laufen auf eigener Infrastruktur, die Vektoren liegen in einer selbst betriebenen Datenbank. Dazu kommt ein separater mehrsprachiger Cross-Encoder. Ein Cross-Encoder ist ein zweites, langsameres Modell, das Frage und Fundstelle gemeinsam bewertet, statt nur Zahlenreihen zu vergleichen, und er sortiert die Treffer neu, bevor das antwortende Modell sie sieht. Jede indexierte Passage bekommt zusätzlich eine erzeugte Kontext-Zusammenfassung.

oneAI verarbeitet die Daten der Cloud-Variante überwiegend in Deutschland, bei der Hetzner Online GmbH in Nürnberg und Falkenstein, und nennt daneben zwei weitere Betriebsformen, bis hin zur vollständigen Installation im Rechenzentrum des Kunden. Diese Angaben betreffen den Indexierungsschritt. Welches Sprachmodell später die Antwort formuliert, ist eine getrennte Entscheidung mit eigenen Folgen.

OpenAI-Dokumentation und Architekturangaben des Plattformbetreibers, Stand 6. September 2026.
Was mit dem indexierten Text passiertGehostete Embedding-Schnittstelle (Beispiel OpenAI)Selbst betriebener Stack
Ort des Embedding-SchrittsInfrastruktur des SchnittstellenanbietersInfrastruktur des Plattformbetreibers
Aufbewahrung im StandardBis zu 30 TageKeine eigene Frist ausgewiesen, der Bestand bleibt im eigenen Stack
Zero Data RetentionFür /v1/embeddings möglich, aber nur nach Antrag und FreigabeFür diesen Schritt gegenstandslos
VektordatenbankNicht Teil des Aufrufs, Speicherung getrennt zu klärenSelbst betrieben
Nachsortierung vor der AntwortNicht Teil eines Embedding-AufrufsMehrsprachiger Cross-Encoder
Veröffentlichte ModellangabenDimensionen und MTEB-Wert veröffentlichtNicht angegeben

Was lässt sich an einem selbst betriebenen Embedding-Modell nicht nachprüfen?

Nachprüfen lässt sich genau das nicht, was ein großer Anbieter von sich aus veröffentlicht: die Vektordimension und ein Benchmarkergebnis. OpenAI gibt beides für seine aktuellen Embedding-Modelle an. Die Dimension ist die Länge der Zahlenreihe, in die ein Textstück übersetzt wird, und MTEB steht für Massive Text Embedding Benchmark, eine öffentliche Testsammlung, an der sich Embedding-Modelle vergleichen lassen.

Von OpenAI veröffentlichte Angaben zu seinen aktuellen Embedding-Modellen, abgerufen am 6. September 2026.
Embedding-ModellVektordimensionenMTEB-Durchschnitt
text-embedding-3-small153662,3 Prozent
text-embedding-3-large307264,6 Prozent

Für das selbst gehostete Embedding-Modell von oneAI sind das Basismodell, die Vektordimension und ein Benchmarkwert öffentlich nicht angegeben, und ein unabhängiges Benchmarkergebnis liegt nicht vor. Ein Einkäufer kann bei OpenAI vor der Entscheidung nachlesen, welches Modell er bekommt und wie es in einem öffentlichen Test abschneidet. Dieselbe Prüfung ist bei einem selbst betriebenen Modell nicht möglich.

Das ist der ehrliche Preis des Vorteils und kein Detail am Rand. Der Gewinn liegt darin, dass der Dokumentenbestand den Indexierungsschritt nicht verlässt. Der Verlust liegt darin, dass sich die Qualität des Embedding-Modells nicht vorab an veröffentlichten Zahlen ablesen lässt, sondern erst im eigenen Test mit den eigenen Dokumenten zeigt.

Zwei Fragen an einen Anbieter sind vor der Entscheidung beantwortbar, und beide betreffen dieselbe Stelle im Ablauf: Auf wessen Infrastruktur läuft der Embedding-Schritt, und welche Aufbewahrungsfrist gilt dort ohne gesonderte Vereinbarung? Wer beide Antworten schriftlich vorliegen hat, weiß, wohin der eigene Dokumentenbestand beim Indexieren geht.

Quellen