KI-Telefonie On-Premise: Betrieb in Ihrer eigenen Infrastruktur
Manche Unternehmen wollen Telefongespräche nicht außer Haus verarbeiten lassen, auch nicht bei einem Dienstleister in Deutschland. Für sie installieren wir den KI-Telefonassistenten in der eigenen Infrastruktur – auf Servern im Haus, im eigenen Rechenzentrum oder in der eigenen Cloud-Umgebung. Wer KI lokal betreiben möchte, kann dabei auch Spracherkennung, Sprachmodell und Stimme vollständig auf eigener Hardware laufen lassen.
Architektur
Betrieb bei Ihnen oder von uns gehostet
On-Premise bei Ihnen
Die gesamte Sprach-Infrastruktur läuft auf Ihren Systemen. Gesprächsaudio, Transkripte und Notizen verlassen Ihr Netz nicht, sofern Sie das so festlegen. Sie bestimmen Zugriffe, Protokollierung und Löschung selbst. Dafür stellen Sie Server und Betriebsumgebung bereit.
Von uns gehostet
Wir betreiben den Assistenten auf Servern in Deutschland bzw. der EU und übernehmen Betrieb, Überwachung und Updates. Grundlage ist ein Auftragsverarbeitungsvertrag. Sie benötigen keine eigene Hardware und starten schneller.
Warum Unternehmen KI lokal betreiben
Der häufigste Grund ist Datenhoheit. Wer mit Gesundheitsdaten, Mandatsgeheimnissen oder vertraulichen Geschäftsinformationen arbeitet, möchte genau wissen, wo diese Daten verarbeitet werden – und möglichst wenige Stellen einbeziehen. Läuft der Assistent im eigenen Haus, entfällt die Übertragung von Gesprächsinhalten an externe Dienste weitgehend.
Hinzu kommen interne Vorgaben: Konzernrichtlinien, Informationssicherheitskonzepte oder Kundenverträge, die eine Verarbeitung außerhalb der eigenen Infrastruktur ausschließen. Auch Unternehmen, die ohnehin eigene Server oder eine private Cloud betreiben, nutzen gern die vorhandene Umgebung. Hintergründe zu lokalen Sprachmodellen beschreibt der Ratgeber KI lokal betreiben.
Welche Bausteine lokal laufen können
Der Assistent besteht aus mehreren Komponenten. Sie entscheiden je Baustein, ob er lokal läuft oder ein externer Dienst mit Verarbeitung in der EU genutzt wird.
| Baustein | Lokal möglich | Hinweis |
|---|---|---|
| Telefonie und Steuerung | Ja | Läuft auf Standard-Servern und wird an Ihre Anlage angebunden |
| Spracherkennung (STT) | Ja, mit Open-Source-Modellen | Profitiert von Grafikbeschleunigung, besonders bei mehreren gleichzeitigen Gesprächen |
| Sprachmodell (LLM) | Ja, mit Open-Source-Modellen | Der Hardwarebedarf steigt deutlich mit der Modellgröße |
| Sprachausgabe (TTS) | Ja, mit Open-Source-Modellen | Stimmenauswahl kann gegenüber externen Diensten eingeschränkt sein |
| Gesprächsnotizen und Speicher | Ja | Ablage in Ihren Systemen, Löschfristen nach Ihren Vorgaben |
Mischformen sind möglich, etwa Telefonie und Speicher lokal, Sprachmodell über einen Dienst mit Verarbeitung in der EU.
Anforderungen an Server und Hardware
Wie viel Rechenleistung nötig ist, hängt vor allem von zwei Faktoren ab: der Größe der eingesetzten Modelle und der Zahl der Gespräche, die gleichzeitig laufen sollen. Telefonie und Steuerung kommen mit üblichen Servern aus. Sollen Spracherkennung und Sprachmodell lokal laufen, ist in der Regel ein Server mit geeigneter Grafikkarte erforderlich, damit der Assistent ohne spürbare Pausen antwortet.
Wir legen keine Pauschalwerte fest, sondern dimensionieren anhand Ihres Anrufaufkommens und der gewünschten Gesprächsqualität. Kleinere Modelle sind sparsamer, verstehen aber komplexe Anliegen weniger zuverlässig. Größere Modelle brauchen mehr Hardware. Diese Abwägung treffen wir gemeinsam mit Ihnen, bevor Hardware beschafft wird. Bei Bedarf unterstützen unsere IT-Services bei Planung und Aufbau der Server.
Voraussetzungen in Ihrer Umgebung
- Server oder virtuelle Maschinen mit ausreichend Leistung, bei lokalen Modellen mit Grafikbeschleunigung
- Netzwerkverbindung zur Telefonanlage mit stabiler Sprachqualität
- Abgesicherter Fernzugang für Einrichtung und Wartung, sofern wir den Betrieb unterstützen
- Datensicherung und Überwachung nach Ihren internen Standards
- Ansprechpartner in Ihrer IT für Freigaben und Änderungen
So läuft ein On-Premise-Projekt
- Schritt 1
Anforderungen klären
Wir besprechen Anrufaufkommen, gewünschte Gesprächsqualität, interne Sicherheitsvorgaben und welche Bausteine zwingend lokal laufen müssen.
- Schritt 2
Modelle testen
Bevor Hardware beschafft wird, testen wir geeignete Open-Source-Modelle mit Beispielgesprächen aus Ihrem Alltag und vergleichen Verständnis und Antwortzeit.
- Schritt 3
Umgebung vorbereiten
Ihre IT stellt Server, Netz und Zugänge bereit, oder wir unterstützen beim Aufbau. Parallel entsteht der Gesprächsleitfaden.
- Schritt 4
Installation und Anbindung
Wir installieren die Sprach-Infrastruktur, binden die Telefonanlage an und testen über eine interne Testnummer.
- Schritt 5
Übergabe und Betrieb
Nach dem Livegang dokumentieren wir die Installation und führen den Betrieb im vereinbarten Wartungsmodell fort.
Modelle für Updates und Wartung
Auch ein lokal betriebener Assistent braucht Pflege: Sicherheitsupdates, neue Modellversionen und Anpassungen am Gesprächsleitfaden. Wie das organisiert wird, legen wir gemeinsam fest.
Wartung durch uns
Wir spielen Updates per abgesichertem Fernzugang ein, überwachen den Betrieb und passen Leitfaden und Wissen an. Ihre IT stellt Infrastruktur und Zugang bereit.
Geteilter Betrieb
Ihre IT betreibt Server und Betriebssystem, wir kümmern uns um die Sprach-Infrastruktur und den Assistenten selbst.
Betrieb durch Ihre IT
Wir übergeben eine dokumentierte Installation, Ihr Team übernimmt den Betrieb. Wir stehen für Weiterentwicklung und Fragen zur Verfügung.
Geplante Modellwechsel
Neue Modellversionen testen wir vorab mit Beispielgesprächen, bevor sie produktiv gehen. So bleibt das Verhalten des Assistenten nachvollziehbar.
Häufige Fragen
Ist On-Premise automatisch datenschutzkonform?
Nein. Der Betrieb im eigenen Haus reduziert die beteiligten Stellen, ersetzt aber nicht die übrigen Pflichten: Rechtsgrundlage, KI-Hinweis, Speicherfristen und technische Schutzmaßnahmen gelten weiterhin.
Brauche ich zwingend eine Grafikkarte?
Nur wenn Spracherkennung oder Sprachmodell lokal laufen sollen. Werden diese Bausteine als Dienst mit Verarbeitung in der EU genutzt, reichen für Telefonie und Steuerung übliche Server.
Sind lokale Modelle genauso gut wie externe Dienste?
Das hängt vom Anwendungsfall ab. Für klar umrissene Gespräche wie Annahme, Terminwunsch oder Gesprächsnotiz liefern lokale Open-Source-Modelle gute Ergebnisse. Bei sehr offenen Dialogen testen wir vorab, welches Modell ausreicht.
Kann ich später von gehostet auf On-Premise wechseln?
Ja. Weil wir keine fremde Voice-Plattform nutzen, lässt sich der Assistent mit seinem Leitfaden in Ihre Umgebung umziehen. Umgekehrt geht das ebenso.
Wie wird der Assistent an meine Telefonanlage angebunden?
Genauso wie im gehosteten Betrieb: per SIP oder Rufumleitung. Die Varianten zeigt die Seite KI-Telefonie-Anbindung.
Hören Sie, wie Ihr Assistent klingt.
In einem kurzen Gespräch klären wir Ihre Anrufgründe. Danach richten wir einen Demo-Assistenten mit Ihren Abläufen ein – zum Anrufen und Ausprobieren.
Demo anfragen → Rückruf vereinbaren Oder direkt anrufen+49 5341 288 4730