LLM in Unternehmen: Was Entscheider:innen wissen sollten

Um ein LLM für ein Unternehmen oder einen bestimmten Anwendungsfall zu nutzen, benötigt es oft zusätzliche Informationen über das Unternehmen, eine bestimmte Domäne oder die jeweilige Aufgabe. Abhängig vom Kontext und Anwendungsfall kommen verschiedene Methoden oder Strategien infrage:

1. In-Context-Learning

Wenn nur wenige Informationen benötigt werden, lassen sich diese direkt bei der Eingabe im Prompt mitgeben. Beim sogenannten In-Context-Learning erlernt das Modell die Aufgabe direkt aus dem Kontext. Zum Beispiel: “Lies dir den folgenden Artikel durch und bestimme die passende Zeitungsrubrik (z. B. Politik, Wirtschaft, Panorama, Sport etc.): Berlin, März 2023 – Mitten im Pazifik entdeckte ein Frachter gestern ein treibendes Wrack. Zwei Überlebende klammerten sich an die Überreste, schwer verletzt, aber am Leben. Die Ursache des Unglücks bleibt unklar …”

Das Modell nutzt den bereitgestellten Input, um ein Muster zu erkennen und eine neue Entscheidung zu treffen, auf der es bisher nicht trainiert wurde. Diese Methode eignet sich zum Beispiel für Text- oder Stiladaptionen für personalisierte E-Mails oder Produktbeschreibungen.

2. Fine-Tuning

Wenn ein Sprachmodell tiefgreifendes Wissen über ein Unternehmen, eine Software oder ein Fachgebiet benötigt, reicht der Platz für den benötigten Kontext im Eingabefeld oft nicht aus. Eine Lösung ist Fine-Tuning. Dabei wird ein bereits trainiertes Modell mit speziellen Daten weiter trainiert. Das Sprachmodell kennt bereits Grammatik und allgemeine Sprachstrukturen, wird aber mit kontextspezifischen Inhalten angereichert. Zwar werden für das Fine-Tuning deutlich weniger Daten benötigt als für das ursprüngliche Training, dennoch braucht es eine angemessene Menge hochqualitativer Daten in einem standardisierten Format. Fehlerhafte Informationen, schlecht dokumentierte Datenbanken oder minderwertige Bild- und Tabellenqualität können das Modell negativ beeinflussen. Ein Nachteil des Fine-Tunings ist, dass bereits integrierte Daten nicht mehr entfernt oder leicht aktualisiert werden können. Fine-Tuning bietet sich beispielsweise für markenspezifische Texterstellung an: Unternehmen trainieren ein Modell auf den eigenen Marketing- und Kommunikationsrichtlinien, um konsistente Inhalte im firmeneigenen Stil zu generieren.

3. Retrieval Augmented Generation (RAG)

Eine besonders effektive Methode zur Bereitstellung relevanter und vor allem faktisch korrekter Informationen ist Retrieval Augmented Generation (RAG). Dabei werden relevante Datenquellen wie Dokumentationen, Workshop-Aufzeichnungen, Erklärvideos oder Anleitungen in einer Vektordatenbank gespeichert und in kleinere Abschnitte (Chunks) unterteilt. Bei einer Nutzeranfrage sucht das System in der Datenbank nach den passendsten Chunks. Diese werden dem Sprachmodell als Kontext im Prompt bereitgestellt, um fundierte Antworten zu generieren.

Vorteile von RAG:

• Flexibilität: Datenbanken lassen sich beliebig erweitern und aktualisieren

• Präzision: Die Antworten basieren auf spezifischen Informationen 

• Effizienz: Kein aufwändiges Fine-Tuning des Modells notwendig

Herausforderungen:

• Extraktion: Richtige Informations-Chunks finden

• Relevanz: Passende Dokumente zur Anfrage selektieren

• Semantisches Matching: Kontextuelle Bedeutung korrekt erfassen

Der RAG-Ansatz ist in einer Vielzahl von Anwendungsfällen von Vorteil, z. B. in dynamischen Wissensdatenbanken für Kunden- oder IT-Support oder personalisierte Produktempfehlungen basierend auf Echtzeit-Produktdaten und Nutzerverhalten. 

Im AI Exploration Sprint haben wir die RAG-Methodezum Beispiel bei unserem Projekt mit schrempp edv angewandt, um ein Proof-of-Concept zur Integration von KI in die Bestandssoftware zu entwickeln.

Die Modellgröße beschreibt den Kompromiss zwischen Effizienz, Ressourceneinsatz und Qualität.

Je nachdem, auf welchem Endgerät das Modell laufen soll und wie gut die Qualität des Outputs sein soll, kommen verschiedene Modelle infrage. Kleinere Modelle sind effizienter und weniger ressourcenintensiv, können aber in der Qualität der Generierung eingeschränkt sein. Größere Modelle liefern bessere Ergebnisse, benötigen aber mehr Rechenleistung und sind kostenintensiver. Beispiele:

• Kleine Modelle: GPT-2, Gemma-2B, Phi-2

• Mittelgroße Modelle: GPT-3.5, Llama-2-13B, Mistral-7B

• Große Modelle: GPT-4, Llama-2-70B, Claude-Opus, Gemini-Ultra

Die Wahl der Infrastruktur ist eine grundlegende Entscheidung, die maßgeblich von der Art der Anwendung und den Datenschutzanforderungen abhängt. Je sensibler die Daten, desto wichtiger ist die Kontrolle über deren Verarbeitung. Sprachmodelle können entweder über eine Cloud-API genutzt oder auf eigenen Servern gehostet werden.

• API-basierte Modelle: Diese leistungsstarken Modelle sind sehr einfach zu integrieren, verursachen jedoch laufende Kosten pro Anfrage. Da die Daten an externe Server gesendet werden, besteht weniger Kontrolle über die Datenverarbeitung.
  Beispiele: ChatGPT, Claude, Gemini, Cohere

• Selbst gehostete Modelle: Open-Source-Modelle können lokal oder auf eigenen Cloud-Servern betrieben werden. Dies ermöglicht vollständige Datenkontrolle, erfordert jedoch leistungsstarke Hardware. Dies ist besonders relevant für Datenschutzvorgaben wie DSGVO oder TISAX.
  Beispiele: Llama, Mistral, DeepSeek, Falcon

Je nach Anwendungsfall sind spezielle Modelle sinnvoll. Einige sind für technische, juristische oder wissenschaftliche Anwendungen optimiert, andere können besonders gut mit mehrsprachigen oder medizinischen Inhalten umgehen. Es lohnt sich, Modelle zu vergleichen und gegebenenfalls anzupassen. Ebenso wichtig sind technische Faktoren wie:

• Inference-Geschwindigkeit: Wie schnell kann das Modell Anfragen beantworten?

• Kontextfenster: Wie viel Text kann das Modell auf einmal verarbeiten? Ein großes Kontextfenster ist vorteilhaft für komplexe Anfragen und lange Gespräche.

Die Wahl des richtigen Sprachmodells hängt von den individuellen Anforderungen, dem Budget und den Datenschutzrichtlinien ab. Ein ausgewogener Ansatz zwischen Qualität, Kosten und Sicherheit ist entscheidend.

• Open-Source-LLMs bieten mehr Transparenz, Anpassungsfähigkeit und Kontrolle über die Daten, erfordern jedoch eine leistungsfähige Infrastruktur und technisches Know-how. Sie eignen sich besonders für Unternehmen, die langfristig Kosten sparen und ihre Modelle individuell anpassen möchten. (Der Einfachheit halber inkludieren wir hier Open-Weights-Modelle, bei denen nur die trainierten Gewichte veröffentlicht wurden, nicht aber der Quellcode oder die Trainingsdaten.)

• Closed-Source-LLMs hingegen sind oft leistungsstärker und einfacher zu integrieren, bringen aber Abhängigkeiten von externen Anbietern und potenzielle Datenschutzrisiken mit sich. Sie sind ideal für eine schnelle Implementierung und einen geringeren Wartungsaufwand. Da die Modelle nicht direkt zugänglich sind, kann niemand sie eigenständig betreiben, verändern oder weiterentwickeln. Sie sind meist nur per API zugänglich.

Unternehmen haben heute viele Möglichkeiten, LLMs gezielt auszuwählen und anzupassen. Doch wie nachhaltig sind solche Entscheidungen in einer Zeit, in der sich die Technologie rasant weiterentwickelt und neue Hypes scheinbar im Wochentakt „alles auf den Kopf stellen“? Ist es sinnvoll, ein LLM anzupassen – oder lohnt es sich, einfach auf die nächste Version zu warten? Wie relevant sind Datenschutz-Debatten bei API-Varianten, wenn lokale Modelle bald genauso leistungsfähig sein könnten? Wie also treffen technische Entscheider:innen fundierte Entscheidungen? Welche Trends haben Bestand, welche sind nur kurzfristige Phänomene? Wir wollen im nächsten Teil das Beispiel DeepSeek diskutieren, was in den letzten Wochen für einigen Aufruhr gesorgt hat.