Große Sprachmodelle, kleine Wirkung?: 5 Fragen vor dem LLM-Deployment

Diese fünf Fragen sollten Sie sich stellen, bevor Sie sich vom anhaltenden Hype um große Sprachmodelle vereinnahmen lassen.

Foto: Tada Images | shutterstock.com

Seit dem Debüt von ChatGPT wächst der Hype – und die Bedenken – wenn es um große Sprachmodelle (Large Language Models; LLMs) geht. Tatsächlich scheint die Technologie in der Praxis des Öfteren zweckentfremdet zu werden – was auch daran liegt, dass ihre aktuellen Fähigkeiten häufig überbewertet werden.

Das soll nicht heißen, dass es nicht diverse großartige Möglichkeiten gibt, LLMs einzusetzen. Allerdings sollten Sie sich in Bezug auf große Sprachmodelle unbedingt folgende fünf Schlüsselfragen stellen. Und zwar möglichst, bevor Sie sich voll ins Zeug legen.

1. Bringt ein LLM wirklich Mehrwert?

Kein Benutzer mag Chatbots, die entweder Offensichtliches wiederkäuen oder mehr Fragen aufwerfen als beantworten. Gleichermaßen frustrierend ist es, mit menschlichen Kundendienstmitarbeitern zu interagieren, die ihre Lebensaufgabe vor allem darin sehen, vorgefertigte Skripte abzulesen, statt auf konkrete Benutzerfragen einzugehen.

Vor dem Einsatz eines Large Language Model sollten Sie deshalb unbedingt testen, ob ein Chatbot im Vergleich zu menschlichen Mitarbeitern wirklich einen Mehrwert für die User bietet – oder sich zumindest auf gleichwertigem Niveau bewegt.

2. Wie steht es um die Haftungsrisiken?

Jeder neue Prozess und jede neue Technologie sollte mit Blick auf die mit ihr verbundenen, rechtlichen Risiken evaluiert werden. Dabei gibt es Bereiche – etwa Medizin, Recht oder Finanzen – in denen diesbezüglich relativ offensichtlich Vorsicht geboten ist.

Weniger “sichtbar” sind hingegen die Risiken, die entstehen, wenn ein Sprachmodell Menschen mit seinem Output in die Irre führt oder zu Straftaten inspiriert. Je nach Unternehmensstandort und Gesetzeslage könnten sich daraus neue Haftungsprobleme ergeben.

3. Ist ein LLM wirklich günstiger?

Die Kosten für die Nutzung allgemein verfügbarer Sprachmodelle – etwa ChatGPT – lässt sich im Rahmen eines Abonnements relativ gut messen, respektive tracken. Allerdings können kundenspezifische Systeme Kosten verursachen, die weitaus über die reine Rechenleistung hinausgehen – zum Beispiel für Personal, Infrastruktur und Systemwartung.

Zudem scheinen ChatGPT und vergleichbare Services derzeit noch von den Anbietern subventioniert zu werden. Das wird sich sehr wahrscheinlich irgendwann ändern – und dann werden auch die Kosten steigen. Sie sollten also nachrechnen, ob ein Large Language Model im Vergleich tatsächlich günstiger kommt. Und zwar mit Blick auf die gesamte Systemlebensdauer.

4. Wie händeln Sie die Systemwartung?

Die meisten LLMs für Unternehmen werden auf spezifischen Datensätzen trainiert. Ein Nachteil der neuronalen Netze, auf denen LLMs basieren: Sie sind schwierig zu debuggen.

In Zukunft könnten große Sprachmodelle zwar die Fähigkeit entwickeln, falsch gelernte Informationen zu überarbeiten, zu löschen oder zu “verlernen”. Aktuell stellt das allerdings noch ein diffiziles Unterfangen dar. Sie brauchen also einen Prozess, um das Sprachmodell regelmäßig zu aktualisieren – und sollten vor dem Deployment wissen, wie dieser aussieht.

5. Wie sehen Ihre Testing-Prozesse aus?

Ein wesentlicher Vorteil eines Large Language Model ist, dass Sie nicht jede mögliche Permutation einer Frage vorhersehen müssen, damit das Modell eine glaubwürdige Antwort liefert. Glaubwürdig heißt allerdings noch lange nicht korrekt. Zumindest die häufigsten Fragen und Permutationen sollten Sie im Rahmen von Testing-Sessions überprüfen. (fm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.