Die KI-Toolbox

Die KI-Toolbox ermöglicht allen Mitarbeitenden des KIT den Zugriff auf verschiedene lokale und externe Sprachmodelle (LLMs). Die Nutzung erfolgt über zwei getrennte Wege: eine Weboberfläche für interaktive Nutzung und eine Programmierschnittstelle (API) für die Integration in eigene Anwendungen.

Die Weboberfläche richtet sich an Nutzende ohne Programmierkenntnisse und eignet sich für explorative Aufgaben wie Texte generieren, zusammenfassen, übersetzen oder Fragen beantworten. Die API dient der Einbindung von LLM‑Funktionen in Skripte, Dienste oder automatisierte Workflows. Sie ist für wiederholbare, skalierbare oder batchweise Prozesse vorgesehen und setzt Programmierkenntnisse voraus.

Die KI-Toolbox wird im Rahmen der geltenden KIT‑Leitlinie betrieben. Je nach Modell werden Anfragen lokal oder extern verarbeitet. Das ist von den Nutzenden eigenverantwortlich zu berücksichtigen. Genaueres entnehmen Sie der Dienstebeschreibung des SCC unter dem Abschnitt "Datenkategorien, Schutzklassen und Modellwahl" in den Nutzungsbedingungen.

ⓘ Wir bieten regelmäßig begleitende Webinare zur Einführung, zu neuen Funktionen und zur Vertiefung einzelner Themen an.

Aktuelle Termine finden Sie im ZML-Veranstaltungskalender

Zugang

Aktuell ist die KI-Toolbox ist nur im KIT-Netz erreichbar: 

Wenn Sie sich außerhalb des Campus-Netzwerks befinden (z.B. im Homeoffice), müssen Sie momentan eine aktive VPN-Verbindung zum KIT herstellen, um auf die Oberfläche zugreifen zu können.

Beachten Sie, dass Sie die KI-Toolbox erst verwenden können, wenn Sie das KI-Kompetenzmodul auf KOALA erfolgreich abgeschlossen haben.

Standard-Funktionen

Alle KIT-Beschäftigten können sich mit ihrer KIT-ID und ihrem Passwort an der KI-Toolbox anmelden unter: https://ki-toolbox.scc.kit.edu/

Wenn Sie sich außerhalb des Campusnetzes befinden (z.B. im Home Office), müssen Sie derzeit eine aktive VPN-Verbindung zum KIT aufbauen, um auf die Schnittstelle zugreifen zu können.

Bitte beachten Sie, dass Sie die KI-Toolbox erst nutzen können, wenn Sie das KI-Kompetenzmodul auf KOALA erfolgreich abgeschlossen haben. Der Zugang zur KI-Toolbox wird dann nach ca. 5 min freigeschaltet.

Im Eingabefenster können Sie Ihren Chat direkt mit einem der verfügbaren Sprachmodelle starten.

So erstellen Sie einen neuen Chat:

  1. Sie können jederzeit über das Menü einen weiteren neuen Chat starten. Klicken Sie dazu auf die Schaltfläche "Neuer Chat" in der linken Seitenleiste. Das Hauptfenster wird geleert und ist bereit für Ihre Eingaben.

  2. In der KI-Toolbox stehen Ihnen verschiedene Modelle zur Verfügung. Informationen zu den Stärken und Anwendungsfällen finden Sie neben dem jeweiligen Modell oder darunter.

  3. Geben Sie nun Ihre Frage oder Anweisung in das Eingabefeld ein. Alternativ können Sie Ihre Frage auch diktieren, indem Sie auf das Mikrofonsymbol rechts neben dem Eingabefeld klicken. Drücken Sie anschließend die Eingabetaste oder klicken Sie auf den Sendepfeil. Die KI wird nun Ihre Anfrage bearbeiten und eine Antwort im Chatfenster generieren. Sie können den Dialog nach Belieben fortsetzen, indem Sie weitere Fragen stellen. Der Kontext der vorherigen Konversation bleibt dabei erhalten. Unterhalb des Eingabefeldes finden Sie zusätzliche Werkzeuge, die die Fähigkeiten der KI erweitern. Diese können je nach ausgewähltem Modell variieren.


Ein kurzer Überblick über die Funktionen (für weitere Informationen siehe unten oder in der Anleitung):

  • Erstellen und verwenden Sie Ihre eigenen Promptsammlungen (verfügbar im Chat über / ).

  • Speichern Sie Ihr eigenes Wissen in Form von Dateien und Texten (im Chat über # verfügbar).

  • Erstellen Sie Ihre eigenen Modelle und verknüpfen Sie diese mit Prompts und Wissen.

  • Spracheingabe und -ausgabe verwenden (siehe unten). 

ⓘ  Hinweis: Die aufgeführten Modelle in dieser Tabelle können sich ändern. Diese Liste ist möglicherweise nicht immer aktuell.

Modell Betriebsart Intelligenz Geschwindigkeit Eingabe Ausgabe Herkunft Preis pro 1M Tokens
standard-local* Lokal
(Personenbezogene Daten erlaubt)
💡💡💡 ⚡️⚡️⚡️⚡️ Text Text SCC interne Kosten
qwen3-vl:235b-a22b Lokal
(Personenbezogene Daten erlaubt)
💡💡💡💡 ⚡️⚡️⚡️ Text/Bild Text Alibaba interne Kosten
mixtral:8x22b Lokal
(Personenbezogene Daten erlaubt)
💡💡💡 ⚡️⚡️ Text Text MistralAI interne Kosten
gpt-oss:120b Lokal
(Personenbezogene Daten erlaubt)
💡💡💡 ⚡️⚡️⚡️⚡️ Text Text OpenAI (lokal) interne Kosten
Standard-External* Extern
(keine personenbezogenen Daten erlaubt)
💡💡💡 ⚡️⚡️⚡️⚡️ Text/Bild Text OpenAI $0.25 in/$2 out
GPT-4.1 Extern
(keine personenbezogenen Daten erlaubt)
💡💡💡💡 ⚡️⚡️⚡️ Text/Bild Text OpenAI $2 in/$8 out
GPT-4.1 mini Extern
(keine personenbezogenen Daten erlaubt)
💡💡💡 ⚡️⚡️⚡️⚡️ Text/Bild Text OpenAI $0.40 in/$1.60 out
GPT-4.1 nano Extern
(keine personenbezogenen Daten erlaubt)
💡💡 ⚡️⚡️⚡️⚡️⚡️ Text/Bild Text OpenAI $0.10 in/$0.40 out
o3 Extern
(keine personenbezogenen Daten erlaubt)
💡💡💡💡💡 ⚡️ Text/Bild Text OpenAI $2 in/$8 out
o4-mini Extern
(keine personenbezogenen Daten erlaubt)
💡💡💡💡 ⚡️⚡️⚡️ Text/Bild Text OpenAI $1.10 in/$4.40 out
GPT-5 Extern
(keine personenbezogenen Daten erlaubt)
💡💡💡💡 ⚡️⚡️⚡️ Text/Bild Text OpenAI $1.25 in/$10 out
GPT-5 mini Extern
(keine personenbezogenen Daten erlaubt)
💡💡💡 ⚡️⚡️⚡️⚡️ Text/Bild Text OpenAI $0.25 in/$2 out
GPT-5 nano Extern
(keine personenbezogenen Daten erlaubt)
💡💡 ⚡️⚡️⚡️⚡️⚡️ Text/Bild Text OpenAI $0.05 in/$0.40 out
Microsoft Copilot (EDP) Extern
(keine personenbezogenen Daten erlaubt)
        Microsoft  


* Bei diesen Modellen ist ein angepasster Systemprompt hinterlegt:

Systemprompt standard.extern

Du bist **KIT‑Assistant**, offizieller KI‑Assistent des „Karlsruher Instituts für Technologie (KIT)“, der Universität in der Helmholtz‑Gemeinschaft.  

 

Deine Aufgabe ist es, **wohlformulierte, strukturierte und überprüfte Antworten** zu liefern, die den höchsten Qualitätsstandards entsprechen. Du antwortest immer in der explizit angeforderten Sprache, sonst in der Sprache der Nutzer‑Anfrage.  

 

#### 🛠️ Interner Qualitäts‑Workflow (nicht sichtbar für den Nutzer)  
1. **Rubrik erstellen** – Intern definierst du 5‑7 Kriterien, die ein exzellentes Ergebnis für die jeweilige Anfrage auszeichnen.  
2. **Entwurf erstellen** – Auf Basis der Rubrik verfasst du einen ersten Antwortentwurf.  
3. **Kritisieren & Verbessern** – Du bewertest den Entwurf kritisch anhand der Rubrik, identifizierst Schwächen und Lücken.  
4. **Wiederholen** – Der Entwurf wird überarbeitet, bis alle Rubrik‑Kriterien erfüllt sind.  
5. **Endergebnis präsentieren** – Nur das finale, geprüfte Ergebnis wird dem Nutzer angezeigt.  

 

#### ❓ Umgang mit unklaren Anfragen  
Ist die Frage mehrdeutig oder fehlen Kontext‑Informationen, stelle gezielte Rückfragen, bevor du eine endgültige Antwort gibst.  

 

#### 📂 Ausgabe‑Format  
1. **Kurz‑Summary** (max 2 Sätze)  
2. **Detail‑Abschnitt** (Markdown, klare Überschriften)  
3. **Footer** (Disclaimer KI erzeugter Output)

 

#### ✅ Qualitäts‑Gates (automatisch geprüft)  
- **Gate‑A (Sprach‑ & Stil‑Check)** – Rechtschreibung, aktive Stimme, Absätze ≤ 3 Sätze.  
- **Gate‑B (Fakten‑Check)** – Verifiziert gegen vorhandenen Kontext + öffentliche Quellen (falls extern).  
- **Gate‑C (Struktur)** – Sinnvolle Überschriften, Gliederungen, Tabellen, Hervorhebungen, Emojis als visuelle Marker.  
- **Gate‑D (Wichtige Schreibweisen)** – Korrekte Abkürzungen: KIT, Campus Nord = CN, Campus Süd = CS.  

 

#### ⚠️ Fehlverhalten  
Erfüllt die Antwort nicht alle Gates, gib `[RETRY]` zurück und liefere eine überarbeitete Version. Nach drei Fehlversuchen wird eine Fehlermeldung erzeugt.  

 

* * *  (bei jeder Ausgabe unten anfügen)

Systemprompt standard.lokal
Du bist **KIT‑Assistant**, offizieller KI‑Assistent des „Karlsruher Instituts für Technologie (KIT), die Universität in der Helmholtz-Gemeinschaft“. Deine Aufgabe ist es, **wohlformulierte, strukturierte und überprüfte Antworten** zu liefern, die den höchsten Qualitätsstandards entsprechen. Du antwortest immer in der explizit angeforderten Sprache, sonst in der Sprache der Nutzer‑Anfrage.

**Wichtig:** Ist die Frage unklar, mehrdeutig oder fehlen notwendige Kontext‑Informationen, stelle zunächst gezielte Rückfragen, bevor du eine endgültige Antwort gibst. Ziel ist stets die höchstmögliche Antwort‑Qualität. **Wichtig:** Schlage keine binären Dateiformate (z.B. Word oder PDF) für die Ausgabe vor und weise darauf hin, wenn solche angefordert werden, dass du dies nicht kannst. Erstelle stattdessen Ausgaben mit Hinweisen, wie diese in das gewünschte Dateiformat überführt werden können. ---

## Antwort‑Format 1. **Kurz‑Summary** (max 2 Sätze) 2. **Detail‑Abschnitt** (Markdown, klare Überschriften)

---

## Qualitäts‑Gates (automatisch geprüft)
- **Gate‑A (Sprach‑ & Stil‑Check)** – Rechtschreibung, aktive Stimme, Absätze mit maximal 3 Sätzen.
- **Gate‑B (Fakten‑Check)** – Verifiziert gegen vorhandenen Kontext + öffentliche Quellen (falls extern).
- **Gate-C (Struktur)** - Inhalte sind sinnvoll mit Überschriften, Gliederungen, Tabellen, Hervorhebungen, Emojis als visuellen Markern strukturiert und formatiert
- **Gate-D (Wichtige Schreibweisen)** - Die korrekte Abkürzung für das Karlsruher Institut für Technologie ist KIT, Campus Nord ist CN und Campus Süd CS

**Verhalten bei Nicht‑Erfüllung:** Gib `[RETRY]` zurück und liefere eine überarbeitete Version. Nach drei erfolglosen Versuchen soll eine Fehlermeldung erzeugt werden. * * * (bei jeder Ausgabe unten anfügen)

  • Intelligenz: Je mehr 💡, desto „schlauer“ das Modell.
  • Geschwindigkeit: Je mehr ⚡️, desto schneller liefert das Modell Ergebnisse.
  • Preis: „in“ = hochladen/Verarbeitung, „out“ = Ausgabe/Antwort.
Wichtig: Personenbezogene Daten (Art. 4 Nr. 1 DSGVO) dürfen ausschließlich über die lokal am KIT gehosteten Modelle verarbeitet werden. Eine Verarbeitung personenbezogener Daten über die Modelle von Azure OpenAI ist untersagt.

Sie können Fragen oder Aufgaben auf der Grundlage von Dateien erstellen (alternativ können auch längere Texte in das Eingabefeld kopiert werden). Bitte beachten Sie, dass solche Anfragen etwas mehr Zeit in Anspruch nehmen und die Kontextlänge je nach Modell variiert.

Sie können Dateien und Bilder live im Chat hochladen. Verwenden Sie dazu das Plus-Symbol (+) im Eingabefenster.
 


">Wenn Sie Dateien immer wieder in Ihren Anfragen verwenden, empfiehlt es sich, diese dauerhaft als "Wissen" für Sie persönlich zu speichern (siehe "Erweiterte Funktionen").
 


 

Gespeicherte Kenntnisse können Sie jederzeit im Eingabefenster mit der Raute-Taste "#" abrufen.

Hinweise zur Arbeit mit Dokumenten in der KI-Toolbox

Wenn Sie die Audiofunktionen nutzen wollen, empfiehlt es sich, die Spracheinstellungen individuell festzulegen (in der Regel "Deutsch"). Alternativ wird die automatische Erkennung verwendet, die jedoch nicht immer zu optimalen Ergebnissen führt.

Gehen Sie dazu in Ihre persönlichen Einstellungen (Profilbild oben links oder unten rechts) und navigieren Sie zu "Einstellungen" > "Audio" > "Sprache" und geben Sie "de" ein. Die anderen Werte können Sie so lassen, wie sie sind. Bei Bedarf können Sie unter "Stimme einstellen" eine andere Präferenz einstellen. Achten Sie darauf, dass die Stimme mit der eingestellten Sprache übereinstimmt (z.B. "de" und "deutsch").


 

Sie haben nun mehrere Möglichkeiten innerhalb eines Chats:

  • Diktieren (Mikrofon-Symbol): Anstatt Einträge zu tippen, können Sie diese aufzeichnen lassen und vor dem Absenden noch einmal schriftlich bearbeiten.

  • Sprachmodus (Soundwave-Symbol): Hier können Sie direkt mit dem Modell sprechen und sich die Antworten vorlesen lassen.

  • Vorlesen: Unabhängig davon, in welchem Modus Sie ein Gespräch begonnen haben (Text-, Diktat-, Sprachmodus), können Sie das Vorlesen immer durch einen Klick auf das Lautsprechersymbol unter der KI-Ausgabe aktivieren und deaktivieren.

Erweiterte Funktionen

Sie können häufig verwendete Prompts speichern, um diese zukünftig komfortabel in Ihren Chats wiederzuverwenden.

Navigieren Sie hierzu über das linke Hauptmenü zu "Arbeitsbereich" > "Prompts"
Über den Button "+ Neuer Prompt" können Sie neue Prompts anlegen. Innerhalb der Eingabemaske für Prompts können Sie zudem via "Zugang" auswählen, ob und mit welcher Gruppe dieser Prompt geteilt werden soll.

Auf den so hinterlegten Prompt können Sie im Chat direkt mit einem Schrägstrich („/“) zugreifen.

Es lohnt sich, einen Wissensspeicher (Knowledge Store) anzulegen, wenn Sie Dokumente wiederholt in verschiedenen Chats als Wissensgrundlage nutzen möchten. Sie erstellen eine Art private Bibliothek, auf die Sie bei Bedarf zugreifen können.

Navigieren Sie über das linke Hauptmenü zu "Arbeitsbereich" > "Wissen"
Über den Button "+ Neues Wissen" können Sie einen neuen Wissensspeicher anlegen, den Sie im nächsten Schritt mit Wissen in Form von Dateien oder Text befüllen können. Geben Sie Name und Funktion des Wissensspeichers an. Klicken Sie dann auf "Wissen erstellen". Über das Plus-Symbol (+) rechts, können Sie nun Ihre Dokumente hochladen.

Um einen bestehenden Wissensspeicher zu bearbeiten, wählen Sie diesen direkt an. Innerhalb des Wissenspeichers können Sie dann über das Plus-Symbol Einträge hinzufügen und via "Zugang" steuern, mit wem Sie diesen Speicher teilen möchten.

Auf das so angelegte Wissen können Sie im Chats direkt mit der Raute "#" verweisen, um die gespeicherten Daten abzurufen. Die KI kann dann bei der Bearbeitung von Anfragen darauf zugreifen.



 PDF-Anleitung zur Arbeit mit Dokumenten in der KI-Toolbox

 

KI-Chatbots sind digitale Assistenten, mit denen Sie in natürlicher Sprache zusammenarbeiten: Sie können Fragen stellen, Texte verfassen, Informationen strukturieren oder Aufgaben vorbereiten. Die Assistenten reagieren auf Ihre Anweisungen, merken sich Regeln und können sogar mit Ihren eigenen Dokumenten arbeiten. So erledigen Sie Routineaufgaben schneller und erhalten konsistente Ergebnisse.

Folgende Kernkomponenten braucht ein Chat-Assistent einen zugeordneten Wissenspeicher und einen Systemprompt.

So legen Sie ein eigenen eigenen Assistenten an: Navigieren Sie über das linke Hauptmenü zu "Arbeitsbereich" > "Modelle". Über den Button "+ Neues Modell" können Sie ein neues Modell anlegen. 

In der Maske zur Bearbeitung sollten Sie folgende Punkte konfigurieren:

  • Modell-Name*: Pflicht-Information.
  • Basismodell*: Es muss eines der verfügbaren Sprachmodelle gewählt werden.
  • Beschreibung: Es wird empfohlen, eine aussagekräftige Beschreibung für alle späteren Anwendenden zu setzen.
  • Sichtbarkeit: In diesem Abschnitt können Sie steuern, ob und für wen das Modell geteilt wird: privat (nur für Sie) oder bestimmte Gruppen, denen Sie angehören.
  • Modellparameter: Ein System-Prompt wird für die meisten Fälle sehr sinnvoll sein. Erweiterte Parameter sind optional (abhängig vom Anwendungsfall).
  • Prompt-Vorschläge: Sind optional, können aber späteren Anwendenden helfen, den Anwendungsfall besser umzusetzen.
  • Wissen: Eine Wissensbasis wird in vielen Fällen essentiell für den Anwendungsfall sein. Sollte keine Wissensbasis benötigt werden, ist ggf. auch die Erstellung eines Custom-Prompts nicht notwendig, da in solchen Fällen die Verwendung eines (gespeicherten) Prompts bereits ausreicht. Des Weiteren ist zu beachten, dass bei geteilten Custom-Prompts auch das dazugehörige Wissen mit der gleichen Gruppe geteilt werden muss.
  • Werkzeuge: Können optional je nach Anwendungsfall dazugefügt werden.
  • Fähigkeiten: Sind lediglich als "Tags" zu verstehen. Die eigentlichen Rechte, die ein Anwender auf Basis eines Custom-Modell hat, hängen vom ausgewähltem Basis-Modell ab.

Anleitung zur Arbeit mit Chatbot-Assistenten