Die KI-Toolbox ermöglicht allen Mitarbeitenden des KIT den Zugriff auf verschiedene lokale und externe Sprachmodelle (LLMs). Die Nutzung erfolgt über zwei getrennte Wege: eine Weboberfläche für interaktive Nutzung und eine Programmierschnittstelle (API) für die Integration in eigene Anwendungen.
Kontakt: ki-toolbox∂scc.kit.edu
Die Weboberfläche richtet sich an Nutzende ohne Programmierkenntnisse und eignet sich für explorative Aufgaben wie Texte generieren, zusammenfassen, übersetzen oder Fragen beantworten. Die API dient der Einbindung von LLM‑Funktionen in Skripte, Dienste oder automatisierte Workflows. Sie ist für wiederholbare, skalierbare oder batchweise Prozesse vorgesehen und setzt Programmierkenntnisse voraus.
Die KI-Toolbox wird im Rahmen der geltenden KIT‑Leitlinie betrieben. Je nach Modell werden Anfragen lokal oder extern verarbeitet. Das ist von den Nutzenden eigenverantwortlich zu berücksichtigen. Genaueres entnehmen Sie der Dienstebeschreibung des SCC unter dem Abschnitt "Datenkategorien, Schutzklassen und Modellwahl" in den Nutzungsbedingungen.
ⓘ Wir bieten regelmäßig begleitende Webinare zur Einführung, zu neuen Funktionen und zur Vertiefung einzelner Themen an.
Aktuelle Termine finden Sie im ZML-Veranstaltungskalender
Zugang
Aktuell ist die KI-Toolbox ist nur im KIT-Netz erreichbar:
Wenn Sie sich außerhalb des Campus-Netzwerks befinden (z.B. im Homeoffice), müssen Sie momentan eine aktive VPN-Verbindung zum KIT herstellen, um auf die Oberfläche zugreifen zu können.
ⓘ Beachten Sie, dass Sie die KI-Toolbox erst verwenden können, wenn Sie das KI-Kompetenzmodul auf KOALA erfolgreich abgeschlossen haben.
Anleitungen (PDF)
Für den Einstieg
Für Fortgeschrittene
- Anleitung: Arbeiten mit Dokumenten & Wissensbasis
- Anleitung: Einen eigenen Chatbot/Assistenten erstellen
- Anleitung: Ressourcen im Team teilen
- Anleitung: Eigene Prompts anlegen (folgt demnächst)
Für Profis
Standard-Funktionen
ⓘ Wenn Sie sich außerhalb des Campusnetzes befinden (z.B. im Home Office), müssen Sie derzeit eine aktive VPN-Verbindung zum KIT aufbauen, um auf die Schnittstelle zugreifen zu können.
Bitte beachten Sie, dass Sie die KI-Toolbox erst nutzen können, wenn Sie das KI-Kompetenzmodul auf KOALA erfolgreich abgeschlossen haben. Der Zugang zur KI-Toolbox wird dann nach ca. 5 min freigeschaltet.
So erstellen Sie einen neuen Chat:
-
Sie können jederzeit über das Menü einen weiteren neuen Chat starten. Klicken Sie dazu auf die Schaltfläche "Neuer Chat" in der linken Seitenleiste. Das Hauptfenster wird geleert und ist bereit für Ihre Eingaben.
-
In der KI-Toolbox stehen Ihnen verschiedene Modelle zur Verfügung. Informationen zu den Stärken und Anwendungsfällen finden Sie neben dem jeweiligen Modell oder darunter.
-
Geben Sie nun Ihre Frage oder Anweisung in das Eingabefeld ein. Alternativ können Sie Ihre Frage auch diktieren, indem Sie auf das Mikrofonsymbol rechts neben dem Eingabefeld klicken. Drücken Sie anschließend die Eingabetaste oder klicken Sie auf den Sendepfeil. Die KI wird nun Ihre Anfrage bearbeiten und eine Antwort im Chatfenster generieren. Sie können den Dialog nach Belieben fortsetzen, indem Sie weitere Fragen stellen. Der Kontext der vorherigen Konversation bleibt dabei erhalten. Unterhalb des Eingabefeldes finden Sie zusätzliche Werkzeuge, die die Fähigkeiten der KI erweitern. Diese können je nach ausgewähltem Modell variieren.
Ein kurzer Überblick über die Funktionen (für weitere Informationen siehe unten oder in der Anleitung):
-
Erstellen und verwenden Sie Ihre eigenen Promptsammlungen (verfügbar im Chat über / ).
-
Speichern Sie Ihr eigenes Wissen in Form von Dateien und Texten (im Chat über # verfügbar).
-
Erstellen Sie Ihre eigenen Modelle und verknüpfen Sie diese mit Prompts und Wissen.
-
Spracheingabe und -ausgabe verwenden (siehe unten).
ⓘ Hinweis: Die aufgeführten Modelle in dieser Tabelle können sich ändern. Diese Liste ist möglicherweise nicht immer aktuell.
| Modell | Betriebsart | Intelligenz | Geschwindigkeit | Eingabe | Ausgabe | Herkunft | Preis pro 1M Tokens |
|---|---|---|---|---|---|---|---|
| standard-local* | Lokal (Personenbezogene Daten erlaubt) |
💡💡💡 | ⚡️⚡️⚡️⚡️ | Text | Text | SCC | interne Kosten |
| qwen3-vl:235b-a22b | Lokal (Personenbezogene Daten erlaubt) |
💡💡💡💡 | ⚡️⚡️⚡️ | Text/Bild | Text | Alibaba | interne Kosten |
| mixtral:8x22b | Lokal (Personenbezogene Daten erlaubt) |
💡💡💡 | ⚡️⚡️ | Text | Text | MistralAI | interne Kosten |
| gpt-oss:120b | Lokal (Personenbezogene Daten erlaubt) |
💡💡💡 | ⚡️⚡️⚡️⚡️ | Text | Text | OpenAI (lokal) | interne Kosten |
| Standard-External* | Extern (keine personenbezogenen Daten erlaubt) |
💡💡💡 | ⚡️⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $0.25 in/$2 out |
| GPT-4.1 | Extern (keine personenbezogenen Daten erlaubt) |
💡💡💡💡 | ⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $2 in/$8 out |
| GPT-4.1 mini | Extern (keine personenbezogenen Daten erlaubt) |
💡💡💡 | ⚡️⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $0.40 in/$1.60 out |
| GPT-4.1 nano | Extern (keine personenbezogenen Daten erlaubt) |
💡💡 | ⚡️⚡️⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $0.10 in/$0.40 out |
| o3 | Extern (keine personenbezogenen Daten erlaubt) |
💡💡💡💡💡 | ⚡️ | Text/Bild | Text | OpenAI | $2 in/$8 out |
| o4-mini | Extern (keine personenbezogenen Daten erlaubt) |
💡💡💡💡 | ⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $1.10 in/$4.40 out |
| GPT-5 | Extern (keine personenbezogenen Daten erlaubt) |
💡💡💡💡 | ⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $1.25 in/$10 out |
| GPT-5 mini | Extern (keine personenbezogenen Daten erlaubt) |
💡💡💡 | ⚡️⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $0.25 in/$2 out |
| GPT-5 nano | Extern (keine personenbezogenen Daten erlaubt) |
💡💡 | ⚡️⚡️⚡️⚡️⚡️ | Text/Bild | Text | OpenAI | $0.05 in/$0.40 out |
| Microsoft Copilot (EDP) | Extern (keine personenbezogenen Daten erlaubt) |
Microsoft |
* Bei diesen Modellen ist ein angepasster Systemprompt hinterlegt.
- Intelligenz: Je mehr 💡, desto „schlauer“ das Modell.
- Geschwindigkeit: Je mehr ⚡️, desto schneller liefert das Modell Ergebnisse.
- Preis: „in“ = hochladen/Verarbeitung, „out“ = Ausgabe/Antwort.
Wichtig: Personenbezogene Daten (Art. 4 Nr. 1 DSGVO) dürfen ausschließlich über die lokal am KIT gehosteten Modelle verarbeitet werden. Eine Verarbeitung personenbezogener Daten über die Modelle von Azure OpenAI ist untersagt.
Sie können Dateien und Bilder live im Chat hochladen. Verwenden Sie dazu das Plus-Symbol (+) im Eingabefenster.
">Wenn Sie Dateien immer wieder in Ihren Anfragen verwenden, empfiehlt es sich, diese dauerhaft als "Wissen" für Sie persönlich zu speichern (siehe "Erweiterte Funktionen").
Gespeicherte Kenntnisse können Sie jederzeit im Eingabefenster mit der Raute-Taste "#" abrufen.
Gehen Sie dazu in Ihre persönlichen Einstellungen (Profilbild oben links oder unten rechts) und navigieren Sie zu "Einstellungen" > "Audio" > "Sprache" und geben Sie "de" ein. Die anderen Werte können Sie so lassen, wie sie sind. Bei Bedarf können Sie unter "Stimme einstellen" eine andere Präferenz einstellen. Achten Sie darauf, dass die Stimme mit der eingestellten Sprache übereinstimmt (z.B. "de" und "deutsch").
Sie haben nun mehrere Möglichkeiten innerhalb eines Chats:
-
Diktieren (Mikrofon-Symbol): Anstatt Einträge zu tippen, können Sie diese aufzeichnen lassen und vor dem Absenden noch einmal schriftlich bearbeiten.
-
Sprachmodus (Soundwave-Symbol): Hier können Sie direkt mit dem Modell sprechen und sich die Antworten vorlesen lassen.
-
Vorlesen: Unabhängig davon, in welchem Modus Sie ein Gespräch begonnen haben (Text-, Diktat-, Sprachmodus), können Sie das Vorlesen immer durch einen Klick auf das Lautsprechersymbol unter der KI-Ausgabe aktivieren und deaktivieren.
Erweiterte Funktionen
Sie können häufig verwendete Prompts speichern, um diese zukünftig komfortabel in Ihren Chats wiederzuverwenden.
Navigieren Sie hierzu über das linke Hauptmenü zu "Arbeitsbereich" > "Prompts"
Über den Button "+ Neuer Prompt" können Sie neue Prompts anlegen. Innerhalb der Eingabemaske für Prompts können Sie zudem via "Zugang" auswählen, ob und mit welcher Gruppe dieser Prompt geteilt werden soll.
Auf den so hinterlegten Prompt können Sie im Chat direkt mit einem Schrägstrich („/“) zugreifen.
Es lohnt sich, einen Wissensspeicher (Knowledge Store) anzulegen, wenn Sie Dokumente wiederholt in verschiedenen Chats als Wissensgrundlage nutzen möchten. Sie erstellen eine Art private Bibliothek, auf die Sie bei Bedarf zugreifen können.
Navigieren Sie über das linke Hauptmenü zu "Arbeitsbereich" > "Wissen"
Über den Button "+ Neues Wissen" können Sie einen neuen Wissensspeicher anlegen, den Sie im nächsten Schritt mit Wissen in Form von Dateien oder Text befüllen können. Geben Sie Name und Funktion des Wissensspeichers an. Klicken Sie dann auf "Wissen erstellen". Über das Plus-Symbol (+) rechts, können Sie nun Ihre Dokumente hochladen.
Um einen bestehenden Wissensspeicher zu bearbeiten, wählen Sie diesen direkt an. Innerhalb des Wissenspeichers können Sie dann über das Plus-Symbol Einträge hinzufügen und via "Zugang" steuern, mit wem Sie diesen Speicher teilen möchten.
Auf das so angelegte Wissen können Sie im Chats direkt mit der Raute "#" verweisen, um die gespeicherten Daten abzurufen. Die KI kann dann bei der Bearbeitung von Anfragen darauf zugreifen.
KI-Chatbots sind digitale Assistenten, mit denen Sie in natürlicher Sprache zusammenarbeiten: Sie können Fragen stellen, Texte verfassen, Informationen strukturieren oder Aufgaben vorbereiten. Die Assistenten reagieren auf Ihre Anweisungen, merken sich Regeln und können sogar mit Ihren eigenen Dokumenten arbeiten. So erledigen Sie Routineaufgaben schneller und erhalten konsistente Ergebnisse.
Folgende Kernkomponenten braucht ein Chat-Assistent einen zugeordneten Wissenspeicher und einen Systemprompt.
So legen Sie ein eigenen eigenen Assistenten an: Navigieren Sie über das linke Hauptmenü zu "Arbeitsbereich" > "Modelle". Über den Button "+ Neues Modell" können Sie ein neues Modell anlegen.
In der Maske zur Bearbeitung sollten Sie folgende Punkte konfigurieren:
- Modell-Name*: Pflicht-Information.
- Basismodell*: Es muss eines der verfügbaren Sprachmodelle gewählt werden.
- Beschreibung: Es wird empfohlen, eine aussagekräftige Beschreibung für alle späteren Anwendenden zu setzen.
- Sichtbarkeit: In diesem Abschnitt können Sie steuern, ob und für wen das Modell geteilt wird: privat (nur für Sie) oder bestimmte Gruppen, denen Sie angehören.
- Modellparameter: Ein System-Prompt wird für die meisten Fälle sehr sinnvoll sein. Erweiterte Parameter sind optional (abhängig vom Anwendungsfall).
- Prompt-Vorschläge: Sind optional, können aber späteren Anwendenden helfen, den Anwendungsfall besser umzusetzen.
- Wissen: Eine Wissensbasis wird in vielen Fällen essentiell für den Anwendungsfall sein. Sollte keine Wissensbasis benötigt werden, ist ggf. auch die Erstellung eines Custom-Prompts nicht notwendig, da in solchen Fällen die Verwendung eines (gespeicherten) Prompts bereits ausreicht. Des Weiteren ist zu beachten, dass bei geteilten Custom-Prompts auch das dazugehörige Wissen mit der gleichen Gruppe geteilt werden muss.
- Werkzeuge: Können optional je nach Anwendungsfall dazugefügt werden.
- Fähigkeiten: Sind lediglich als "Tags" zu verstehen. Die eigentlichen Rechte, die ein Anwender auf Basis eines Custom-Modell hat, hängen vom ausgewähltem Basis-Modell ab.