Die KI.Toolbox ermöglicht allen Mitarbeitenden des KIT den Zugriff auf verschiedene lokale und externe Sprachmodelle (LLMs). Die Nutzung erfolgt über zwei getrennte Wege: eine Weboberfläche für interaktive Nutzung und eine Programmierschnittstelle (API) für die Integration in eigene Anwendungen.
Die Weboberfläche richtet sich an Nutzende ohne Programmierkenntnisse und eignet sich für explorative Aufgaben wie Texte generieren, zusammenfassen, übersetzen oder Fragen beantworten. Die API dient der Einbindung von LLM‑Funktionen in Skripte, Dienste oder automatisierte Workflows. Sie ist für wiederholbare, skalierbare oder batchweise Prozesse vorgesehen und setzt Programmierkenntnisse voraus.
Die KI.Toolbox wird im Rahmen der geltenden KIT‑Leitlinie betrieben. Je nach Modell werden Anfragen lokal oder extern verarbeitet. Das ist von den Nutzenden eigenverantwortlich zu berücksichtigen. Genaueres entnehmen Sie der Dienstebeschreibung des SCC unter dem Abschnitt "Datenkategorien, Schutzklassen und Modellwahl" in den Nutzungsbedingungen.
ⓘ Wir bieten regelmäßig begleitende Webinare zur Einführung, zu neuen Funktionen und zur Vertiefung einzelner Themen an.
Aktuelle Termine finden Sie im ZML-Veranstaltungskalender
Zugang
Aktuell ist die KI.Toolbox ist nur im KIT-Netz erreichbar:
Wenn Sie sich außerhalb des Campus-Netzwerks befinden (z.B. im Homeoffice), müssen Sie momentan eine aktive VPN-Verbindung zum KIT herstellen, um auf die Oberfläche zugreifen zu können.
ⓘ Beachten Sie, dass Sie die KI.Toolbox erst verwenden können, wenn Sie das KI-Kompetenzmodul auf KOALA erfolgreich abgeschlossen haben.
Anleitungen (PDF)
Für den Einstieg
Für Fortgeschrittene
- Anleitung: Arbeiten mit Dokumenten & Wissensbasis
- Anleitung: Einen eigenen Chatbot/Assistenten erstellen
- Anleitung: Eigene Prompts anlegen (folgt demnächst)
Für Profis
- Anleitung: API-Zugriff (folgt demnächst)
Standardfunktionen
Im Eingabefenster können Sie direkt Ihren Chat mit einem der verfügbaren Sprachmodelle starten.
So erstellen Sie einen neuen Chat:
- Einen weiteren neuen Chat können Sie jederzeit über das Menü starten. Klicken Sie dafür in der linken Seitenleiste auf die Schaltfläche "Neuer Chat". Das Hauptfenster wird geleert und ist bereit für Ihre Eingabe.
- Ihnen stehen in der KI.Toolbox verschiedene Modelle zur Verfügung. Hinweise zu den Stärken und Anwendungsfällen finden Sie als Information neben dem jeweiligen Modell hinterlegt, bzw. weiter unten.
- Geben Sie nun Ihre Frage oder Anweisung in das Eingabefeld. Alternativ können Sie Ihre Anfrage auch diktieren, indem Sie auf das Mikrofon-Symbol rechts im Eingabefeld klicken. Drücken Sie anschließend die Enter-Taste oder klicken Sie auf den Senden-Pfeil. Die KI wird nun Ihre Anfrage verarbeiten und eine Antwort im Chatfenster generieren. Sie können den Dialog beliebig fortsetzen, indem Sie weitere Fragen stellen. Der Kontext der bisherigen Konversation bleibt dabei erhalten. Unter dem Eingabefeld finden Sie zusätzliche Werkzeuge, die die Fähigkeiten der KI erweitern. Diese können je nach ausgewähltem Modell unterschiedlich sein.
Eine kurze Übersicht der Features (weitere Infos siehe weiter unten, bzw. in den Anleitungen):
- Eigene Prompt-Sammlungen anlegen und verwenden (im Chat abrufbar per / ).
- Eigenes Wissen in Form von Dateien und Text hinterlegen (im Chat abrufbar per # ).
- Eigene Custom-Modelle anlegen und mit Prompts und Wissen verbinden.
- Sprachein- und Ausgabe nutzen (siehe weiter unten).
-
Diktieren (Mikrofon-Symbol): Anstatt Eingaben zu tippen, können Sie diese aufnehmen lassen und vor dem Absenden nochmals schriftlich bearbeiten.
-
Sprachmodus (Soundwave-Symbol): Hierbei können Sie direkt mit dem Modell sprechen und Antworten vorgelesen bekommen.
-
Vorlesen: Unabhängig davon in welchem Modus Sie eine Konversation begonnen haben (Text, Diktieren, Sprachmodus), können Sie immer das Vorlesen aktivieren und deaktivieren, indem Sie auf das Lautsprechersymbol unter der KI-Ausgabe klicken.
Erweiterte Funktionen
Sie können häufig verwendete Prompts speichern, um diese zukünftig komfortabel in Ihren Chats wiederzuverwenden.
Navigieren Sie hierzu über das linke Hauptmenü zu "Arbeitsbereich" > "Prompts"
Über den Button "+ Neuer Prompt" können Sie neue Prompts anlegen. Innerhalb der Eingabemaske für Prompts können Sie zudem via "Zugang" auswählen, ob und mit welcher Gruppe dieser Prompt geteilt werden soll.
Auf den so hinterlegten Prompt können Sie im Chat direkt mit einem Schrägstrich („/“) zugreifen.
Es lohnt sich, einen Wissensspeicher (Knowledge Store) anzulegen, wenn Sie Dokumente wiederholt in verschiedenen Chats als Wissensgrundlage nutzen möchten. Sie erstellen eine Art private Bibliothek, auf die Sie bei Bedarf zugreifen können.
Navigieren Sie über das linke Hauptmenü zu "Arbeitsbereich" > "Wissen"
Über den Button "+ Neues Wissen" können Sie einen neuen Wissensspeicher anlegen, den Sie im nächsten Schritt mit Wissen in Form von Dateien oder Text befüllen können. Geben Sie Name und Funktion des Wissensspeichers an. Klicken Sie dann auf "Wissen erstellen". Über das Plus-Symbol (+) rechts, können Sie nun Ihre Dokumente hochladen.
Um einen bestehenden Wissensspeicher zu bearbeiten, wählen Sie diesen direkt an. Innerhalb des Wissenspeichers können Sie dann über das Plus-Symbol Einträge hinzufügen und via "Zugang" steuern, mit wem Sie diesen Speicher teilen möchten.
Auf das so angelegte Wissen können Sie im Chats direkt mit der Raute "#" verweisen, um die gespeicherten Daten abzurufen. Die KI kann dann bei der Bearbeitung von Anfragen darauf zugreifen.
KI-Chatbots sind digitale Assistenten, mit denen Sie in natürlicher Sprache zusammenarbeiten: Sie können Fragen stellen, Texte verfassen, Informationen strukturieren oder Aufgaben vorbereiten. Die Assistenten reagieren auf Ihre Anweisungen, merken sich Regeln und können sogar mit Ihren eigenen Dokumenten arbeiten. So erledigen Sie Routineaufgaben schneller und erhalten konsistente Ergebnisse.
Folgende Kernkomponenten braucht ein Chat-Assistent einen zugeordneten Wissenspeicher und einen Systemprompt.
So legen Sie ein eigenen eigenen Assistenten an: Navigieren Sie über das linke Hauptmenü zu "Arbeitsbereich" > "Modelle". Über den Button "+ Neues Modell" können Sie ein neues Modell anlegen.
In der Maske zur Bearbeitung sollten Sie folgende Punkte konfigurieren:
- Modell-Name*: Pflicht-Information.
- Basismodell*: Es muss eines der verfügbaren Sprachmodelle gewählt werden.
- Beschreibung: Es wird empfohlen, eine aussagekräftige Beschreibung für alle späteren Anwendenden zu setzen.
- Sichtbarkeit: In diesem Abschnitt können Sie steuern, ob und für wen das Modell geteilt wird: privat (nur für Sie) oder bestimmte Gruppen, denen Sie angehören.
- Modellparameter: Ein System-Prompt wird für die meisten Fälle sehr sinnvoll sein. Erweiterte Parameter sind optional (abhängig vom Anwendungsfall).
- Prompt-Vorschläge: Sind optional, können aber späteren Anwendenden helfen, den Anwendungsfall besser umzusetzen.
- Wissen: Eine Wissensbasis wird in vielen Fällen essentiell für den Anwendungsfall sein. Sollte keine Wissensbasis benötigt werden, ist ggf. auch die Erstellung eines Custom-Prompts nicht notwendig, da in solchen Fällen die Verwendung eines (gespeicherten) Prompts bereits ausreicht. Des Weiteren ist zu beachten, dass bei geteilten Custom-Prompts auch das dazugehörige Wissen mit der gleichen Gruppe geteilt werden muss.
- Werkzeuge: Können optional je nach Anwendungsfall dazugefügt werden.
- Fähigkeiten: Sind lediglich als "Tags" zu verstehen. Die eigentlichen Rechte, die ein Anwender auf Basis eines Custom-Modell hat, hängen vom ausgewähltem Basis-Modell ab.