Jean-Claude Brantschen on JAVAPRO Germany

LangChain

Mon, 27 Apr 2026 07:00:47 +0000

LangChain Requests, Prompt Tempates & Output Parser

Unsere LLM-Serie hat sich in den letzten drei Artikeln jeweils einem zentralen Thema beim programmatischen Zugriff auf Large Language Models gewidmet:

Wie kann ich via REST API Anfragen an eine LLM stellen?  Artikel Ollama REST API
Wie führe ich vollständige Chat-Verläufe mit einer LLM über den Context?  Artikel LLM Context
Wie stelle ich einer LLM Funktionen zur Verfügung, damit sie bessere Antworten erzeugen kann?  Artikel LLM Context und Tools

In all diesen Artikeln haben wir die Konzepte bewusst mit purem Python und Java implementiert – ganz ohne zusätzliche AI-Libraries. Die nächsten Artikel zeigen nun, wie sich dieselben Probleme mithilfe spezialisierter Bibliotheken eleganter und effizienter umsetzen lassen. Dieser und der nächste Artikel fokussieren sich auf die Implementierung in Python. Ein weiterer Artikel wird sich anschliessend den entsprechenden Java-Lösungen widmen.

LLM-Context und Tools

Mon, 12 Jan 2026 09:03:34 +0000

Im letzten Artikel (https://javapro.io/de/llm-context) haben wir untersucht, wie LLMs mithilfe des Contexts ganze Chat-Verläufe verarbeiten können. Doch die Möglichkeiten des Contexts gehen weit darüber hinaus. In diesem Artikel schauen wir uns an, wie wir der LLM über den Context Funktionen bereitstellen können, um qualitativ hochwertigere Antworten zu erhalten. Dieses Konzept ist bekannt als LLM-Context und Tools.

Vorbemerkungen

Die Code-Beispiele basieren auf dem Wissen aus dem Artikel https://javapro.io/de/llm-context. Daher wäre es sinnvoll, zuerst diesen zu lesen.
Alle Beispiele stehen in GitHub-Repos zur Verfügung.

Beispiel Kurzreise nach Paris

Wir möchten eine Kurzreise nach Paris machen und fragen uns, was wir da alles mitnehmen sollten. Im AI-Zeitalter starten wir Ollama mit dem Llama3.2-Modell und machen folgende Anfrage: What kind of clothes do I need for a short trip to Paris?

LLM Context

Mon, 17 Nov 2025 07:01:55 +0000

Im Entwickleralltag haben wir die LLMs als Coding-Partner liebgewonnen. Man kann nicht nur einzelne Fragen an eine LLM stellen, sondern einen ganzen Chatverlauf führen. Ist die LLM so smart, dass sie mich und die vorherigen Fragen und Antworten kennt? Das Zauberwort heisst LLM Context. Dies wollen wir uns nun etwas genauer anschauen.

Vorbemerkungen

Die Codebeispiele basieren auf dem Wissen aus dem Artikel Ollama REST. Es ist sinnvoll, zuerst diesen zu lesen.
Alle Beispiele stehen in GitHub-Repos zur Verfügung.
Ollama muss installiert sein. Mehr Informationen zur Installation gibt es im Artikel Lokale LLMs.

Beispiel Hauptstadt

Wir starten mit einem Beispiel und möchten eine LLM fragen, was die Hauptstädte von Frankreich und Schweden sind. Dazu machen wir zwei Anfragen via Ollama (in Open WebUI) mit dem llama3.2 Modell.

Ollama Rest API

Mon, 06 Oct 2025 07:00:04 +0000

In den letzten beiden Artikeln haben wir Ollama als Plattform zur Ausführung lokaler LLMs kennengelernt. Zusätzlich haben wir Open WebUI als UI für Anfragen an Ollama (in Docker) installiert. Eine Frage, die noch offen ist: wie kann Open WebUI auf Ollama zugreifen? Die Antwort ist ganz einfach: Ollama stellt eine REST Schnittstelle zur Verfügung, die wir uns etwas genauer anschauen wollen.

Dokumentation REST api

Das Ollama REST API ist unter https://github.com/ollama/ollama/blob/main/docs/api.md dokumentiert. Von dieser API wollen wir uns konkret anschauen, wie man eine Liste aller heruntergeladenen Ollama Modelle (LLMs) bekommt und wie man Anfragen an ein konkretes Modell machen kann.

Remote LLMs

Wed, 09 Apr 2025 07:02:56 +0000

und die Integration in Open WebUI

Im letzten Artikel https://javapro.io/de/lokale-llms haben wir gezeigt, wie man über Ollama lokal LLMs ausführt und Open WebUI als komfortables Interface für Anfragen an diese LLMs in Docker einrichtet. Außerdem wurde erläutert, wie sich OpenAI (also ChatGPT) in Open WebUI einbinden lässt.

In diesem Artikel geht es nun darum, wie sich die Claude-LLMs von Anthropic sowie Gemini von Google in Open WebUI integrieren lassen.

Zum Start eine kleine Vorbemerkung: Claude und Gemini werden nur in WebUI integriert, laufen aber selber nicht lokal. Und Anfragen sind (ähnlich wie bei OpenAI) kostenpflichtig.

Lokale LLMs

Tue, 14 Jan 2025 18:04:38 +0000

mit Ollama und Open WebUI

Seit dem kometenhaften Aufstieg von ChatGPT sind AI (Artificial Intelligence) und LLMs (Large Language Models) in aller Munde. Es gibt kaum jemanden, der ChatGPT (oder einer seiner Kollegen) nicht im beruflichen oder privaten Umfeld nutzt. Was weniger bekannt ist, dass man LLMs auch herunterladen und lokal laufen lassen kann.

Diese hat folgende Vorteile:

Verschiedene LLMs und Versionen lassen sich flexibel testen.
Da alles lokal läuft, können auch Anfragen mit geschäftsrelevanten Informationen gestellt werden, ohne dass Daten auf fremde Server gelangen.

Eine Möglichkeit dafür bietet das Open-Source-Projekt Ollama: Es erlaubt, kleinere LLMs herunterzuladen und direkt auf dem lokalen Rechner auszuführen. Dieser Artikel zeigt zunächst die Installation von Ollama. Anschließend wird ein benutzerfreundliches Web-UI eingerichtet, das den Zugriff auf Ollama deutlich komfortabler gestaltet.