Ollama on JAVAPRO Germany

LLM-Context und Tools

Mon, 12 Jan 2026 09:03:34 +0000

Im letzten Artikel (https://javapro.io/de/llm-context) haben wir untersucht, wie LLMs mithilfe des Contexts ganze Chat-Verläufe verarbeiten können. Doch die Möglichkeiten des Contexts gehen weit darüber hinaus. In diesem Artikel schauen wir uns an, wie wir der LLM über den Context Funktionen bereitstellen können, um qualitativ hochwertigere Antworten zu erhalten. Dieses Konzept ist bekannt als LLM-Context und Tools.

Vorbemerkungen

Die Code-Beispiele basieren auf dem Wissen aus dem Artikel https://javapro.io/de/llm-context. Daher wäre es sinnvoll, zuerst diesen zu lesen.
Alle Beispiele stehen in GitHub-Repos zur Verfügung.

Beispiel Kurzreise nach Paris

Wir möchten eine Kurzreise nach Paris machen und fragen uns, was wir da alles mitnehmen sollten. Im AI-Zeitalter starten wir Ollama mit dem Llama3.2-Modell und machen folgende Anfrage: What kind of clothes do I need for a short trip to Paris?

LLM Context

Mon, 17 Nov 2025 07:01:55 +0000

Im Entwickleralltag haben wir die LLMs als Coding-Partner liebgewonnen. Man kann nicht nur einzelne Fragen an eine LLM stellen, sondern einen ganzen Chatverlauf führen. Ist die LLM so smart, dass sie mich und die vorherigen Fragen und Antworten kennt? Das Zauberwort heisst LLM Context. Dies wollen wir uns nun etwas genauer anschauen.

Vorbemerkungen

Die Codebeispiele basieren auf dem Wissen aus dem Artikel Ollama REST. Es ist sinnvoll, zuerst diesen zu lesen.
Alle Beispiele stehen in GitHub-Repos zur Verfügung.
Ollama muss installiert sein. Mehr Informationen zur Installation gibt es im Artikel Lokale LLMs.

Beispiel Hauptstadt

Wir starten mit einem Beispiel und möchten eine LLM fragen, was die Hauptstädte von Frankreich und Schweden sind. Dazu machen wir zwei Anfragen via Ollama (in Open WebUI) mit dem llama3.2 Modell.

Ollama Rest API

Mon, 06 Oct 2025 07:00:04 +0000

In den letzten beiden Artikeln haben wir Ollama als Plattform zur Ausführung lokaler LLMs kennengelernt. Zusätzlich haben wir Open WebUI als UI für Anfragen an Ollama (in Docker) installiert. Eine Frage, die noch offen ist: wie kann Open WebUI auf Ollama zugreifen? Die Antwort ist ganz einfach: Ollama stellt eine REST Schnittstelle zur Verfügung, die wir uns etwas genauer anschauen wollen.

Dokumentation REST api

Das Ollama REST API ist unter https://github.com/ollama/ollama/blob/main/docs/api.md dokumentiert. Von dieser API wollen wir uns konkret anschauen, wie man eine Liste aller heruntergeladenen Ollama Modelle (LLMs) bekommt und wie man Anfragen an ein konkretes Modell machen kann.

Lokale KI mit Java: AI-Integration ohne Cloud-Abhängigkeit

Fri, 02 May 2025 07:02:10 +0000

Die Zukunft der Künstlichen Intelligenz ist lokal. Immer mehr Unternehmen setzen auf lokale AI-Modelle, um Datenschutz, Offline-Fähigkeit und Unabhängigkeit von Cloud-Anbietern sicherzustellen. Auf der JCON EUROPE 2025 vermittelt der zweistündige “AI-based optimization in expedition planning-a practice-oriented worksho p” mit Sven Ruppert, wie sich genau das in Java umsetzen lässt: hochperformante, datenschutzfreundliche AI-Features – direkt in der eigenen Anwendung, ganz ohne Cloud-Dienste.

Fokus auf das Open-Source-Projekt „Expedition Planner“

Im Mittelpunkt steht das Open-Source-Projekt „Expedition Planner“, eine Java-basierte Webanwendung zur Planung und Organisation von Expeditionen. Doch hier geht es nicht um Theorie: Die Teilnehmenden arbeiten an realen Use Cases und integrieren lokale AI-Modelle mit Ollama, nutzen Langchain4j und Retrieval Augmented Generation (RAG), um Aufgabenplanung und Materiallisten intelligent zu optimieren.

Remote LLMs

Wed, 09 Apr 2025 07:02:56 +0000

und die Integration in Open WebUI

Im letzten Artikel https://javapro.io/de/lokale-llms haben wir gezeigt, wie man über Ollama lokal LLMs ausführt und Open WebUI als komfortables Interface für Anfragen an diese LLMs in Docker einrichtet. Außerdem wurde erläutert, wie sich OpenAI (also ChatGPT) in Open WebUI einbinden lässt.

In diesem Artikel geht es nun darum, wie sich die Claude-LLMs von Anthropic sowie Gemini von Google in Open WebUI integrieren lassen.

Zum Start eine kleine Vorbemerkung: Claude und Gemini werden nur in WebUI integriert, laufen aber selber nicht lokal. Und Anfragen sind (ähnlich wie bei OpenAI) kostenpflichtig.

Lokale LLMs

Tue, 14 Jan 2025 18:04:38 +0000

mit Ollama und Open WebUI

Seit dem kometenhaften Aufstieg von ChatGPT sind AI (Artificial Intelligence) und LLMs (Large Language Models) in aller Munde. Es gibt kaum jemanden, der ChatGPT (oder einer seiner Kollegen) nicht im beruflichen oder privaten Umfeld nutzt. Was weniger bekannt ist, dass man LLMs auch herunterladen und lokal laufen lassen kann.

Diese hat folgende Vorteile:

Verschiedene LLMs und Versionen lassen sich flexibel testen.
Da alles lokal läuft, können auch Anfragen mit geschäftsrelevanten Informationen gestellt werden, ohne dass Daten auf fremde Server gelangen.

Eine Möglichkeit dafür bietet das Open-Source-Projekt Ollama: Es erlaubt, kleinere LLMs herunterzuladen und direkt auf dem lokalen Rechner auszuführen. Dieser Artikel zeigt zunächst die Installation von Ollama. Anschließend wird ein benutzerfreundliches Web-UI eingerichtet, das den Zugriff auf Ollama deutlich komfortabler gestaltet.