LLM on JAVAPRO Germany

DevOps-Patterns und Java 26 für On-Premises LLM-Plattformen in sicherheitskritischen Umgebungen

Mon, 06 Apr 2026 07:00:00 +0000

Während die erste Welle der KI-Adoption in vielen Organisationen auf Cloud-APIs setzte, ist dieser Ansatz in sicherheitskritischen und regulierten Umgebungen häufig nicht nutzbar. Vertraulichkeitsanforderungen, Datenschutzvorgaben und der Bedarf an technisch durchsetzbaren Betriebsgrenzen stehen dem entgegen. In On-Premises-Setups erweitert sich die Architektur um zusätzliche Laufzeitkomponenten, etwa LLM-Serving, Retrieval und Wissensartefakte wie Indizes und Prompts. Der Fokus verschiebt sich damit von der reinen Modellnutzung zur Plattformfrage: Wie lassen sich Datenzugriffe und Berechtigungen entlang der Pipeline kontrollieren? Wie bleiben Änderungen an Modellen, Prompts und Indizes nachvollziehbar? Und wie lassen sich Fehlerfälle reproduzierbar eingrenzen und zurückrollen?

Lokale KI mit Java: AI-Integration ohne Cloud-Abhängigkeit

Fri, 02 May 2025 07:02:10 +0000

Die Zukunft der Künstlichen Intelligenz ist lokal. Immer mehr Unternehmen setzen auf lokale AI-Modelle, um Datenschutz, Offline-Fähigkeit und Unabhängigkeit von Cloud-Anbietern sicherzustellen. Auf der JCON EUROPE 2025 vermittelt der zweistündige “AI-based optimization in expedition planning-a practice-oriented worksho p” mit Sven Ruppert, wie sich genau das in Java umsetzen lässt: hochperformante, datenschutzfreundliche AI-Features – direkt in der eigenen Anwendung, ganz ohne Cloud-Dienste.

Fokus auf das Open-Source-Projekt „Expedition Planner“

Im Mittelpunkt steht das Open-Source-Projekt „Expedition Planner“, eine Java-basierte Webanwendung zur Planung und Organisation von Expeditionen. Doch hier geht es nicht um Theorie: Die Teilnehmenden arbeiten an realen Use Cases und integrieren lokale AI-Modelle mit Ollama, nutzen Langchain4j und Retrieval Augmented Generation (RAG), um Aufgabenplanung und Materiallisten intelligent zu optimieren.

Gen-AI mit Java: In zwei Stunden zum intelligenten Chat-Assistenten

Wed, 30 Apr 2025 12:00:16 +0000

Generative KI ist längst nicht mehr nur ein Thema für Forschungslabore – sie ist einsatzbereit für reale Anwendungen. Auf der JCON EUROPE 2025 erhalten Java-Entwickler die Möglichkeit, genau das zu erleben: In einem zweistündigen Workshop wird gezeigt, wie sich mit Helidon und LangChain4J ein intelligenter Chat-Assistent von Grund auf umsetzen lässt – praxisnah, produktionsreif und Java-first.

Von der Idee zur lauffähigen Anwendung

Im Fokus der Hands-on-Session “Build an AI-Powered Application with Helidon and LangChain4J” steht der direkte Einstieg in die Entwicklung: keine Folien, keine Theorie – sondern konkreter Code, moderne Tools und nachvollziehbare Architekturen. Ziel ist es, einen funktionalen GenAI-gestützten Chat-Assistenten zu erstellen, der nicht nur demonstrierbar, sondern auch ausbaufähig für reale Projekte ist.

Remote LLMs

Wed, 09 Apr 2025 07:02:56 +0000

und die Integration in Open WebUI

Im letzten Artikel https://javapro.io/de/lokale-llms haben wir gezeigt, wie man über Ollama lokal LLMs ausführt und Open WebUI als komfortables Interface für Anfragen an diese LLMs in Docker einrichtet. Außerdem wurde erläutert, wie sich OpenAI (also ChatGPT) in Open WebUI einbinden lässt.

In diesem Artikel geht es nun darum, wie sich die Claude-LLMs von Anthropic sowie Gemini von Google in Open WebUI integrieren lassen.

Zum Start eine kleine Vorbemerkung: Claude und Gemini werden nur in WebUI integriert, laufen aber selber nicht lokal. Und Anfragen sind (ähnlich wie bei OpenAI) kostenpflichtig.

Lokale LLMs

Tue, 14 Jan 2025 18:04:38 +0000

mit Ollama und Open WebUI

Seit dem kometenhaften Aufstieg von ChatGPT sind AI (Artificial Intelligence) und LLMs (Large Language Models) in aller Munde. Es gibt kaum jemanden, der ChatGPT (oder einer seiner Kollegen) nicht im beruflichen oder privaten Umfeld nutzt. Was weniger bekannt ist, dass man LLMs auch herunterladen und lokal laufen lassen kann.

Diese hat folgende Vorteile:

Verschiedene LLMs und Versionen lassen sich flexibel testen.
Da alles lokal läuft, können auch Anfragen mit geschäftsrelevanten Informationen gestellt werden, ohne dass Daten auf fremde Server gelangen.

Eine Möglichkeit dafür bietet das Open-Source-Projekt Ollama: Es erlaubt, kleinere LLMs herunterzuladen und direkt auf dem lokalen Rechner auszuführen. Dieser Artikel zeigt zunächst die Installation von Ollama. Anschließend wird ein benutzerfreundliches Web-UI eingerichtet, das den Zugriff auf Ollama deutlich komfortabler gestaltet.