Remote LLMs

Wed, 09 Apr 2025 07:02:56 +0000

und die Integration in Open WebUI

Im letzten Artikel https://javapro.io/de/lokale-llms haben wir gezeigt, wie man über Ollama lokal LLMs ausführt und Open WebUI als komfortables Interface für Anfragen an diese LLMs in Docker einrichtet. Außerdem wurde erläutert, wie sich OpenAI (also ChatGPT) in Open WebUI einbinden lässt.

In diesem Artikel geht es nun darum, wie sich die Claude-LLMs von Anthropic sowie Gemini von Google in Open WebUI integrieren lassen.

Zum Start eine kleine Vorbemerkung: Claude und Gemini werden nur in WebUI integriert, laufen aber selber nicht lokal. Und Anfragen sind (ähnlich wie bei OpenAI) kostenpflichtig.

Lokale LLMs

Tue, 14 Jan 2025 18:04:38 +0000

mit Ollama und Open WebUI

Seit dem kometenhaften Aufstieg von ChatGPT sind AI (Artificial Intelligence) und LLMs (Large Language Models) in aller Munde. Es gibt kaum jemanden, der ChatGPT (oder einer seiner Kollegen) nicht im beruflichen oder privaten Umfeld nutzt. Was weniger bekannt ist, dass man LLMs auch herunterladen und lokal laufen lassen kann.

Diese hat folgende Vorteile:

Verschiedene LLMs und Versionen lassen sich flexibel testen.
Da alles lokal läuft, können auch Anfragen mit geschäftsrelevanten Informationen gestellt werden, ohne dass Daten auf fremde Server gelangen.

Eine Möglichkeit dafür bietet das Open-Source-Projekt Ollama: Es erlaubt, kleinere LLMs herunterzuladen und direkt auf dem lokalen Rechner auszuführen. Dieser Artikel zeigt zunächst die Installation von Ollama. Anschließend wird ein benutzerfreundliches Web-UI eingerichtet, das den Zugriff auf Ollama deutlich komfortabler gestaltet.

OpenWebUI on JAVAPRO Germany

Remote LLMs

Lokale LLMs