https://javapro.svenruppert.com/tags/docker/Recent content in Docker on JAVAPRO GermanyHugode-DETue, 14 Jan 2025 18:04:38 +0000https://javapro.svenruppert.com/lokale-llms/Tue, 14 Jan 2025 18:04:38 +0000https://javapro.svenruppert.com/lokale-llms/<p><strong>mit Ollama und Open WebUI</strong></p> <p><figure class="post-figure"> <img src="https://javapro.svenruppert.com/uploads/sites/1/2024/12/ai_and_lama.png" alt="" loading="lazy" decoding="async"> </figure> </p> <p>Seit dem kometenhaften Aufstieg von ChatGPT sind AI (Artificial Intelligence) und LLMs (Large Language Models) in aller Munde. Es gibt kaum jemanden, der ChatGPT (oder einer seiner Kollegen) nicht im beruflichen oder privaten Umfeld nutzt. Was weniger bekannt ist, dass man LLMs auch herunterladen und lokal laufen lassen kann.</p> <p>Diese hat folgende Vorteile:</p> <ul> <li>Verschiedene LLMs und Versionen lassen sich flexibel testen.</li> <li>Da alles lokal läuft, können auch Anfragen mit geschäftsrelevanten Informationen gestellt werden, ohne dass Daten auf fremde Server gelangen.</li> </ul> <p>Eine Möglichkeit dafür bietet das Open-Source-Projekt Ollama: Es erlaubt, kleinere LLMs herunterzuladen und direkt auf dem lokalen Rechner auszuführen. Dieser Artikel zeigt zunächst die Installation von Ollama. Anschließend wird ein benutzerfreundliches Web-UI eingerichtet, das den Zugriff auf Ollama deutlich komfortabler gestaltet.</p>