Ollama zum Laufen bekommen

[milos]

Du kannst entweder durch die Ollama.exe oder ollama serve den Server starten. Mmn kannt du aber sowieso kein ollama run ausführen wenn der Server nicht läuft, der müsste also laufen.

Du könntest auf dem Host mit netstat -ano mal schauen ob der Port wirklich offen ist. Da du nicht über localhost zugreifst, muss der port entweder auf 0.0.0.0 oder auf die IP Adresse des hosts gebindet werden. Ansonsten sind nur Verbindungen über exakt "localhost:11434" oder "127.0.0.1:11434" erlaubt.

Ich bin gerade nicht sicher wie man den host bei Ollama anpasst, müsste eine Umgebungsvariable OLLAMA_HOST sein wenn ich mich nicht irre. Im Ollama repo findet man dazu infos.

Freundliche Grüsse
Milos

[jaenicke]

Das kannst du glaube ich direkt angeben:
ollama serve --host 0.0.0.0
Damit wird auf allen IPs gelauscht.

[TurboMagic]

Hallo,

so, bin jetzt dazu gemommen.
Lösungsansatz mit Umgebungsvariable funktioniert.

1. Ollama via Kontextmenü auf seinem Symbol beenden

2. Systemsteuerung oder equivalent aufrufen und unter erweiterten Systemeinstellungen
eine neue Systemvariable OLLAMA_HOST anlegen. Wert sollte 0.0.0.0.11434 sein.
(ja kann möglicherweise Sicherheitsprobleme bereiten, sonst IP Adresse des Netzwerks
rausfinden auf das die VM Zugriff hat und das statt 0.0.0.0 benutzen)

3. Ollama über Windows Startmenü wieder starten

Danach kann es im Delphi eingerichtet und genutzt werden, da es jetzt gefunden wird.