Ollama zum Laufen bekommen

[milos]

Du kannst entweder durch die Ollama.exe oder ollama serve den Server starten. Mmn kannt du aber sowieso kein ollama run ausführen wenn der Server nicht läuft, der müsste also laufen.

Du könntest auf dem Host mit netstat -ano mal schauen ob der Port wirklich offen ist. Da du nicht über localhost zugreifst, muss der port entweder auf 0.0.0.0 oder auf die IP Adresse des hosts gebindet werden. Ansonsten sind nur Verbindungen über exakt "localhost:11434" oder "127.0.0.1:11434" erlaubt.

Ich bin gerade nicht sicher wie man den host bei Ollama anpasst, müsste eine Umgebungsvariable OLLAMA_HOST sein wenn ich mich nicht irre. Im Ollama repo findet man dazu infos.

Freundliche Grüsse
Milos

[jaenicke]

Das kannst du glaube ich direkt angeben:
ollama serve --host 0.0.0.0
Damit wird auf allen IPs gelauscht.

[TurboMagic]

Hallo,

so, bin jetzt dazu gemommen.
Lösungsansatz mit Umgebungsvariable funktioniert.

1. Ollama via Kontextmenü auf seinem Symbol beenden

2. Systemsteuerung oder equivalent aufrufen und unter erweiterten Systemeinstellungen
eine neue Systemvariable OLLAMA_HOST anlegen. Wert sollte 0.0.0.0.11434 sein.
(ja kann möglicherweise Sicherheitsprobleme bereiten, sonst IP Adresse des Netzwerks
rausfinden auf das die VM Zugriff hat und das statt 0.0.0.0 benutzen)

3. Ollama über Windows Startmenü wieder starten

Danach kann es im Delphi eingerichtet und genutzt werden, da es jetzt gefunden wird.

[AJ_Oldendorf]

Moin zusammen,
ich habe ein ähnliches Verhalten und wollte mal fragen, ob ihr eine Idee dazu habt.

Ollama Anwendung läuft in einer VM auf PC1.
CMD-Abfrage innerhalb dieser VM mit ollama ps funktioniert.
CMD-Abfrage innerhalb dieser VM mit http://x.x.x.x:11434/api/ps liefert: {"models":[]}.
Er zeugt die laufenden Modelle an.

Delphi läuft in einer anderen VM auf PC2.
Ping auf die Ollama-VM geht.
curl http://x.x.x.x:11434/api/tags wird auch angezeigt.
curl http://x.x.x.x:11434/api/version wird auch angezeigt.
curl http://x.x.x.x:11434/api/ps liefert: {"models":[]}.
In der Delphi-VM die BaseURL http://x.x.x.x:11434 eingetragen, zeigt mir in der Combobox alle verfügbaren Modelle an.
Eins davon ausgewählt und dann das Chat-KI Fenster geöffnet. Ollama ist vorausgewählt aber wenn ich Anfrage hinschicke, bekomme ich immer folgenden Fehler:
HTTP/1.1 500 Internal Server Error
Das passiert mit jeder Delphi integrierten KI Funktion (Chat, Fehler suchen, kommentieren etc.)

Jemand eine Idee, wie ich die Server Error Meldung noch wegbekomme?

Anscheinend hat die Zeitlimit Einstellung im Delphi etwas damit zu tun.
Ich hatte das auf 300 gestellt (ohne Angabe einer Einheit ist das auch toll so ein Wert einstellen zu müssen).
Da kam besagter Fehler.
Nach Eingabe von 8000, kam bei der gleichen Aktion nicht mehr der Server Error sondern eine Fehlermeldung mit "Restabfrage Zeitlimit erreicht".
Wert auf 40000 geändert, jetzt scheint es zu gehen.

Klar, Ollama ist natürlich auf einem Notebook innerhalb einer VM sehr langsam. Das ist mir bewusst und war auch nur ein Test.

@MVP Mitleser: Schöenn Gruß an das Entwicklerteam bei Embarcadero. Eine Eingabe von einem Zeitinterval ohne Angabe einer Einheit ist . Unsere Kunden würden uns sonst was dafür erzählen...

[Uwe Raabe]

Im DocWiki steht da bei allen Modellen ein Wert von 300000: Smart CodeInsight Options

[AJ_Oldendorf]

Danke Uwe, das hatte ich noch nicht gesehen/gefunden.
Wenn der Default-Wert bei allen 300000 ist, könnte man das ja wenigstens hinschreiben oder vorbelegen wenn kein Wert vorhanden.
Nur ein wenig Offtopic

[DevidEspenschied]

Zitat von Uwe Raabe:

Im DocWiki steht da bei allen Modellen ein Wert von 300000: Smart CodeInsight Options

Hier gibt es einen Fehler, den wir korrigieren werden. Gemeint sind die Millisekunden und die Empfehlung ist 30 Sekunden, also 30.000 Millisekunden.

[AJ_Oldendorf]

Zitat:

Hier gibt es einen Fehler, den wir korrigieren werden. Gemeint sind die Millisekunden und die Empfehlung ist 30 Sekunden, also 30.000 Millisekunden.

Dann schreibt die Einheit gleich dazu wenn es sowieso angepasst wird