Ollama çerçevesinde yapay zeka modelleri için daha fazla güce sahip olmak için bulutta bir sanal sunucu kiraladım. Python'dan Ollama'ya bulutta bağlantı yapısı bazen çok kısadır, böylece bağlantı silinir. Zaman aşımını nasıl ayarlayabilirim?
Sınıf OllamaLLM Python kütüphanesinden langchain-ollama Varsayılan ayar için HTTP istemcisinin Python Bookshop'tan kullanımı httpxIA ile Ollama yapısıyla temasa geçmek için. HTTPX istemcisi, zaman aşımı için büyük ölçekli yapılandırma seçenekleri sunar. Bunu ayarlamak için bir nesne kullanın httpx.TimeoutBu, Ollamallm isteğinin parametresini verir:
from langchain_ollama import OllamaLLM
import httpx
timeout=httpx.Timeout(connect=15.0, read=5.0, write=5.0, pool=5.0)
llm_inst = OllamaLLM(model='deepseek-r1:1.5b', base_url=sys.argv[1], temperature=0.6, client_kwargs={'timeout': timeout} )
Dört zaman aşımını da açıkça ayarlamanız gerekir: bağlantı için (connect), soket bağlantılarında yazma ve okuma (read,, write) HTTP bağlantıları havuzundan bir kaynak atanması için (pool). Standart her biri 5 saniyedir. Örnek, bağlantının 15 saniyeye nasıl uzatılacağını gösterir.
(Orta)
Sınıf OllamaLLM Python kütüphanesinden langchain-ollama Varsayılan ayar için HTTP istemcisinin Python Bookshop'tan kullanımı httpxIA ile Ollama yapısıyla temasa geçmek için. HTTPX istemcisi, zaman aşımı için büyük ölçekli yapılandırma seçenekleri sunar. Bunu ayarlamak için bir nesne kullanın httpx.TimeoutBu, Ollamallm isteğinin parametresini verir:
from langchain_ollama import OllamaLLM
import httpx
timeout=httpx.Timeout(connect=15.0, read=5.0, write=5.0, pool=5.0)
llm_inst = OllamaLLM(model='deepseek-r1:1.5b', base_url=sys.argv[1], temperature=0.6, client_kwargs={'timeout': timeout} )
Dört zaman aşımını da açıkça ayarlamanız gerekir: bağlantı için (connect), soket bağlantılarında yazma ve okuma (read,, write) HTTP bağlantıları havuzundan bir kaynak atanması için (pool). Standart her biri 5 saniyedir. Örnek, bağlantının 15 saniyeye nasıl uzatılacağını gösterir.
(Orta)