Ollama

Ollama

Программа для инференса LLM-сетей на процессорах и GPU

• Официальная траница
• Github

Настройка

Установить на удаленном хосте следующие переменные:

• OLLAMA_ORIGINS: * | chrome-extension://* | moz-extension://* (можно перечислить через запятую)
• OLLAMA_MODELS: G:\AI\Ollama\models
• OLLAMA_HOST: 0.0.0.0
• OLLAMA_MAX_LOADED_MODELS: 3 (смотря сколько памяти у хоста и видеокарт)
• OLLAMA_KEEP_ALIVE: -1 (или: "10m", "24h", 3600 for seconds or -1 keep models forever)