Olá a todos,

Hoje, no seguimento do tema de um dos nossos últimos posts,  continuaremos a nossa viagem pelo mundo da IA.
Desta vez, a viagem será pelo processo de carregamento de novos modelos de machine learning na nossa instancia de Ollama2, vindos diretamente de uma comunidade de AI que dá cartas sobre o tema.

O que é o Ollama2?

Para aqueles que estão a perguntar “O que raio é o Ollama2?”, e não leram o meu ultimo post sobre o tema permitam que vos informe: O Ollama2 é uma plataforma LLM incrível – e muito fácil de ter em ambiente on-premise ou self host – que permite aos entusiastas de machine learning carregar e compartilhar seus próprios modelos treinados, facilitando assim a colaboração e fomentando a exploração que é o motor da comunidade de IA.

Porque carregar novos modelos?

A resposta a esta pergunta é realmente simples: diversidade e inovação! Ao adicionarmos novos modelos á nossa instancia de Ollama2, estamos a amplificar o leque de ferramentas disponíveis para resolver problemas.  Por exemplo, resumir um documento, ou escrever um texto, ou até escrever código. É algo que abre espaço para criatividade e descobertas surpreendentes.
Vejam isto como o paradigma de não aparafusar um parafuso com um martelo, ou martelar um prego com uma chave de fendas. Uma ferramenta adequada para a tarefa especifica.

Como carregar novos modelos?

Tecnicamente o desafio tem duas formas de ultrapassar. Uma das quais pode parecer intimidante à primeira vista, mas não se preocupem – é extremamente fácil e simples de efetuar.

Passo 1: Preparem-se

Antes de começar, certifiquem-se de teem o vosso Ollama2 a escutar as portas necessárias e que tem acesso de consola/ssh ao mesmo.

Passo 2: Faça o Upload/Download do ML desejado.

Nota: O método mais habitual – que é através da webui –  já foi apresentado no post anterior sobre o tema. Esta forma especifica descrita abaixo, implica acesso por consola ao sistema que está a executar o nosso ML

Escolham o modelo que melhor se adequa á vossa necessidade. No meu caso, irei instalar um deepseek-coder:q5 que para mim, e para o que quero, contem o perfeito equilíbrio entre o que necessito e os recursos que tenho disponíveis para o fazer. Notem porem que o deepseek-coder:q5 vem num formato que a webui não consegue gerir para carregar, razão pela qual apresento o seguinte procedimento.

Em primeiro lugar, navegar até á pagina huggingface que é como um search engine para modelos de ML:

Em seguida no search field, procurar por deepseek-coder. O resultado será algo como isto:

De todos os campos que são apresentados, estamos particularmente interessados em campos que tenham a referencia GGUF que é um “formato” que o nosso Ollama2 consegue carregar sem grande dificuldade via o CLI nativo (consola), mas não através da webui:

Em seguida, files and versions:

Em seguida, escolher o ML model que nos interessa mais. Para mim, descobri que os modelos Q5 tem o melhor equilíbrio entre qualidade de resposta e tamanho/carga no sistema:

Em seguida, descarregar o ficheiros (copy do link de download):

wget "https://huggingface.co/TheBloke/deepseek-coder-6.7B-instruct-GGUF/resolve/main/deepseek-coder-6.7b-instruct.Q5_K_S.gguf?download=true" -O deepseek-coder-6.7b-instruct.Q5_K_S.gguf

Agora, é hora de aguardar o download e passar ao passo 3.

Passo 3: Preparação para carregamento do novo modelo de ML no nosso Ollama2

Para carregar o nosso novo modelo, é necessário construir um “template” file com as instruções do modelo:

FROM /models/deepseek-coder-6.7b-instruct.Q5_K_S.gguf
TEMPLATE """### System:
{{ .System }}

### User:
{{ .Prompt }}

### Assistant:
"""
PARAMETER num_ctx 4096
PARAMETER stop "</s>"
PARAMETER stop "### System:"
PARAMETER stop "### User:"
PARAMETER stop "### Assistant:"
PARAMETER num_thread 23

Nota: Na secção from indicar a full path do nosso ficheiro gguf descarregado no passo anterior. No meu caso, foi descarregado para uma diretoria chamada /models.
Alterar igualmente o numero de threads de CPU que querem que o vosso ML utilize. No meu caso, 23 threads.

Passo 4: Carregamento do novo modelo de ML no nosso Ollama2

Agora que temos o nosso template pronto, chegou a hora na consola, de carregar o ML em si no nosso Ollama2

# ollama create deepseek-coder-6.7b-instruct.Q5:latest -f model_deepseek-deepseek-coder-6.7b-instruct.Q5_K_S

O Ollama2 irá carregar o vosso template e modelo, e no fim o resultado será algo como:

# ollama list
NAME ID SIZE MODIFIED 
deepseek-coder-6.7b-instruct.Q5:latest f7362531c16f 4.7 GB 2 weeks ago

# ollama show --modelfile deepseek-coder-6.7b-instruct.Q5:latest

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM deepseek-coder-6.7b-instruct.Q5:latest

FROM /usr/share/ollama/.ollama/models/blobs/sha256:1362c06f3036b4c4994bd8497ecbc0b487acb67e568b4addb4b17fc1e863f688
TEMPLATE """### System:
{{ .System }}

### User:
{{ .Prompt }}

### Assistant:
"""
PARAMETER num_ctx 4096
PARAMETER num_thread 23
PARAMETER stop "</s>"
PARAMETER stop "### System:"
PARAMETER stop "### User:"
PARAMETER stop "### Assistant:"

O resultado final será igualmente visível na vossa webui (alem deste tenho váriosoutros que estou a testar):

 

Podemos em seguida fazer questões direcionadas a tarefas de programação:

A resposta foi algo como:

 

E pronto chegamos ao fim de mais um post semanal. Em breve vos trarei as minhas escolhas pessoais (algumas já são visíveis nessa imagem com o dropdown dos modelos que estou a executar) e as escolhas da comunidade sobre o tema.
Irei ainda explorar funções como o RAG que podem em muito nos simplificar o dia.

Até ao próximo post, e já sabem onde me encontrar caso encontrem algum ponto menos correcto.
Abraço!
Nuno