Implantando CrewAI com LLM Local (Ollama): Guia Completo para Produção

CrewAI é um framework moderno e ágil para automação com agentes autônomos de IA, permitindo orquestração avançada e fácil integração com modelos locais como o Ollama. A seguir, apresento uma solução de implantação passo a passo para ambientes de produção, utilizando CrewAI + Ollama para máxima privacidade, escalabilidade e performance.

Visão Geral da Solução

• CrewAI: Orquestração de múltiplos agentes autônomos, totalmente customizável e pronto para produção.
• Ollama: Servidor de LLM local para execução de modelos como Llama 3, Mistral, Phi, Gemma e outros, sem custos de API ou dependência de nuvem.
• Ambiente: Docker Compose para isolamento, escalabilidade e facilidade de deploy (compatível com cloud e on-premises).
• Ideal para: Empresas com requisitos de privacidade, desenvolvedores avançados que desejam controle total sobre o pipeline de IA e custo zero por requisição.

Passo 1: Estrutura do Projeto

Organize seu projeto conforme o padrão recomendado pelo CrewAI:

/meu-projeto-crewai/
  ├─ src/
  │   └─ my_project/
  │        ├─ __init__.py
  │        ├─ main.py
  │        ├─ crew.py
  │        └─ config/
  │             ├─ agents.yaml
  │             └─ tasks.yaml
  └─ Dockerfile
  └─ docker-compose.yml
  └─ requirements.txt
  └─ .env

Passo 2: Docker e Docker Compose (Recomendado)

Exemplo de docker-compose.yml:

version: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - 11434:11434
    volumes:
      - ollama-data:/root/.ollama

  crewai-app:
    build: .
    volumes:
      - .:/app
    environment:
      - OLLAMA_HOST=http://ollama:11434
      - MODELO_OLLAMA=llama3
    depends_on:
      - ollama

volumes:
  ollama-data:

Passo 3: Dockerfile para a aplicação CrewAI

FROM python:3.11-slim

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

CMD ["python", "src/my_project/main.py"]

No requirements.txt:

crewai

Passo 4: Configurando o CrewAI para usar o Ollama

No arquivo agents.yaml:

pesquisador:
  role: >
    Pesquisador de Dados Sênior
  goal: >
    Descobrir tendências sobre IA e automação
  llm:
    provider: ollama
    endpoint: http://ollama:11434
    model: llama3  # Ou o modelo disponível/local desejado

Passo 5: Inicializando e Testando

No terminal, dentro da pasta do projeto, rode:

bash# docker compose up --build

O Ollama fará o download do modelo escolhido na primeira execução (ex: llama3). Depois disso, os agentes CrewAI poderão interagir com o modelo LLM local, 100% privativo e rápido.

Diferenciais e Boas Práticas

• Escalabilidade: Rode múltiplas instâncias usando Docker Swarm ou Kubernetes.
• Monitoramento: Utilize logs centralizados ou promova integração com as ferramentas do CrewAI AMP Suite para observabilidade empresarial.
• Segurança: Mantenha todos os dados sensíveis localmente, sem exposição a APIs externas.
• Personalização: Troque de modelo no Ollama sem alterar o código CrewAI, apenas mudando configurações.

Resumo da Solução

Esta arquitetura oferece produtividade, privacidade, controle e economia para empresas e desenvolvedores que precisam de automação com IA usando modelos grandes locais e scripts Python já integrados com agentes autônomos.