Este projeto implementa um agente de IA autônomo capaz de navegar na web, realizar buscas, extrair informações e executar tarefas online automaticamente, utilizando um modelo de linguagem e controle de navegador.
O comportamento do agente é totalmente definido pelo prompt de tarefa (task), permitindo que ele realize qualquer tipo de automação web — desde buscas simples no Google até coleta de dados em sites específicos.
- Executa tarefas dinâmicas definidas via variável
task - Acessa sites, preenche campos, clica em elementos e coleta dados
- Pode realizar pesquisas no Google e navegar por múltiplas páginas
- Opera com otimização de velocidade e múltiplas ações em sequência
- Suporte a modo headless ou com interface gráfica
- Python 3.10+
- browser-use — controle de navegador via IA
- ChatGoogle (Gemini 2.5 Flash Lite) — modelo de linguagem que interpreta e executa instruções
- dotenv — gerenciamento de variáveis de ambiente
# 1. Clone o repositório
git clone https://github.com/ericgenovez/agent-web-scraping.git
cd agent-web-scraping
# 2. Crie e ative o ambiente virtual
python -m venv .venv
.venv\Scripts\activate # Windows
# ou
source .venv/bin/activate # Linux/Mac
# 3. Instale as dependências
pip install -r requirements.txt
# 4. Configure as variáveis de ambiente
cp .env.example .env
# adicione suas chaves da API do Google Gemini
# 5. Edite a variável `task` no arquivo main.py
# Exemplo:
# task = "Pesquise no Google por 'tendências de IA em 2025' e resuma os principais resultados"
# 6. Execute o agente
python main.py