Como usar este post

Este guia apresenta cada biblioteca com exemplos práticos, incluindo scripts completos e reproduzíveis que Herez usou em projetos reais. Use os trechos para aprender a coletar dados de páginas estáticas e dinâmicas, montar crawlers e processar HTML/XML com XPath.

Resumo rápido

Bibliotecas detalhadas com exemplos completos

Requests

O que é: biblioteca simples e elegante para fazer requisições HTTP em Python.

# Instalação
pip install requests

import requests

url = 'https://example.com'
resp = requests.get(url, timeout=10)
if resp.status_code == 200:
    with open('example.html', 'w', encoding='utf-8') as f:
        f.write(resp.text)
    print('Página salva em example.html')
else:
    print('Erro', resp.status_code)

BeautifulSoup

O que é: parser de HTML que facilita navegar e extrair elementos do DOM com uma API intuitiva.

# Instalação
pip install beautifulsoup4
# opcionalmente instalar lxml para performance
pip install lxml

import requests
from bs4 import BeautifulSoup

url = 'https://example.com/news'
resp = requests.get(url, timeout=10)
soup = BeautifulSoup(resp.text, 'lxml')
articles = []
for item in soup.select('article h2 a'):
    title = item.get_text(strip=True)
    link = item['href']
    articles.append({'title': title, 'link': link})
print(articles)

Scrapy

O que é: framework completo para crawling e scraping em escala, com gerenciamento de filas, middlewares e exportadores.

# Instalação
pip install scrapy

# myspider.py
import scrapy

class NewsSpider(scrapy.Spider):
    name = 'news'
    start_urls = ['https://example.com/news']

    def parse(self, response):
        for article in response.css('article'):
            yield {
                'title': article.css('h2 a::text').get(),
                'link': article.css('h2 a::attr(href)').get()
            }

Selenium

O que é: automação de navegadores que permite renderizar páginas com JavaScript, preencher formulários e interagir com elementos dinâmicos.

# Instalação
pip install selenium
# requer driver do navegador (ex: chromedriver) compatível com a versão do navegador

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://example.com/dynamic')
html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
titles = [h.get_text(strip=True) for h in soup.select('.post-title')]
print(titles)
driver.quit()

lxml

O que é: parser rápido e robusto para HTML/XML com suporte a XPath e XSLT, ideal para extração precisa e performance.

# Instalação
pip install lxml

import requests
from lxml import html

resp = requests.get('https://example.com/catalog', timeout=10)
doc = html.fromstring(resp.content)
items = []
for node in doc.xpath('//div[@class="product"]'):
    name = node.xpath('.//h3/text()')[0].strip()
    price = node.xpath('.//span[@class="price"]/text()')[0].strip()
    items.append({'name': name, 'price': price})
print(items)

Boas práticas Herez para Web Scraping

• Respeite termos e robots.txt: verifique políticas do site e limite taxa de requisições para evitar bloqueios.
• Use headers e rotação de user agents: simule navegadores reais e evite padrões que disparem bloqueios.
• Cache e reuso: armazene páginas baixadas para evitar requisições repetidas durante desenvolvimento.
• Trate erros e retries: implemente backoff exponencial e logging para robustez.
• Proteja credenciais: nunca versionar senhas; use cofres de segredos para logins automatizados.
• Escalabilidade: para grandes volumes, prefira Scrapy com pipelines assíncronos e filas; monitore desempenho e custos.
• Repositórios Herez: exemplos completos, spiders, scripts de login e pipelines usados em projetos reais da Herez estão disponíveis nos repositórios GitHub e GitLab da Herez.

Comparação rápida

Aspectos legais e éticos

Web scraping pode envolver restrições legais e de uso. Sempre verifique os termos do site, respeite limites técnicos e éticos, e prefira APIs oficiais quando disponíveis. Herez aplica revisão legal e políticas internas antes de executar crawlers em produção.

Último post da série

Este foi o último artigo e encerramos aqui a série sobre este resumo comparativo contendo um checklist de adoção para times que desejam padronizar bibliotecas Python em projetos de dados e engenharia.