Porque dados dominam o modelo
Em aprendizagem automática aplicada a mercados, a qualidade dos dados condiciona qualquer conclusão. Modelos sofisticados com inputs errados amplificam erro — princípio conhecido como garbage in, garbage out.
Dados de mercado incluem preços, volumes, spreads, indicadores macro, texto e metadados. Cada camada introduz decisões de limpeza, alinhamento temporal e tratamento de valores em falta.
Proveniência e licenciamento
Registar origem, timestamp de recepção, versão do feed e termos de uso. Feeds gratuitos podem ter atrasos ou restricções de redistribuição.
Corporate actions (splits, dividendos) exigem preços ajustados consistentes; inconsistências quebram features derivadas.
Integridade temporal
Point-in-time databases garantem que features usam apenas informação disponível na data simulada. Sem isto, backtests ficam optimistas.
Sincronização de fusos horários e calendários de mercado (feriados em Lisboa vs. Londres vs. Nova Iorque) evita falsos sinais.
Features e deriva
Normalização rolling vs. global altera estacionariedade. Feature drift monitoriza mudança de distribuição entre treino e produção.
Multicolinearidade entre indicadores técnicos correlacionados inflaciona importância aparente.
Checklist operacional
Documentar pipeline de ETL. Testes unitários para ajustes de preço. Alertas para gaps de dados. Revisão periódica de outliers.
Comparar estatísticas descritivas entre amostras de treino e produção. Investigar desvios antes de confiar em scores.
Governança de dados
Catálogo de dados com owner, SLA, classificação de sensibilidade e historial de alterações de schema.
Linha de proveniência desde fonte bruta até feature final — essencial para auditorias internas e externas.
Políticas de retenção equilibram custo de armazenamento com necessidade de reproduzir experimentos passados.
Erros comuns em projetos retail educativos
Misturar preços de diferentes exchanges sem normalizar horário. Usar volumes agregados sem verificar splits.
Ignorar dias sem negociação vs. dias com preço stale — distorce volatilidade estimada.
Assumir que APIs públicas reflectem o universo negociável completo — frequentemente excluem instrumentos illiquid.
Normalização e escalonamento
Z-score rolling usa média e desvio padrão de janela móvel; min-max global leak informação futura se aplicado a todo o dataset.
Winsorização de outliers deve ser calibrada em treino e congelada em teste — recalcular por split inteiro introduce leakage.
Metadados e auditoria
Cada extract deve registar hash do ficheiro fonte, versão do parser e número de linhas descartadas com motivo.
Reconciliação diária entre posições simuladas e dados de mercado detecta erros silenciosos cedo.
Estudo de caso educativo (fictício)
Imagine um dataset diário de preços de acções europeias entre 2010 e 2024. Um analista nota correlação elevada entre uma feature de momentum e retornos futuros no período 2015–2019.
Investigação revela que o pipeline não aplicou ajuste de splits antes de 2018, introduzindo saltos artificiais. Após correcção, correlação cai para níveis compatíveis com ruído.
Lição: métricas impressionantes devem ser rastreadas até decisões de dados específicas — não apenas arquitectura de modelo.
Segunda ronda: timestamps UTC vs. Europe/Lisbon desalinhavam abertura de mercado; corrigir reduziu falsos positivos de volatilidade intradiária.
Integração com model risk
Inventário de dados faz parte do dossiê de modelo submetido a validação independente. Alterações de schema exigem re-certificação parcial.
SLA de latência de feed afecta estratégias sensíveis ao tempo; documentar atraso médio e percentil 95.
Contratos com fornecedores
Cláusulas de qualidade de serviço, direito a auditoria e notificação de alterações de formato protegem consumidores institucionais de dados.
Leitores individuais raramente negociam estes termos — outra assimetria prática a considerar antes de confiar em dados comerciais genéricos.
Pipeline ETL exemplificativo
Extract: job agendado com retry e alerta se feed falhar. Transform: validação de schema, detecção de duplicados, ajuste de splits.
Load: armazenamento versionado (Parquet particionado por data) com metadados Iceberg/Delta quando escala o exige.
Quality gates: rejeitar dia se mais de X % de linhas falharem validação; investigar antes de propagar a downstream.
Dados alternativos
Satélite, cartões de crédito agregados ou scraping web levantam questões de legalidade, viés amostral e decaimento rápido de sinal.
Due diligence inclui amostra de auditoria manual para verificar que dados reflectem o fenómeno pretendido.
Controlo estatístico de qualidade
Gráficos de controlo monitorizam média e variância de features ao longo do tempo; regras Western Electric sinalizam rupturas.
Testes de Kolmogorov-Smirnov ou PSI (Population Stability Index) quantificam drift entre amostras de treino e produção.
Quando PSI excede limiares internos, modelos entram em revisão obrigatória antes de continuar a emitir scores.
Fórmula de referência
Qualidade_score = w1·Completude + w2·Pontualidade + w3·Consistência + w4·Rastreabilidade (pesos definidos pela governança interna)
Qualidade_score = w1·Completude + w2·Pontualidade + w3·Consistência + w4·Rastreabilidade (pesos definidos pela governança interna)Perguntas frequentes
Dados gratuitos são suficientes?
Podem servir para aprendizagem, mas atrasos, gaps e falta de ajustes corporativos limitam conclusões.
Quantos anos de histórico?
Depende do fenómeno; ciclos macro podem exigir décadas, enquanto microestrutura exige granularidade recente.