Guia aprofundado

Overfitting e viés

Como reconhecer ajuste excessivo, viés de seleção e data snooping em projectos quantitativos.

Overfitting definido

Overfitting ocorre quando um modelo memoriza ruído da amostra de treino, exibindo desempenho elevado in-sample e fraco out-of-sample.

Sinais de alerta: complexidade extrema relativa ao tamanho da amostra, centenas de features sem regularização, curvas de equity sem drawdowns realistas.

Viés de seleção

Testar muitas estratégias num mesmo dataset sem correcção estatística infla probabilidade de falso positivo.

Publicação apenas de estratégias vencedoras (file drawer problem) distorce percepção externa.

Técnicas de mitigação

Regularização L1/L2, early stopping, dropout em redes. Validação cruzada temporal. Simplicidade preferida quando desempenho similar.

Deflated Sharpe Ratio e testes de White reality check quantificam multiplicidade de testes — temas avançados tratados em literatura académica.

Papel humano

Comités de model risk desafiam premissas. Documentação de experimentos falhados evita repetir erros.

Estudos adicionais

Combinatorial purged cross-validation (CPCV) reduz dependência entre folds em séries financeiras.

Reportar intervalos de confiança para Sharpe e drawdown via bootstrap ou simulação.

Comparar modelo complexo com baseline ingénuo; se ganho marginal não compensa complexidade, preferir simplicidade.

Cultura de equipa

Recompensar documentação de experimentos falhados reduz viés de publicação interna.

Separação entre equipa de research e validação independente imita práticas de model risk em bancos.

Viés de sobrevivência em universos

Indices rebalanceados removem constituintes falidos; backtests sobre index members actuais superestimam retorno histórico.

Incluir delisted securities exige bases de dados pagas ou trabalho manual extensivo — omitir introduce viés optimista.

Experimento mental

Suponha 1000 estratégias aleatórias testadas num mesmo decénio. Por acaso, algumas exibirão Sharpe elevado.

Sem registo do número de tentativas, um relatório interno pode seleccionar apenas a vencedora — ilustrando data snooping.

Correcção: pré-registo de hipóteses ou penalização estatística por multiplicidade.

Literatura de referência

Bailey, Borwein e Zhu discutem probabilidade de false discovery em backtests financeiros — leitura recomendada em bibliotecas universitárias portuguesas.

Lo e MacKinlay alertam para econometria de dados financeiros há décadas; lições permanecem válidas com deep learning.

Correcção por multiplicidade

Bonferroni e Benjamini-Hochberg controlam taxa de falsos positivos quando muitas hipóteses são testadas.

Registar número total de experimentos tentados — transparência reduz viés de seleção interna.

Validação externa

Reservar período nunca visto pela equipa de research até fase final — gold standard em competições académicas adaptável a processos internos.

Complexidade e Occam

Princípio da navalha de Occam favorece modelos mais simples quando desempenho out-of-sample é equivalente.

Double descent em redes muito parametrizadas complica narrativa simples de overfitting — literatura recente exige nuance.

Tabela comparativa

Sinais de alerta vs. práticas saudáveis
Sinal de alerta	Prática preferida
Accuracy > 90 % em classes desbalanceadas	Precision-recall e curva ROC
Centenas de features não documentadas	Inventário com justificação causal
Um único período de teste	Walk-forward múltiplo

Perguntas frequentes

Regularização resolve tudo?

Reduz overfitting mas não corrige leakage nem viés de seleção de universo.

Tabela comparativa do guia

Sinais de alerta vs. práticas saudáveis
Sinal de alerta	Prática preferida
Accuracy > 90 % em classes desbalanceadas	Precision-recall e curva ROC
Centenas de features não documentadas	Inventário com justificação causal
Um único período de teste	Walk-forward múltiplo

Perguntas frequentes desta página

Regularização resolve tudo?

Reduz overfitting mas não corrige leakage nem viés de seleção de universo.

Aprofundamento guias-overfitting-e-vies — secção 1

Conteúdo educativo específico de guias/overfitting-e-vies.html no recurso Radar IA Mercados.

Material informativo sem recomendação personalizada de investimento, fiscalidade ou estratégia.

Recurso educativo sobre métodos e limites da inteligência artificial aplicada a mercados financeiros em Portugal.