Il Sample Bias: errore o tentativo di manipolazione?

«I've not seen in my lifetime any politician who is a heroic figure. The manipulation that all politicians use on one level or another is so transparent».

Dean Koontz

Tra un anno o forse prima, gli italiani saranno chiamati alle urne per le prossime elezioni politiche.

Quali partiti vinceranno?

Se volessimo stimare l'esito della tornata elettorale con un sondaggio condotto su un piccolo campione di persone, dovremmo fare molta attenzione alla selezione dei suoi componenti.

Se il campione fosse composto dagli abitanti di una sola città italiana, da soli uomini o sole donne, da persone con un'età superiore o inferiore a un certo numero di anni o soltanto da persone laureate, avremmo una stima molto distorta dell'esito elettorale. In parole povere, le nostre previsioni sarebbero quasi certamente sbagliate.

Perché?

Nell'esempio precedente, il motivo è chiaro: il campione scelto non è rappresentativo della popolazione. Il nostro campione è distorto, biased.

Uno studio compiuto a partire da un campione simile è caratterizzato dal cosiddetto sample bias: il sample bias compromette la validità delle nostre conclusioni.

Il campionamento è una procedura delicata e deve essere svolta con molta attenzione: la Teoria dei Campioni è quella branca della statistica che si occupa di determinare le migliori tecniche e metodologie necessarie a estrarre un campione che sia il più possibile rappresentativo della popolazione.

Un campione ben costruito ci permette di ottenere la miglior stima dell'oggetto di interesse.

Perché è importante conoscere gli effetti del sample bias nel mondo finanziario?

Alcuni giorni fa, leggevo un articolo in cui si confrontava la strategia di investimento del Piano di Accumulo del Capitale (PAC) a rate costanti con l'investimento in un'unica soluzione (PIC). Le conclusioni non ammettevano repliche: il PAC è una strategia migliore del PIC perché genera un rendimento molto più alto nei mercati che hanno performato peggio e un rendimento di poco inferiore a quello di un PIC nei mercati che hanno ottenuto ottimi risultati.

Troppo bello per essere vero?

Sì.

Attenzione: anche noi siamo sostenitori del PAC, che riteniamo essere una strategia di investimento dalle molteplici qualità:

• È meno rischiosa di un PIC, dal momento che: 
  • La deviazione standard dei rendimenti finali dei PIC è quasi sempre superiore a quella dei PAC.
  • La volatilità interna dei rendimenti dei PIC è quasi sempre superiore a quella dei PAC.
  • Il rendimento minimo di un PIC è, nella maggior parte dei casi, peggiore del rendimento minimo di un PAC.
  • I periodi medi e massimi di recupero dei PIC sono quasi sempre più lunghi di quelli dei PAC.
• È molto più semplice da gestire da un punto di vista psicologico rispetto a un PIC: la finanza comportamentale negli ultimi 3-4 decenni ha permesso di capire come molte strategie finanziarie – il PAC ad esempio – devono il loro successo alla mancanza negli investitori di quella razionalità teorizzata dall'economia tradizionale; razionalità tanto comoda per gli studiosi, quanto lontana dalla realtà. Gli esseri umani sono molto più complessi dell'Homo Oeconomicus e i loro comportamenti non si possono descrivere mediante equazioni matematiche.

D'altra parte, però – come dimostrato in numerosissimi studi effettuati negli ultimi cinquant'anni – in caso di mercati crescenti nel lungo termine, i rendimenti dei PIC sono mediamente superiori a quelli dei PAC e l'affermazione che i PAC siano migliori dei PIC "in assoluto" non è corretta.

Le conclusioni dell'articolo al quale ho accennato in precedenza si basavano su alcuni grafici in cui venivano confrontati i rendimenti dei PAC e dei PIC di alcuni strumenti finanziari: il PAC era vincente 2 volte su 3 e, nell'unico caso in cui non lo era, il minor rendimento rispetto al PIC era di modeste dimensioni.

Un occhio attento si sarebbe subito accorto che queste conclusioni erano poco solide per due motivi:

• Backtestare un solo PAC e un solo PIC, anche se su 3 strumenti diversi, è troppo poco: sarebbe come pretendere di prevedere l'esito della prossima tornata elettorale dopo aver chiesto a due o tre persone che cosa voteranno.
• Il periodo sul quale era stato effettuato quell'unico backtest era stato scelto ad arte: da inizio 2007 (subito prima della grave crisi dei subprime) ai giorni nostri.

Il secondo punto è quello che ci interessa di più: si tratta di un classico esempio di time period bias. Il time period bias è una forma di sample bias. 

Quando si effettuano dei backtest e si sceglie uno specifico campione, ovvero una particolare porzione della serie storica, i risultati che si ottengono dipendono dalle date di inizio e di fine del periodo scelto. Cambiando le date, cambiano i risultati.

Voglio favorire il PAC sul PIC? Inizio il backtest a gennaio 2007.

Voglio favorire il PIC sul PAC? Inizio il backtest a marzo 2009.

Il time period bias, se non si prendono le giuste contromisure per arginarlo, è all'origine di molti errori degli analisti.

Alcune volte, viene semplicemente ignorato; altre volte, potrebbe essere utilizzato intenzionalmente dall'analista per "dimostrare" una sua idea.

Naturalmente, quando si è in presenza di questo bias non si sta – in realtà – dimostrando niente. Quando c'è intenzionalità nello sfruttare questo bias a favore delle proprie tesi, si sta provando a manipolare il lettore.

L'analista attento deve evitare di commettere questo errore. Il modo migliore per farlo è utilizzando un grande numero di campioni:

• Non un solo backtest, ma un insieme di backtest rolling di varie lunghezze.
• Non due o tre, ma decine o centinaia di strumenti finanziari da backtestare (sempre in modalità rolling).
• Non soltanto analisi di serie storiche reali, ma anche simulazioni parametriche e non parametriche col metodo Monte Carlo costruite su serie storiche sintetiche: se è vero che la storia si ripete, non è detto che lo faccia in maniera identica. Queste simulazioni hanno lo scopo di testare anche quelle situazioni che non si sono mai verificate in passato.

Come funziona un backtest rolling?

Rolling significa che, ipotizzando di disporre di una serie storica giornaliera che inizia a novembre 1989, ad oggi 22 maggio 2022 posso simulare 368 PAC della durata di due anni:

• Il primo è quello che copre il periodo compreso tra novembre 1989 e ottobre 1991.
• Il secondo, copre il periodo compreso tra dicembre 1989 e novembre 1991.
• E così via fino al 368° PAC, che va da giugno 2020 a maggio 2022.

Con la stessa serie storica e seguendo lo stesso principio, posso poi backtestare 356 PAC triennali, 344 PAC della durata di 4 anni, 332 PAC quinquennali, 320 PAC della durata di 6 anni, 308 di 7 anni, 296 di 8 anni, 284 di 9 anni, 272 di 10 anni, 212 di 15 anni, 152 di 20 anni, 92 di 25 anni e 32 di 30 anni.

Più la serie storica è lunga, maggiore è il numero di simulazioni che posso effettuare in modalità rolling.

Questo tipo di analisi non si può fare senza automatizzazione: per questo motivo, abbiamo messo a disposizione il servizio di Analisi PAC che, tra l'altro, fornisce anche le performance degli investimenti in un'unica soluzione (PIC) – anch'essi backtestati in modalità rolling – e dei PAC Value Averaging (oltre ai PIC Value Averaging e al rendimento e alla volatilità interna dei PAC a rate costanti).

La personalizzazione di alcuni parametri dell'analisi è disponibile soltanto agli utenti PRO, ma anche senza registrazione le informazioni che vengono fornite sono davvero molte: l'esempio seguente mostra i risultati dell'analisi PAC applicata all'iShares Core MSCI World UCITS ETF USD (Acc) – EUR (ISIN: IE00B4L5Y983, Ticker: SWDA):

I risultati dell'analisi vanno molto al di là del "semplice" rendimento. Tra l'altro, si possono anche visualizzare tutti i rendimenti dei PAC di ogni durata in un grafico lineare, l'andamento del rendimento per rata versata del PAC migliore, di quello peggiore e, più in generale, di tutti i PAC che sono stati backtestati.

Solo così e – se possibile – aggiungendo simulazioni parametriche e non parametriche col metodo Monte Carlo, possiamo dare consistenza, robustezza e credibilità ai risultati delle nostre analisi.