Smaltita la sbornia per i festeggiamenti della nuova versione ufficiale, il Team è ritornato al lavoro sfornando oggi una vera raffica di patch, alcune delle quali di carattere funzionale.

È ancora troppo presto per dire se possano aver già prodotto un sia pur lievissimo miglioramento. Il solito NCM comincerà a testarle nelle prossime ore, ma i risultati saranno certamente incongruenti a causa delle elevate barre d'errore.

Per misurare i primi miglioramenti apprezzabili dovremo probabilmente attendere qualche mesetto, magari già per la finalissima del TCEC, se i motori NN gliene consentiranno l'accesso.

Peccato che per far progredire il Baccalà a questi livelli non basti semplicemente cambiargli qualche numeretto, come è stato fatto con successo per Leela ...

Il buon Stefan Pohl conferma che Leela ha guadagnato tantissimo con le nuove impostazioni di Rete di Kiudel (quei "5 numeretti" cambiati ):

+49 Elo (performance del 57%) contro SF 191210 per la rete di S. Vieri Lc0 0.23k +40 - 1541 (20x256) settata con i nuovi parametri e con un tempo di riflessione che è già di tutto rispetto: 8 minuti + 5" a mossa.

Una mazzata terribile per il Baccalà, da cui sarà davvero difficile riprendersi.

Al Team ci stanno provando in tutti i modi, ma purtroppo per loro stanno sbattendo la testa contro la "matematica ultramoderna" di Ramanujan.

Una raffica di nuove patch è stata rilasciata in questi ultimi giorni.

Dall'uscita di SF11 a ieri ne ho contate 14, la metà delle quali funzionali.

Mi son preso la briga di sommare gli incrementi con cui sono passate a tempi lunghi:

+1,39 +2,01 +1,53 +2,81 +2,49 +2,35 +4,77

"Fa esattamente +17,35", dirà il saputello di turno. E invece no!

Alla NCM, dove evidentemente devono aver studiato bene la lezione di Ramanujan, hanno provato a tirare le solite somme e il risultato è stato

SFdev 27Gennaio 2020 - SF11 = 240,53 - 242,78 = - 2,25 Elo.

La somma di 7 numeri positivi è negativa! Proprio come previsto dal grande Srinivasa!

Altre due patch funzionali, nella giornata di ieri.

Una, sulla carta, addirittura clamorosa, in quanto passata con un +7,88 e l'altra con +3,89.

L'incremento teorico su SF11 a questo punto dovrebbe essere di ben 29 punti e, in tempi di magra come questi, ci accontenteremmo anche della terza parte ...

Inutile dire che di tutto ciò, alla NCM non se ne vede traccia!

A questo punto deve esserci qualcosa di maledettamente sbagliato nella logica dei test del Team o della NCM, o forse di entrambi.

Una volta tanto la colpa non sembra essere della NCM ma dell'intera filosofia di test del Team di SF.

Il primo test di regressione è partito dopo la seconda patch funzionale di ieri sera, quella che avrebbe dovuto portare la somma dei guadagni teorici oltre la quota 29.

Siamo ormai a oltre 40000 delle 60000 partite previste e la regressione sembra davvero un fatto reale, visto che siamo in rosso e abbondantemente fuori della barra di errore.

Ancora una volta Srinivasa Ramanujan ha avuto ragione!

Cosa diavolo sta accadendo?

Le ipotesi più probabili sono solo 2: o qualcuna fra le patch non funzionali si sta portando via tutto il guadagno ottenuto con quelle funzionali, oppure (e personalmente propenderei per la seconda) queste ultime stanno passando i test con una fortissima componente casuale; in pratica molte di loro sono riuscite a passare anche se non avrebbero dovuto farlo!

A questo punto sarà bene correre ai ripari e inasprire i criteri per l'inserimento delle nuove patch nella Master, pena il rischio concreto di sprecare tutto il gran lavoro che si sta facendo, proprio come è accaduto in queste 2 settimane.

L'ultima ipotesi è quella che si è rivelata la più corretta: gli sviluppatori si sono finalmente accorti che, con gli attuali criteri, finivano dentro molte patch leggermente regressive, e il primo processo si è concluso con ben 5 condanne e successive rimozioni dalla Master.

Come risultato di questa infelice esperienza è stato assicurato che in futuro i test per l'inclusione saranno più stringenti.

Ecco le 5 patch incriminate, con a fianco i guadagni rivelatisi del tutto illusori:

1 Dynamic Complexity (+2,35)

2 More Bonus for best moves (+3,89)

3 Tweak Restricted Puiece Bonus (+2,49)

4 History update for pruned captures (+2.81)

5 Tweak trapped rook penalty (+1.53)

Tuttavia anche eliminando queste 5 patch regressive, tutte le restanti messe insieme non sono riuscite a produrre alcun guadagno complessivo su SF11, segno che anche una patch che sembra passare brillantemente con più di 4 punti potrebbe essere niente più che una modifica sostanzialmente neutra al programma ...

Guai a prendere alla leggera la statistica, come aveva capito il grande Trilussa!

Ancora una patch mirabolante rilasciata ieri, e che avrebbe dovuto far guadagnare da 4,78 a 6,32 ELO.

Ma ormai è del tutto inutile scommettere su come finirà realmente: la prima risposta arriva dalla NCM con una fantozziana "regressione pazzesca" di -5 punti sulla versione immediatamente precedente.
Siamo però ancora all'interno della banda di oscillazione delle due serie di misure.
Comunque, nella migliore delle ipotesi, saremmo ancora in presenza di una patch sostanzialmente neutra.

Ragazzi del Team, datevi una mossa; mi sa proprio che dovreste modificare drasticamente i criteri statistici per l'approvazione delle patch.
Così si perde solo tempo prezioso ...

Mi sa che è finito il tempo delle patch... Servono misure più radicali.

"Nicht kleckern, klotzen!"
[Heinz Guderian]

Per i non germanofili: Non colpi di spillo, mazzate!

nel frattempo la tecnologia del deep learning avanza...

Sarebbe bello eliminare l'RL....

In effetti già ora le prestazioni di Lc0 cpu su una super macchina, quale potrebbe essere un Ryzen Threadripper 3970X o 3990X non dovrebbero essere molto lontane da quelle della versione su GPU che giri su una singola RTX 2080 Ti (se non fosse per il loro prezzo da 2 a 4 volte maggiore rispetto alla scheda grafica, che renderebbe poco "equo" il confronto).

In questi giorni ho visto all'opera Lc0 cpu sia alla CCC che al TCEC, e su entrambe le loro macchine girava intorno ai 15 KN/s al termine della fase di apertura, contro i poco più di 20 di una singola RTX 2080 Ti che analizzava in parallelo.

Se si riuscirà a ottimizzare ancora meglio la versione per cpu tale differenza potrebbe forse ridursi ulteriormente, e allora, chissà, forse potremmo davvero fare a meno del Rapporto Leela ...

Alla fine dell'articolo mi sembra di capire che il deep learning col nuovo algoritmo su una Cpu sia 3.5 maggiore che su una Gpu...