Forum pubblico/privato: Pubblico
Permessi di scrittura: Utenti registrati
Giorno: 08/04/2021, 10:59:41
Aggiornamento sulla forza di Lc0
Da piu' parti ho letto che si stanno interrogando sul motivo perche' Lc0 non venga piu' sviluppato.

A loro dire, nei vari tornei della rete viene ancora impiegata la vecchissima rete j94-100 che aveva partecipato al non piu' tanto recente tcec superfinal numero 20.

Non conosco esattamente come stiano le cose in quanto non partecipo alla lettura nei vari interventi che si sviluppano nei siti specialistici. Tuttavia mi sembra di poter riassumere la questione dello mancato sviluppo di Leela in alcuni punti fermi, alcuni oggettivi e alcuni legati a mie considerazioni personali e cerchero' di tenerli distinti.

Inizio da quelli oggettivi:

1 C'e' stato il tentativo di Hjortos di allenare la rete con degli esempi tratti dalle partite di Stockfish. Frutto di questo lavoro e', appunto, la rete J94-100.
Per motivi che non conosco, Hjortos non sviluppa piu' alcun lavoro in tale direzione dal mese di gennaio 2021 e recentemente ha chiuso lo spazio pubblico in cui esponeva i suoi risultati parziali.
Eppure Hjortos segnalava che le reti successive alla j-94 100 come la j-94 120 esponevano miglioramenti "modesti"

2 C'e' stata la dichiarazione pubblica di DKappe, altro nome di rilievo nello sviluppo di Lc0 in cui
si dichiarava confidente che presto qualcosa di importante sarebbe stato raggiunto, dopo vari tentativi da egli definiti "a zig zag"

3 Continua incessante l'allenamento non supervisionato delle reti maggio, a 384-20 (n. neuroni e di blocchi).

Negli autotest questo lavoro non appare promettente, perche' giocando contro se' stesso apparentemente Leela non sembra migliorare.

Nei test contro Stockfish parrebbe tutta una altra storia.

Esaurite le considerazioni oggettive, passo a quelle personali

1 Non mi sembra che ci sia molto interesse ad implementare Leela, quanto rilevo invece il fatto che Leela venga utilizzato per test e sviluppo di altri programmi, in particolare da parte del team di Stockfish

2 L'immissione a mercato di Fat Fritz proprio non ci voleva: ha sparigliato completamente tutte le carte, determinando in molti bravi, volenterosi ed apprezzabilissimi programmatori la convinzione che non vale la pena faticare cosi' tanto se c'e' poi qualcuno che arriva e senza sforzarsi, sporcarsi le mani e addirittura capire nulla ne approfitta

3 Quale e' la forza reale oggi Leela, cosi' trascurato da tutti? Provo a fare qualche considerazione in seguito sulle versioni autoapprendenti, su qualche informazione nuova giuntaci dal ripristino del sito da parte del bravissimo Stephan Pohl. Nonostante tutto questo disinteresse, io ho eseguito qualche banale calcolo che mi fornisce la convinzione che Leela abbia gia' raggiunto Stockfish NNUEE, il quale e' fermo da mesi e non riesce piu' a progredire.
Giorno: 12/04/2021, 02:25:22
Link sponsorizzati
Giorno: 08/04/2021, 11:14:10
Innanzitutto va fatta una debita premessa. Differenze di Elo pronunciate si attutiscono con hardware potentissimi, per cui dovremmo prendere come base di partenza i risultati del TCEC 20 e rapportarli a risultati su hardware comuni, piu' alla portata dei singoli scacchisti, ottenuti sullo stesso set di aperture.

Dei test effettuati da Pohl sullo stesso set di aperture utilizzate nel TCEC mostrano differenze di 60-65 punti Elo tra la J94-100 e la versione di Stocfish utilizzata nel campionato.

Il campionato invece rilevo una differenza finale di 18 punti Elo, indice dell'evidenza che l'appiattimento di forza tra i singoli programmi e' di circa 40 punti Elo con hardware mostruosi rispetto ai nostri hardware comuni.

Come scrivevo nell'introduzione, la J-94 e' una rete di fatto superata: nel database di Pohl essa viene classificata al venticinquesimo posto con un Elo di 3666

Lc0 1483dev J94-100 (SuFi 20) : 3666

La rete piu' forte e' la 68002, che mostra un punteggio Elo di 3735, ovvero 70 punti Elo piu' della rete J94.

A questo punto per calcolare la reale forza di Leela in un futuro Tcec 20 e' sufficiente usare una banale proporzione matematica:

65:18=70:x

per cui x e' maggiore di 18.

Nel frattempo anche Stockfish e' migliorato, seppure di poco:

8 punti Elo, che nella medesima ipotesi di calcolo forniscono appena 2 punti Elo di miglioramento con hardware "cinese" del TCEC


Pur con tutta la prudenza del caso che invita a tener conto anche della deviazione standard espressa dai test, e pertanto dalla aleatorieta' e provvisorieta' di queste proporzioni indicate sopra, il mio giudizio e conclusioni finali emersi dai dati sopra riportati sono le seguenti:

***
Leela e' progredita autonomamente in questi mesi in una misura lieve, ma comunque adeguata, da aver colmato la differenza di soli 18 punti Elo emersa nel Tcec 20.
****

Non al punto da essere considerata addirittura favorita in un TCEC21, ma secondo i dati statistici dei test riportati almeno essere considerata la prima favorita al pari di Stockfish
Giorno: 08/04/2021, 13:17:47
Come forza, Leela e' un pelino sotto Stockfish, rispetto agli altri e' decisamente superiore
Forse (ma e' una ipotesi mia) a tanti utenti finali non e' gradito un motore che per dare il massimo richiede GPU che costano un occhio
Sinceramente la vicenda FatFritz non so quanto influisca, penso sia personale
Lo sviluppo di Stockfish e Leela e' lasciato a volenterosi programmatori, che pero' magari hanno pure un lavoro e/o altri interessi, quindi possono abbandonare lo sviluppo (temporaneamente o per sempre) dopo un certo tempo...
Puo' darsi che dopo il rapido sviluppo dei chess engines degli ultimi anni (motori mcts su GPU e poi l'nnue su cpu) ci sara' un periodo di relativa stagnazione, per poi fare un nuovo salto in avanti...
Giorno: 08/04/2021, 15:28:52
Quote:
Come forza, Leela e' un pelino sotto Stockfish, rispetto agli altri e' decisamente superiore
==============
Sicuramente con hardware comuni e' piu' debole non solo di un pelino. Direi nettamente.

Nelle mie considerazioni precedenti mi riferivo ad un pronostico per il TCEC21, pertanto con hardware dimensionati a raggiungere il massimo potenziale dei rispettivi programmi di gioco.

Noto che nei test su hardware comune vs. Stockfish la versione 68002 che nessuno di noi credo abbia provato e' piu' forte di circa 70 punti rispetto alla versione j94-100 che gioco il TCEC20.

Da qui i calcoli che ho elencato, che - se non vi e' qualche errore di calcolo che non ho notato - indicano che il gap tra i due programmi con hardware TCEC e' di fatto colmato per il lieve aumento di forza di Leela con le ultime versioni e l'apparente stabilita' del livello di Stockfish.

Nulla toglie che nello spazio di tempo che ci separa dal campionato Stockfish possa migliorare di piu' rispetto a quanto e' migliorato negli ultimi mesi e partire, una volta di nuovo, come chiaro favorito.

Ciao
Giorno: 08/04/2021, 19:29:03
Un plauso a Stefan Pohl, che nonostante le difficolta', e' ritornato in azione piu' agguerrito che mai. zizi.gifzizi.gif

Dalla sua pagina

NN vs SF testing

sembrerebbe che, alle sue condizioni di testing, le ultime dev di SF siano nettamente piu' forti di quelle di Lc0 negli scontri diretti sulle aperture sbilanciate del TCEC.

Ma, a parte il pesante handicap inflitto a Leela con la riduzione al 67% dei suoi tempi di riflessione rispetto a quelli assegnati a SF (Stefan e' davvero fissato per avere un Rapporto Leela pari a 1 e su questo non e' disposto ad alcuna concessione), passare ai tempi extra lunghi delle macchine super performanti del TCEC sara' tutto un altro discorso, e credo anch'io che le differenze finiranno quasi per annullarsi.

Dipendera' come sempre anche dalle scelte dei curatori del repertorio di aperture su cui i motori saranno costretti a confrontarsi.

Ci sara' poi Komodo NNUE a fare da terzo "inkomodo": se quelli della CB hanno potuto tranquillamente "ispirarsi" a SF cavandosela poi del tutto impunemente, perche' il duo Kaufman - Lefer non potrebbe fare altrettanto?

E magari potrebbe esserci nuova gloria anche per un redivivo Houdart, se e' vero che la classe non e' acqua ... di mare norvegese! biggrin.gifbiggrin.gif

ciao.gifciao.gif
"TB or not TB..."
Giorno: 09/04/2021, 00:02:47
Alcune osservazioni.

Gli sviluppatori di Leela fanno parte del team di Stockfish.

Come dichiarato sul sito di Stockfish:

... In futuro, i team di Leela Chess Zero e Stockfish uniranno le forze per dimostrare il nostro impegno nei confronti dei motori scacchistici open source, degli strumenti di formazione e degli open data. Siamo convinti che i nostri motori scacchistici gratuiti e open source servano molto bene la comunita' scacchistica.

Cio' spiegherebbe "l'abbandono" di Leela. Sono sicuro che ne vedremo delle belle!
Sono una carota in cerca di sè stessa...
Giorno: 09/04/2021, 23:55:44
Ottima notizia!
Questa è la vera forza dell'open source!

ciao.gif
Lupin è l'autore de "Il Libro d'Oro degli Scacchi" www.chessgoldenbook.com
Giorno: 10/04/2021, 21:48:09
Il problema principale di Lc0 a mio modo di vedere e' che richiede hardware e conoscenze superiori rispetto a Stockfish e altri motori open source sia per utilizzarlo al meglio, ma anche per svilupparlo, cio' ne limita molto la base di utenza. Senza un GPU di buon livello ci si puo' far poco e per usarlo bisogna comunque avere un minimo di competenza. Con Stockfish e' tutto molto più semplice.

Aggiungiamo anche il fatto che molti, anche tra chi contribuisce al suo sviluppo, si aspettano troppo da Lc0 e troppo in fretta, in fondo e' un progetto nato da meno di tre anni come esperimento. Stockfish ha impiegato piu' di 12 anni ad arrivare dove è adesso.