Forum pubblico/privato: Pubblico
Permessi di scrittura: Utenti registrati
Giorno: 07/02/2021, 10:30:14
Paradosso del Rapporto Leela?
Stavo pensando al famigerato Rapporto Leela (che tanto piace a Masticone biggrin.gif)...

Attualmente e' di 1 a 1000 quindi, esemplificando, se prendo una rete di Leela da 384x30 e questa "gira" a 3.000 nps, dovro' ridurre i threads di Stockfisch finche' questi girera a 3.000.000 nps, supponiamo 3 threads.

Ora prendiamo una rete di Leela piccolina, da 128x20, questa sara' molto piu' debole, ma girera' piu' velocemente, supponiamo a 30.000 nps.
Ora, per rispettare il rapporto Leela dovro' aumentare i threads di Stockfisch, quantomeno ad 8, il che e' assurdo perche' piu' debole sara' la rete di Leela e piu' dovro' aumentare i threads di Stockfisch...

mmmm.gif
Sono una carota in cerca di sè stessa...
Giorno: 12/04/2021, 03:51:24
Link sponsorizzati
Giorno: 07/02/2021, 10:54:43
Hai perfettamente ragione, Carotino!

Il Rapporto Leela dovrebbe tener conto anche delle dimensioni della Rete utilizzata, ed essere ridotto o aumentato di conseguenza.

Inizialmente ci si riferiva alle Reti "classiche" di dimensione 20 x 256, ipotizzando (non so esattamente su quale base) che fosse la stessa utilizzata da AlphaZero nel match contro SF8.

Credo che i tester piu' incalliti dovrebbero tarare il RL su quelle Reti.

Oppure comportarsi pragmaticamente, come sostiene da sempre il nostro Masticone: macchine sempre a tutta potenza e che vinca il migliore ... sul nostro computer! biggrin.gifbiggrin.gifbiggrin.gif
"TB or not TB..."
Giorno: 07/02/2021, 11:11:53
biggrin.gifbiggrin.gif

Il rapporto Leela non dovrebbe esistere
E' come se un peso leggero volesse salire su un ring contro un peso massimo e non riesce a batterlo per via della stazza...
La soluzione logica e' aumentare di peso e diventare peso massimo, non costringere il massimo a boxare con una mano dietro la schiena per compensare

E' sbagliato proprio come principio

Sf e Lc0 usano hw diverso: se Lc0 e' ancora troppo lento bisognera' trovare un algoritmo migliore, se Sf sarà superato dalla combinazione di nuovo hw e metodo Montecarlo e' il nuovo che rimpiazza il vecchio, come sempre e' successo in tutte le cose
Giorno: 07/02/2021, 12:38:47
Continuo a ritenere che, se proprio si vuole ricercare un criterio di equita' in queste sfide, si debba ricorrere al valore commerciale delle soluzioni hardware adottate: la scheda grafica dovrebbe valere piu' o meno quanto il processore, eventualmente con l'aggiunta della sua scheda madre. Una differenza del 50% in piu' o in meno sarebbe ancora poca cosa, ma, evidentemente, una disparita' di un fattore 10 renderebbe la sfida del tutto insensata ...

ciao.gifciao.gif
"TB or not TB..."
Giorno: 07/02/2021, 13:41:24
No, non sono d'accordo
Automobili e moto servono per il trasporto persone, ma sono articoli diversi costruiti con materiali diversi con costi diversi e per utenti generalmente diversi
Con i soldi di una utilitaria da 150 km/h mi compro una moto da 300km/h biggrin.gif
Se voglio vedere chi mi da' meglio il brivido della velocità il paragone deve essere tra una moto 1000cc e una Bugatti, non con una panda!

Per me la soluzione migliore e' prendere per esempio la seconda o terza cpu per prestazioni rispetto alle altre cpu sul mercato e la seconda o terza gpu per lo stesso discorso indipendentemente dal loro costo (non la prima, che magari e' un hw particolare per scopi particolari)
Giorno: 07/02/2021, 14:56:18
Leela e' un esperimento e fin dalla prima uscita era chiaro che il Metodo Montecarlo e' troppo lento, un vero e proprio collo di bottiglia che nemmeno l'utilizzo delle piu' veloci gpu riesce a tamponare.

Se vogliamo testare le potenzialita' e i progressi del programma siamo costretti, almeno finche' non si trovera' un sostituto decente al Metodo Montecarlo, al famigerato Rapporto Leela, ma cosi' com'e' non ci siamo, specialmente se vogliamo testare reti di diverse dimensioni.
Bisognerebbe trovare un fattore correttivo da applicare al Rapporto, pensavo a delle posizioni standard con dei quiz tattici e/o posizionali, ma non saprei come trovare un fattore affidabile...
Sono una carota in cerca di sè stessa...
Giorno: 07/02/2021, 17:15:22
Stefan Pohl, che e' un tester molto scrupoloso e ci tiene a questi dettagli, utilizza la vecchia Rete 32930, una 20x256, come standard di riferimento per il calcolo del R.L.

Tiene poi conto del fatto che, a partire da Lc0 0.26.3 l'uso del CUDA 11.1 ha reso Leela piu' veloce di circa il 37% e prende quindi in considerazione quest'ulteriore fattore correttivo.

Non so se il buon Stefan lo faccia, ma per riprodurre il rapporto di velocita' a suo tempo usato dal mitico AlfaZero, ci sarebbe, secondo me, bisogno di utilizzare anche il vecchio SF8, visto che i nuovi NNUE sono alquanto piu' lenti.

Conclusione: un mal di testa pazzesco per chi volesse utilizzare correttamente questo fantomatico Rapporto Leela e, non potendo ovviamente rinnovare di volta in volta il proprio parco hardware per organizzare una sfida economicamente "alla pari" fra i due colossi, utilizziamo pure al meglio di cio' che abbiamo a tutta potenza, come ha sempre suggerito Masticone.

Pazienza, poi, se i risultati che otterremo, per noi che non vogliamo essere tester autorevoli come Stefan, varieranno da macchina a macchina.
Con un diverso repertorio di aperture e col solito fattore C... del resto, capiterebbe lo stesso, anche se riuscissimo ad avere un RL esattamente pari a 1.

La perfetta fusione fra la Relativita' Generale e la la Meccanica Quantistica che i fisici teorici ricercano da una vita! biggrin.gifbiggrin.gifbiggrin.gif

ciao.gifciao.gif
"TB or not TB..."
Giorno: 07/02/2021, 18:28:54
Molto interessante!

Come metodo empirico, io calcolo il rapporto Leela "standard" usando una delle ultime reti (384x30) e per le reti piu' piccole mantengo per Stockfisch gli stessi thread.
Sono una carota in cerca di sè stessa...
Giorno: 07/02/2021, 19:07:45
Naturalmente questo RL e' solo una convenzione, nata dal tentativo di riprodurre "in piccolo" le condizioni sperimentali del match fra AlphaZero e SF8.
Tuttavia e' una convenzione che ha ormai ampiamente preso piede fra le associazioni di rating, per cui giocoforza dovremo continuare a sopportarla! dho.gif

Il problema, secondo me, sarebbe quello di conoscere le reali dimensioni della Rete neurale utilizzata nel 2017 da AZ (si tende a dare per scontato che fosse una 20 x 256 ma, nell'articolo originale, non ricordo che ve ne fosse menzione).

Inoltre sarebbe interessante confrontare l'effettiva potenza di calcolo delle 4 schede tensoriali parallele utilizzate dalla Google DeepMind con quella di 4 fra le migliori schede grafiche disponibili oggi sul mercato, come le RTX 3080; puo' darsi che 4 di queste siano anche piu' potenti dell'hardware utilizzato 4 anni fa da AZ ... mmmm.gifmmmm.gifmmmm.gif

Infine sarebbe bello effettuare un triangolare fra AZ del 2017 e le ultime dev sia di Leela che di SF, per vedere se, e di quanto, sia migliorato l'approccio NN in questi 4 anni passando da AZ a Leela.

E' un vero peccato che il codice sorgente di AlphaZero non sia stato reso pubblico.
Eppure, a questo punto, i suoi sviluppatori non avrebbero piu' nulla da perdere ... mmmm.gifmmmm.gifmmmm.gif

ciao.gifciao.gif
"TB or not TB..."
Giorno: 07/02/2021, 21:00:29
Convenzione data da un assurdo, perche' AlphaZero giocava su HW megagalattico di google, Stockfish su un windows abbastanza scrauso biggrin.gif

Ha preso piede perche'...
...le reti neurali ed Lc0 sono "il nuovo che avanza" e, sotto sotto, molti tifano per Lc0 quindi non si pongono certe domande sull'equita' della sfida (almeno finche' favorisce il nuovo a scapito del vecchio)