cromoses
[DC] Des stats sur le DC
le 13/11/2020 15:39
Bonjour à tous,

Joueur de longue date (de l'époque où l'on discutait du format sur feu-MT), je lis régulièrement les forums et une chose est certaine: les impressions et "match up ressentis" varient fortement d'une personnes à l'autre.. Chacun y va de son analyse (e.g. "Y est trop fort", "X polarise le format", "la capacité Z étouffe aggro", etc) mais dans les faits, les seuls "données" a disposition de la communauté sont les top 8 publiés (dont les gros tournois ne sont pas légions et dont on ne connait finalement que l'issue, mais pas les parcours) et les partages de tests "maison" (report, playstests, etc)... c'est loin des winrates ou match up disponibles dans d'autres format.

En ce sens, nous avons développé ces dernières semaines le projet suivant:

%E Objectif: Disposer d'un outil collaboratif pour produire des statistiques fiables sur notre format favori. En l'échange d'un investissement personnel minimal de l'ensemble de la communauté internationale, nous pourrons partager des informations sur les match up et winrate en DC.

%E Comment ça marche: Chaque joueur, via une application (accessible ici: https://www.duelcommanderstats.com ), enregistre ses résultats ([commander 1] VS [commander 2], [score], [type of event]). Ca ne prend que 10 secondes par partie !!!

Les premiers feedbacks sont super encourageants et nous avons déjà des utilisateurs enregistrés des Etats-Unis, de France, du Pérou et de République tchèque ! :-)

Si jamais pour garder la peche pendant ce confinement vous prévoyez de jouer en ligne, n'hésitez pas à enregistrer vos résultats et à nous faire part de vos commentaires. Bon matchs' et prenez soin de vous ! ;-)
haut de page - Les forums de MV >> Commander >> Discussion : page 1 | 2
Isakami
Lyon Team Trashtalk, France

le 13/11/2020 15:44
Ah putin !

C'est toi qui m'a envoyé un mp sur Facebook ?

" J'ai vu que tu n'aimais pas le format" ! Euh sisi je l'adore :D
xbod
Modérateur section EDH
Géant
le 13/11/2020 15:49
Très bonne initiative !

Deux questions:

Quel moyen sont déployé pour éviter le flood de données ainsi que le trucage des résultats ?

Qu'en est-il du fait que le format est très centré autour des META locaux ?
Y-a-t-il une distinction entre les partie Virtuelle (Xmage/Coka) et les partie IRL ?
Cette dernière question repose sur mon interrogation sur l'analyse des facteur mathématique lié a des logiciel qui applique un Hazard différent de celui vécu en vrai.
cromoses
le 13/11/2020 16:30
Merci pour les premiers feedbacks aussi rapides. Je réponds pendant que j'ai 5 minutes. :-)

Nous sommes plusieurs personnes impliquées, et nous parlons à beaucoup de monde (on se réparti les langues selon nos facilités) donc je ne pourrais pas répondre aux questions individuelles: Je n'en ai honnetement aucune idée.

Concernant les questions sur l'appli:

Quel moyen sont déployé pour éviter le flood de données ainsi que le trucage des résultats ?

C'est une bonne question, qui nous a était posé plusieurs fois dès les premiers contacts. Nous prévoyons l'usage de différents filtres, et différentes façon de calculer les scores moyens. Ayant dans l'équipe deux habitués des "big data", dont un dont le travail lui demande régulièrement d'identifier et d'éliminer des outliers (qu'on appelerait ici "des trolls" :-D) avant de procéder à des modélisations. Nous pensons donc que cela ne posera pas de problème et que si trolls il y avait, ils perdraient juste leur temps sans même le savoir. Mais pour être positif : Pour l'instant, les gens sont super pros, plein d'entrain et semblent jouer le jeu.

Qu'en est-il du fait que le format est très centré autour des META locaux ?

C'est une super remarque. Nous demandons aux joueurs lors de l'inscription d'indiquer leur "localisation". Il sera possible de faire des stats globales ou locales. Toute demande de la communauté pourra être testée à terme (moyennant un nombre de données sufisantes). Nous prévoyons de réaliser une série de tests dit "de validité", pour assurer la représentativité des données.

Ensuite, en réponse aux deux questions ci-dessus: nous prévoyons de rendre publique non pas seulement les résultats mais aussi les analyses pour que chacun puisse faire des suggestions d'amélioration.

Y-a-t-il une distinction entre les partie Virtuelle (Xmage/Coka) et les partie IRL ?
Cette dernière question repose sur mon interrogation sur l'analyse des facteur mathématique lié a des logiciel qui applique un Hazard différent de celui vécu en vrai.


Pas pour l'instant. Nous conservons cette idée sur un "bloc note virtuel" pour d'éventuelles futures mises à jour. Merci en tout cas pour la suggestion. Mais si c'est la façon dont est gérée l'aléatoire qui change (de manière générale), je ne vois pas bien ce que l'on apprendrait du point de vue du format. Je n'ai peut etre pas bien saisie la question.

Merci encore pour l'enthousiasme !
lhf
le 13/11/2020 16:47
GG mec, bonne idée. Ca fait plaisir.
jonaysha
le 13/11/2020 17:22
On est d'accord que le lien ne sert que pour les tournois ? les matchs amicaux ou en ligne ne sont pas pris en compte ? ( même si la construction des decks à pour finalité des matchs compétitifs )
Martialalt
Team cafard
le 13/11/2020 17:44
C'est une super idée, et une super initiative! Je serais ravi me mettre mes résultats de tournois (je note chaque score des parties que je joue en DC pour faire mes mini stats de mon coté).
Eichimaru
Bretagne, France
le 13/11/2020 17:55
Quid des différentes versions d'un même deck ? par exemple certains généraux peuvent servir à plusieurs archétypes.
Onesauk
le 13/11/2020 17:56
Tout comme Martialalt, d'ailleurs, j'ai des stats depuis 2 ans que je peux également rentrer s'il y a la possibilité de revenir en arrière :)
ZeSword
Bruxelles, Belgique

AVATAR
le 13/11/2020 18:45
Ce qui est génial, c'est que personne ne demande jamais aux grosses boîtes ni ce qu'elles font pour la sécurité de leurs données (merci l'appli des hôpitaux français avec le gros bug de sécurité qui a fait perdre des tas de fichiers aux hôpitaux concernés), ni pour la fiabilité de ce qu'elles proposent (merci le gros troll sur deckcheck / mtgtop8 poussant à l'envolée de Dramatic Entrance, cf. ce lien), mais quand c'est un petit truc maison, direct, le premier truc qu'on vient dire, c'est "non mais z'êtes sûrs que c'est sérieux ? y'a trop moyen de vous baiser, non ?".

C'est drôle parce que justement, ce sont toujours les petites structures qui font mieux le travail, justement parce qu'elles savent qu'elles vont avoir un déficit de légitimité. Et c'est toujours les grosses boîtes qui finissent par faire des tas de saloperies. Mais on continue d'acheter sur Amazon, iTunes, Google, etc., et on continue de cracher sur le commerçant du coin parce que bon, on ne sait pas, on a eu l'impression qu'il avait gratté de quelques centimes sur tel ou tel prix...

Ah oui, pardon : bravo pour l'initiative.

/retourne dans sa cave
cromoses
le 13/11/2020 21:20
Rebonjour,

Merci pour ces nouveaux retours toujours aussi motivés ! :-)

A nouveau, je réponds aux différentes questions:

On est d'accord que le lien ne sert que pour les tournois ? les matchs amicaux ou en ligne ne sont pas pris en compte ? ( même si la construction des decks à pour finalité des matchs compétitifs )

Nous avons prévu une option à sélectionner au moment de la saisie des scores: il faut choisir entre "casual" ou "tournoi". Il est donc possible (et même recommandé ! ;-) ) d'y enregistrer vos matchs entre amis / playtests. Par contre même si vous jouez "compétitifs", il faut biensur sélectionner "casual".

Quid des différentes versions d'un même deck ? par exemple certains généraux peuvent servir à plusieurs archétypes.

C'est une bonne remarque pour laquelle nous n'avons pas encore de recul (Je l'ajoute également à notre "pense-bête", voir plus haut). Pour l'instant, dans la plupart des cas il me semble que connaitre la performance d'un général sera déjà une grande avancée (et suffisante dans la plupart des cas, les généraux pouvant être joués dans différentes optiques de façon compétitive ne représentant pas la majorité des cas).

Pour Martialalt et Onesauk, à la question générale "puis-je encoder toutes mes données passées" ?

Oui, c'est techniquement possible et même une bonne idée. :-)
De façon à assurer à 100% que vos données (s'il s'agit d'un gros stock) ne soient pas filtrées à tort (voir plus haut), n'hésitez pas à nous envoyer un petit mp avec le pseudo que vous utilisé respectivement sur l'appli pour qu'on puisse surveiller ça et que toute l'équipe soit au courant (je vous mets ici un lien vers la page facebook pour les mp: https://www.facebook.com/DCStats ).

Encore un immense merci pour l'accueil que vous faites à ce projet, et du coup, à très vite pour des news ! ;-)
lablaisaille
modo Rum/MA/Sto


FORCE
le 13/11/2020 22:34
Excellente initiative !
le biais principal dans vos stat' risque de venir du niveau des joueurs.
Ou alors il faudrait que vous pondériez les victoires d'un commandant en fonction du winrate du joueur.

En tout cas j'ai créé mon compte, et je noterai mes résultats avec plaisir !

Bravo à vous !
SilvosSolitaire
le 13/11/2020 23:44
Hello,

Très chouette initiative, indeed. Ne serait-ce que pour la discussion technique sur comment obtenir des données les moins biaisées possibles.
Un des trucs qui pourrait être intéressant, c'est d'attribuer un "poids" à chaque match enregistré selon divers critères.
Exemple purement indicatif : note sur 100 du match :
Enjeux : 70 si gros tournois, 40 si petit tournois, 15 pour match d'entraînement à un tournois (il y a des teams qui font un gros boulot), 5 pour un match amical.
Renommée des joueurs : 15 si les deux joueurs sont des habitués des tops 8, 10 si un gros joueur ou deux ayant déjà perfé, 5 si un joueur a déjà perfé, 0 entre deux randoms (rien d'insultant, selon ce filtre je suis moi-même un random :p)
Distance temporelle : 15 si le match date de moins de 3 mois, 0 s'il date de 3 à 6 mois, -10 s'il date de 6 mois à un an, -20 au-delà.


Du coup ça donnerait 100 points pour la finale Justo-Moondust du dernier gros tournois, et 5 points pour un match amical entre deux potes il y a 5 mois (mais s'il y en a des centaines ça apportera une vraie richesse de données, que les tournois trop peu nombreux ne suffisent pas à fournir). 55 pour deux randoms sur un tournois récent, 45 pour deux cadors qui s'entraînent à un tournois.

Concernant la "distance temporelle", je pense que ce point est essentiel pour ne pas donner des visions trop faussées, un méta ça évolue très vite. En ce sens, pour ceux qui mettraient des données historiques, ne remontez pas trop loin. Pour illustrer : un Queen Marchesa dans un méta très swarm/agro va devoir rentrer pas mal d'antibêtes, il aura un match-up moyen contre contrôle. Dans un méta plus lent, il sera bien plus à l'aise face à contrôle, moins de cartes mortes. Dans l'idéal, vu que vous avez l'air de bien maîtriser les bases de données, le poids du match rentré décroîtrait tout seul dans les bases à mesure que le temps passe.

Mon système ne propose pas de distinction selon les métas locaux. Ce serait chouette, mais je crains qu'il n'y ai pas assez de données pour se permettre ce type de distinction. De plus, les gros joueurs se bougent pour les gros tournois (les match qui compteraient le plus), donc ça limite l'effet géographique.

En revanche, on peut peaufiner de plein de manière, genre bonus +10 pour les matchs de top8 (parce qu'on suppose que ces decks on des chances d'être plus représentatifs du méta), ou tout autre critère qui vous viendrait à l'esprit.

Bon courage pour ce beau projet !
cromoses
le 14/11/2020 14:45
Hello,

Merci encore pour l'engouement et pour ces différentes suggestions concernant la pondéreration des résultats (par les winrates des joueurs, le temps, etc). Ultimement, plusieurs alternatives pourront être envisagées. Cependant (et cela répond aussi à la remarque "le biais principal dans vos stat' risque de venir du niveau des joueurs") tout est fonction de la quantité de données à disposition. Au plus, au mieux. C'est malheureusement les données qui imposeront la plupart des contraintes (et elles risquent d'être importantes au lancement). Plus il y aura d'utilisateurs réguliers et plus il sera possible de produire des analyses intéressantes.

Une note d'espoir cependant : si chaque personne intéressée arrive a convaincre son cercle d'amis à utiliser systématiquement l'appli, on devrait pouvoir générer de gros pools. Et puis, semblant de rien, ça offre aussi à chaque joueur un historique de tous ses matchs. Ca peut être sympa même pour soi ! (A noter qu'une même partie peut être rentrée par les deux joueurs [e.g. en tant que 1/2 pour l'un et 2/1 pour l'autre], ça ne posera pas de problème, c'est même mieux).

D'ici là, nous on continue de faire un peu de com' internationale, pour avoir des viviers de données depuis toutes les communautés. Et d'ailleurs, si vous avez des contacts ou des bons tuyaux, n'hésitez pas à nous le faire savoir ou à faire de la pub. Tout seul on va plus vite, mais ensemble on va plus loin ! ;-)
Akamayu
le 14/11/2020 18:21
Bravo pour ce projet, les perspectives sont séduisantes, ça fait longtemps que je rêve d'avoir accès un jour à des données statistiques et donc relativement objectives de winrate par matchup. Bien sur l'affinage des données sera important avant de parvenir à avoir de bonnes estimations, mais comme tu l'as dit, le premier gros pas à franchir sera surtout la collecte de beaucoup, beaucoup de données.

Je joue personnellement pas mal sur xmage en ce moment, pas énormément de joueurs en DC mais une petite communauté stable et régulière, et je suppose que plusieurs matchs de DC sont joués tous les jours. D'où l'idée peut-être de poser la question aux développeurs s'il serait par hasard possible pour vous d'avoir accès aux résultats des games en DC ? je n'ai aucune idée de la faisabilité de la chose, mais xmage prenant en compte les règles de Magic (contrairement à cocatrice par ex), il n'y a pas vraiment de possibilité de tricher et du coup les données seraient relativement fiables (si on exclu bien sur les écarts de niveau des joueurs, les éventuels problèmes de connection, les bugs sur certaines cartes bien sur, mais c'est relativement bien mis à jour je trouve, surtout pour une équipe de bénévoles). C'est vrai aussi qu'il y a un peu tout et n'importe quoi en ligne, ça reste très casu, mais beaucoup de joueurs sérieux quand même, ça peut-être un moyen d'accumuler rapidement, facilement et régulièrement de gros paquets de données.

En tout cas merci pour l'initiative, moi j'adhère direct, bonne chance à vous (et bon courage pour les analyses ;)
lablaisaille
modo Rum/MA/Sto


FORCE
le 15/11/2020 0:54
J'ai voulu renseigner ma soirée spelltable, mais le pote jouait Armix, rudoyeur de filigrane, et il n'est pas dispo dans les généraux sélectionnables !
zankou60
le 15/11/2020 10:14
il parait normal que les généraux pas encore légal ne soient pas sélectionnables. (Même si il y a une idée a creuser car ca reste des statistiques de brew en général)
Toufmade
A force de niquer ma vie, j'ai fini par trouver l'pointG

le 15/11/2020 10:55
Citation :
Qu'en est-il du fait que le format est très centré autour des META locaux ?
Y-a-t-il une distinction entre les partie Virtuelle (Xmage/Coka) et les partie IRL ?
Cette dernière question repose sur mon interrogation sur l'analyse des facteur mathématique lié a des logiciel qui applique un Hazard différent de celui vécu en vrai.


Citation :
Techniquement, un algorithme ne peut pas générer de phénomènes aléatoires car il est déterministe, il peut seulement générer des résultats très difficilement prévisibles et en apparence aléatoire et c'est bien sûr le cas des algorithmes utilisés sur les plateformes de jeux online comme MTGO ou Cockatrice. Ces algorithmes sont suffisamment performants pour être considérés comme "suffisamment aléatoires". Nous verrons plus loin qu'il existe un moyen de mesurer ce "suffisamment". Quoi qu'il en soit, toute forme d'injustice de la part des joueurs jouant sur ces plateformes et se plaignant de mana full ou mana death trop fréquents n'est rien de plus que le fruit d'un biais cognitif.


Merci d'arrêter de dire du caca sur le mélangeur de cockatrice. En réalité, il y a quasiment aucun écart (j'ai déjà fait des séries de 300 goldfish IRL et sur cocka -> l'écart est très faible, en réalité).

Ou alors, si tu as constates un réel écart entre cocka et l'IRL (genre sur des séries d'une 100aine de game), c'est soit que tu triche, soit que tu ne sais pas mélanger.

Mais il n'y a aucune raison de considérer différemment les résultats issus de cockatrice/mtgo/xmage de ceux IRL (enfin pas par rapport au mélangeur).

Je t'invite à relire cet excellent article de Z33
Transistor2441
Blois, France
le 15/11/2020 11:45
bonjour, très bonne initiative !

est-il possible/prévu d'accéder à l'ensemble des données des utilisateurs ? (pas seulement les nôtres)

serait-il possible de pouvoir saisir la date du match et permettre de faire les stats sur une période donnée ensuite ? (quelle banlist était applicable, nouvelle extension etc)

est-il envisageable de saisir la classification des decks ?
lhf
le 15/11/2020 11:49
Citation :
En réalité, il y a quasiment aucun écart


Il y en a aucun même.
Le seul souci est qu'on ne sait pas mélanger ( a la main) correctement, chose qui est d'ailleurs absurde. Il est conceptuellement impossible d'avoir une technique pour mélanger aléatoirement.

Les algo pour mélanger un ensemble d'objet sont connu depuis très longtemps, ils sont performant et bien mieux foutu que ce qu'on peut faire à la main. En prime, ca demande rien au proc de ton PC. Il n'y absolument aucune raison pour que cocka, arena et cie utilisent un mauvais algo (sauf pour les attardés mentaux qui voient des complots partout). Donc si vous avez des mauvaises mains sur ces logiciels, vous êtes juste mauvais et vous trichez irl.

Donc bon, les games sur cocka, xmage et cie sont tout à fait acceptable pour rentrer dans les stat. Elles ont en plus l'avantage d'enlever la barrière du cout des cartes.

l'article link est vraiment pas mal, surtout go lire la conclusion.
Toufmade
A force de niquer ma vie, j'ai fini par trouver l'pointG

le 15/11/2020 11:57
Bha l'écart est dû à la marge d'erreur classique possible entre 2 séries statistiques.
Concrètement il y a un écart. Même s'il rentre totalement dans la marge d'erreur
haut de page - Les forums de MV >> Commander >> Discussion : page 1 | 2
Vous devez être identifié pour pouvoir poster sur les forums.