J'aimerai qu'on discute un peu des outils d'analyse de code, si vous me le permettez.
Pour commencer, je trouve que faire ça est une bonne idée, et je n'ai absolument rien contre. Ce qui me fait par contre plus douter, c'est le comportement des deux outils de monitoring actuel, coveralls et landscape.
Parlons de coveralls, pour commencer. Depuis peu, nous somme gratifié d'un magnifique 47% de couverture. En cause ? Une petite PR de rien du tout qui, fait son job et qui ajoute un nouveau TU. C'est pas moi qui le dit, c'est Travis. On dirait qu'il vient de se rendre compte que le module article existe, que sa couverture est dégueulasse (ah bon ?) et ça, ça à l'air de nous coûter 32% presque gratuitement. Ouch
Mais de manière générale, je ne pige pas bien quand coverall s'active: des fois on un un message qui nous explique qu'on vient de mettre en l'air la couverture (en prenant pour référence l'état actuel de dev, je crois), des fois on peut faire 3 commits sans en avoir la moindre nouvelle. On dirait qu'on en à plus de nouvelle de ces temps-ci, mais je peux sortir une liste de PR ou coveralls n'est jamais passé (les dernières PRs de firm1 sont de bon exemples).
Quand à landscape, c'est différent. Selon lui, nous sommes à 90% de santé. Bien. Ce qui m'étonne un peu plus avec lui, c'est que des fois il tente de vérifier la santé avec la branche de dev ET la branche de release, va savoir pourquoi (par exemple ici et le post juste en dessous), puis ce que je ne comprend pas non plus, c'est qu'il arrive à trouver des problèmes et des solutions dans des PRs qui changent uniquement les templates, alors que c'est absolument pas son domaine (et c'est pas le seul exemple, c'est pas un cas isolé). Puis, par exemple, landscape trouve des solutions à ces propres problèmes tout seul (← le lambda fautif est toujours là, c'est juste qu'il n'as plus l'air de poser problème).
Bref, quand je vois tout ça (et ça fait un certain temps que je le vois, c'est pas soudain), je suis un peu étonné des réponses données par de tels services. Une fois encore, j'en comprend l'intérêt, mais si c'est pour changer d'avis à chaque commit (et parfois de manière assez abrupte, comme j'ai pu le montrer), que valent-ils ? Est ce que voir un "380 new problems were found" ou "Coverage decreased (-18.3%)" est inquiétant ou juste un "hoquet" du système qui se rend compte qu'il avait pas regardé à tout ?
Bref, voilà un peu mes remarques et questions. À vous