Les tests comparatifs jumelles
Les tests comparatifs de jumelles et longues-vues sont-ils fiables ?
La rareté des magasins de jumelles et longues-vues présentant un choix suffisant et la très forte croissance des achats sur internet rendent le client désireux de pouvoir essayer "par procuration" des modèles qui l'intéressent mais qu'il ne peut tester lui-même. D'où la vogue des essais comparatifs publiés sur le net ou dans des revues spécialisées de nature, chasse, photographie, astronomie, tourisme...
C'est très intéressant, mais il convient cependant d'aborder ces comparatifs avec circonspection. En effet, ils ne sont pas tous sérieux ou fiables. Certains classements de jumelles émanent de l'accumulation d'avis disparates d'acheteurs et mélangent tout et n'importe quoi. D'autres comparatifs ne sont que de la publicité déguisée. Enfin, certains essais sont réalisés par des personnes de bonne volonté, mais pas du tout compétentes. C'est classique dans la presse écrite ou un pauvre journaliste se voit confier la mission de tester et comparer des instruments qu'il n'avait jamais tenus en mains auparavant...
Avant de faire confiance à un essai comparatif, il faut donc pouvoir séparer le bon grain de l'ivraie.
Les stigmates des comparatifs peu fiables
Dans bien des cas, ils comparent sans aucune mise en garde des jumelles de formats disparates et de catégories de prix différentes. Les critères d'évaluation et de classement ne sont pas précisés ou sont manifestement fantaisistes. Les résultats ne correspondent souvent pas du tout aux tendances qui ressortent des essais sérieux dont nous parlerons maintenant.
Les comparatifs sérieux
La première catégorie concerne des tests réalisés en laboratoire par des techniciens compétents. Il faut quand même rester prudent car certains ont de toute évidence été commandés par une marque. Il suffit au technicien, sans tomber dans le mensonge, de ne conserver que les résultats où les jumelles de son client se détachent, ou de les comparer avec des modèles de catégorie bien inférieure pour ne pas courir de risque. Les essais de laboratoire les plus sérieux à ma connaissance sont effectués par Allbinos, en Pologne. Ce ne sont pas des comparatifs, chaque modèle est essayé individuellement et se voit noté selon un procédé fixe et extrêmement strict.
Les comparatifs de la deuxième catégorie sont des essais pratiques approfondis menés par un spécialiste expérimenté, ou un petit groupe de deux ou trois spécialistes. C'est la manière de travailler de TopOptics pour ses comparatifs en bras de fer. Certains rares essayeurs réalisent leurs évaluations au cours de plusieurs mois d'usage. Chacun a ses manies et les résultats incorporent évidemment et inévitablement un certain degré de préférences personnelles.
La troisième catégorie est celle des essais collectifs, le plus souvent orchestrés par une association naturaliste ou une institution. Plusieurs dizaines de personnes plus ou moins expérimentées participent à la séance et le classement final des jumelles est la moyenne des résultats compilés. De manière générale, ces essais ne sont pas très "pointus" mais ils sont proches de la perception de l'acheteur-utilisateur moyen.
Les essais de laboratoire
Ils sont du plus haut intérêt puisqu'ils se basent sur des mesures précises et objectives. Mais des questions se posent cependant. Les paramètres mesurés ont-ils tous un impact réel dans l'usage pratique des instruments ? Des jumelles ayant 89% de transmission de la lumière sont-elles concrètement meilleures pour l'utilisateur que celles qui ont 86 % ? Les instruments de mesure perçoivent la différence, mais nos yeux le peuvent-ils ?
Et comment passer des résultats techniques à une notation globale, selon quelles priorités, avec quelles pondérations ? La subjectivité des organisateurs interviendra, même s'ils tentent d'être aussi objectifs que possible en passant par des protocoles rigoureux. Enfin, ces essais purement techniques ne tiennent pas compte d'éléments aussi importants que l'ergonomie, l'agrément d'usage, la qualité des accessoires, etc...
Les mesures de laboratoire ont l'avantage de l'objectivité et de la précision.
Bref, il faut garder une distance prudente par rapport aux résultats affichés. Si le modèle qui obtient 80% est assurément supérieur à celui qui en obtient 70, on peut se poser la question de l'influence des écarts expérimentaux et des interprétations pour des modèles dojt les résultats sont proches.
Ken Rosenberg et Jesse Barry de l'Université Cornell (USA) en plein travail comparatif... dans la bonne humeur !
Les essais de spécialistes
Qui sont ces spécialistes ? Des naturalistes, des chasseurs, des observateurs très expérimentés qui sont aussi souvent des vendeurs de matériel optique. Il faudra s'assurer qu'ils sont vendeurs multi-marques et que leur discours n'a pas de résonnance trop partisane.
Leur avantage est qu'ils se basent généralement sur des tests pratiques dans des conditions de terrain et que les personnes qui les effectuent savent de quoi elles parlent. En situation réelle, en observant des objets classiques, que peut-on dire de la définition de l'image, de la dégradation au bord, de la largeur de champ, de la précision de la mise au point, etc... ? C'est manifestement plus proche de la préoccupation de l'acheteur potentiel que l'aire sous-tendue par une courbe de transmittance ! De plus, ces essais incorporent des commentaires utiles sur le confort, l'équipement, etc... Mais les yeux de l'essayeur ne sont pas les vôtres, ses mains non plus, ni ses a priori ou ses attentes, et donc le classement auquel il aboutira ne sera pas forcément exactement celui auquel vous auriez abouti.
De nouveau, il faut conserver une distance et la preuve en est que, pour des modèles très proches en performances, le classement d'un spécialiste peut être différent de celui d'un autre. N'oublions pas non plus que, surtout dans les pays anglo-saxons, certaines personnes de référence, ornithologues ou chasseurs réputés par exemple, sont sponsorisées par l'une ou l'autre marque et qu'il n'est donc pas étonnant qu'ils la recommandent chaudement ! Ces personnes produisent d'ailleurs du publi-rédactionnel et non des essais comparatifs.
Les essais de groupe
Les essais de groupe sont généralement les plus "honnêtes" de tous par le simple effet statistique du nombre des évaluateurs. La question principale à se poser est : ces personnes sont-elles vraiment compétentes pour tester, différencier et classer valablement des paires de jumelles ? Il faut espérer que oui et les organisateurs suivent d'habitude un protocole d'essai simple et strict. Examinons cependant avec quel système de notation et de pondération le classement global est obtenu, car il y a parfois des surprises, à nouveau liées au fait que ces essais de groupes sont le plus souvent sponsorisés. J'ai ainsi repéré que les résultats d'un comparatif de groupe américain avaient été manipulés par l'organisateur en appliquant un facteur correctif personnel aux résultats collectifs afin de faire émerger un modèle de la marque (autrichienne) qui avait financé la séance mais qui n'avait pu se détacher de la concurrence... C'était discrètement signalé dans le texte mais... gardons l'œil ouvert !
Essai de groupe de l'association Audubon, USA
Comment utiliser les essais comparatifs ?
Sachant qu'aucun comparatif n'est parfait et ne pourra d'ailleurs jamais l'être, le mieux est d'en consulter plusieurs et de voir quelles tendances globales émergent. Les meilleures jumelles et longues-vues sont toujours en haut de classement, même si leur position exacte peut légèrement varier selon les critères de comparaison employés, les pondérations pour obtenir une note globale, les préférences des essayeurs, etc...
La majorité des essais se déroulent aux USA. Les modèles les plus fameux sont présents sur tous les marchés et sont donc repris dans les essais comparatifs américains. Un essai en haut de gamme qui "oublierait" Leica, Swarovski ou Zeiss, et de plus en plus Nikon, ne serait guère crédible. C'est plus compliqué pour les modèles de milieu de gamme, et davantage encore pour les modèles économiques car les différences entre le marché nord-américain et le nôtre sont plus importantes. Concrètement, les marques incontournables chez eux ne le sont pas forcément chez nous et vice-versa. On peut donc se retrouver avec des comparatifs qui négligent des modèles réputés chez nous et mettent en avant des marques qui nous semblent exotiques.
TopOptics écume sans cesse la toile afin de repérer les essais comparatifs intéressants et fiables de jumelles et longues-vues et vous en fournit une synthèse commentée dans sa rubrique comparatifs.