Le match GPS 2015

Dans la continuité du match GPS 2014, j’ai planifié le match 2015 à la même période de l’année. Le but de ce test et de voir globalement quelle est la performance de la mesure GPS des principales montres et compteurs de sport sortis dans l’année, pour la plupart testés sur le site.

Pour ce match GPS 2015, les appareils du tableau ci-dessous ont été testés. Chaque appareil a été mis à jour avant le premier test puis a été laissé dans cette version de firmware pour toute la durée du test.

Appareil	Version firmware	Lien du test nakan.ch	Lien amazon.fr
Sunnto Ambit3 Run	2.0.4	Le test	Lien
Garmin Vivoactive	3.20	Le test	Lien
Garmin fénix 3	4.90	Le test	Lien
Garmin Forerunner 920XT	5.20	Le test	Lien
Garmin Edge 520	3.00	Pas encore publié	Lien
Polar M400	1.6.4	Le test	Lien
Polar V800	1.6.2	Le test	Lien
Polar V650	1.2.4	Le test	Lien
Polar M450	1.0.4	Le test	Lien

La procédure de test est inchangée par rapport à l’édition 2014, à savoir que les montres et compteurs ont été montés sur une roue de géomètre, et j’ai arpenté différents parcours pour mesurer la performance de mesure GPS des appareils dans les conditions décrites par le test en question. Ce match est constitué de 3 tests.

Le protocole de test

Dans tous les cas, la procédure suivante a été suivie pour assurer que le test soit le plus consistant possible:

1. Les montres et compteurs ont été configurés comme souhaités.
2. L’auto-pause est désactivé
3. Aucune calibration de l’altitude n’est effectuée, en aucun cas.
4. L’enregistrement est configuré à la seconde pour les appareils qui le supportent
5. Les appareils sont chargés au moins à 80%
6. Les appareils sont fixés sur le support de la roue, dans un ordre aléatoire, sauf les compteurs dont le support est fixé en bas.
7. Les appareils sont allumés et accrochent le GPS. J’attends encore 30 secondes après l’accroche du dernier appareil pour lancer le test.

Ce dernier point est nécessaire pour que tous les appareils atteignent le niveau de précision le plus élevé possible. Dans la course à la vitesse de l’accroche GPS, certains appareils annoncent avoir accroché le GPS mais ont un précision qui est mauvaise à ce moment. Quelques secondes de plus, et le nombre de satellites utilisés augmente, et la précision devient meilleure!

Après le parcours de test:

1. L’enregistrement est lancé dans le même ordre que l’arrêt à la fin du parcours (la montre lancée en premier est également arrêtée en premier).
2. La distance, D+, D-, température reportée est celle de l’outil fourni par l’éditeur (Garmin Connect, Polar Flow et Suunto Movescount). Le fichier TCX est également exporté directement depuis ces outils.
3. La température reportée est celle des dernières secondes du test, alors que les montres ont évolué depuis au moins 15 minutes et que la température est normalement stabilisée.

Le test 1

Ce test est effectué sur une boucle de 3.8 km en forêt, sous une couverture moyenne. Les arbres sont moyennement denses, et en automne, il y a moins de masse de feuilles.

Toutes les montres sont configurées dans ce test pour n’utiliser « que » le GPS (et le GLONASS est donc désactivé sur les montres qui le supportent). Ce test est également intéressant dans l’analyse de la courbe d’altitude car le parcours est assez vallonné.

Voici les données mesurées dans le test 1 (classés par ordre de précision):

Montre / Compteur	Distance	D+ (m)	D- (m)	Température	Lien activité
Mesure réelle	3.80
Suunto Ambit3Run	3.80	84	91	-	Lien
Polar V800	3.78	55	140	9.8°C	Lien
Garmin Edge 520	3.76	77	77	6°C	Lien
Polar V650	3.76	60	75	-	Lien
Garmin Forerunner 920XT	3.75	76	76	-	Lien
Polar M450	3.74	70	75	9.7°C	Lien
Polar M400	3.74	75	80	-	Lien
Garmin Vivoactive	3.73	59 (1)	59 (1)	-	Lien
Garmin fénix 3	3.88	76	77	10°C	Lien

Interprétation des résultats: de grosses différences entre les montres. On constate ici que les Polar M400 et M450, équipés de chipset ublox ont des résultats moins bons que la V800 dotée d’un chipset SIRF plus vieux mais tout de même plus précis. Chez Garmin, toutes les montres utilisent un chipset Mediatek (mais la référence n’est pas identique sur chaque montre) et les résultats sont variables (mais globalement insatisfaisant). Alors que toutes les autres montres ont sous-évalué la distance, la fénix 3 a elle mesuré 80 mètres de plus. Enfin, la Suunto Ambit3 Run ne présente pas la trace la plus propre, mais elle a été la seule à mesurer une distance exacte!

La trace des différentes montres peuvent être comparée ici. Notez que l’outil MyGPSFiles interprète différemment les données d’altitude de trace pour calculer la distance, d’où une différence dans la mesure. Mais là, c’est la comparaison du tracé qui nous intéresse.

On note des écarts et des imprécisions sur certaines parties du parcours, relativement généralisés. Mais globalement, la qualité semble meilleure que lors des tests de 2014:

La mesure de l’altitude sur ce test est également intéressante. On constate que la courbe est relativement proche au niveau de la forme pour tous les appareils mais le calibrage de base varie.  La première partie de celle de la V800 qui est complètement à côté, avant de reprendre des données plus correctes:

Le test 2

Ce test a consisté en un aller-retour de 1.6km en partie en forêt, en partie en terrain découvert. J’ai effectué ce test dans le but de comparer les montres supportant le Glonass, et de voir si le fait d’activer cette technologie offrait une réelle différence. L’aller a été effectué avec le mode GPS normal, et le retour en mode GPS + Glonass pour les appareils qui le supportaient (les Garmin, en fait). Le tableau ci-dessous intègre donc ces données. Les montres qui ne supportent que le GPS (Polar et Suunto) n’ont été utilisées que pour le retour. Enfin, un défaut d’enregistrement de la trace aller de la 920XT fait que seule la trace retour (GPS + Glonass) est disponible pour cette montre:

Montre / Compteur	Distance test2a/test2b	D+ (m)	D- (m)	Température	Lien activité
Mesure réelle	1.60 / 1.60
Garmin fénix 3	1.60 / 1.58	14	5	11°C	Lien 2a | Lien 2b
Polar V800	1.59	15	0	10.4°C	Lien
Polar M450	1.59	10	0	9.6°C	Lien
Polar V650	1.61	10	0	-	Lien
Garmin Vivoactive	1.59 / 1.58	22	7	-	Lien 2a | Lien 2b
Suunto Ambit3Run	1.62	7	0	-	Lien
Garmin Edge 520	1.58 / 1.58	12	6	6°C	Lien 2a | Lien 2b
Garmin Forerunner 920XT	NA / 1.58	13	5	-	Lien 2b
Polar M400	1.58	20	0	-	Lien

Interprétation des résultats: Hormis la comparaison GPS / Glonass ci-dessous, on voit sur ce test que toutes les montres affichent un niveau de précision acceptable et plutôt homogène, étant toutes dans une fourchette de +/- 20m.

On constate sur les trois appareils GPS + Glonass (Garmin Edge 520, Garmin Vivoactive et Garmin fénix 3) que la trace distance en GPS uniquement était plus précise. Ci-dessous, comparaison des deux traces de chaque montre ou compteur pour les comparer. Dans les traces, celle notée « T2a » est en mode GPS uniquement (trace en bleu foncé), « T2b » en mode GPS + Glonass (trace en violet).

La Garmin fénix 3

Comparatif GPS / GPS + Glonass pour la Garmin fénix 3

La fénix 3 a été plus précise dans la mesure de la distance sans le Glonass. L’activation du Glonass a très légèrement rendu la trace plus « propre », mais sans que cela ne soit flagrant. Voici une capture d’une des zones intéressante du comparatif:

La Garmin Vivoactive

Comparatif GPS / GPS + Glonass pour la Vivoactive

Même constat que pour la fénix3: meilleure mesure sans Glonass qu’avec. Quand on zoome sur les traces, on constate que la trace bleu foncée (GPS uniquement) est plus proche de la route que celle avec le Glonass:

Notons encore pour la Vivoactive que le temps d’enregistrement est automatique (et pas à la seconde) donc que naturellement, la trace est moins précise que pour les autres montres.

Le Garmin Edge 520

Comparatif GPS / GPS + Glonass pour le Edge 520

Encore une fois, pas d’évidence claire que le Glonass améliore la précision ou la qualité de la trace du 520:

Sur la partie affichée ci-dessus, on constate même que la qualité de la trace GPS uniquement est meilleure que la trace GPS + Glonass (plus proche du chemin).

Conclusions sur la pertinence d’activer Glonass

Au vu des trois exemples ci-dessus (une erreur avec la 920XT m’empêche de vous proposer la comparaison pour cette montre), vous imaginez bien quel est mon avis sur le Glonass… J’étais déjà peu convaincu par cette option avant, ce test  vient confirmer mon impression: rien n’indique que Glonass améliore d’une quelconque manière la précision de nos montres et compteurs. Par contre, une chose est sûre: la consommation d’énergie augmente en l’activant, et naturellement l’autonomie diminue.

Donc ma recommandation reste la même: Glonass n’apportant rien de tangible, il est inutile dans la plupart des cas de l’activer.

Le test 3

Le dernier test est effectué sur une boucle de 2.5km en terrain découvert. C’est normalement le test sur lequel les montres doivent indiquer à peu de choses près la distance exacte. Les montes supportant Glonass étaient activées avec ce mode.

Montre / Compteur	Distance	D+ (m)	D- (m)	Température	Lien activité
Mesure réelle	2.50
Polar V650	2.50	20	25	-	Lien
Polar V800	2.50	20	20	10.3°C	Lien
Polar M450	2.50	20	25	10.3°C	Lien
Polar M400	2.50	15	15	-	Lien
Suunto Ambit3Run	2.49	21	21	-	Lien
Garmin Edge 520	2.49	32	28	7.0°C	Lien
Garmin fénix 3	2.49	28	27	10.0°C	Lien
Garmin Forerunner 920XT	2.49	32	27	-	Lien
Garmin Vivoactive	2.48	16	18	-	Lien

Interprétation des résultats: Toutes les montres indiquent une distance correcte, à +/- 10m. Seule la Vivoactive est un peu moins précise, elle a sous-évalué la distance, probablement à cause du fait que l’échantillonnage automatique a tendance à « couper » les virages par rapport à l’échantillonnage à la seconde.

La comparaison de traces du test 3 est disponible ici.

Enseignement de ce test: en conditions de réception GPS optimales, toutes les montres présentent des résultats identiques. Ce sont donc dans des conditions moins bonnes (sous-bois, environnement urbain etc..) que l’on pourra noter des différences.

Il est également important de noter que dès que cela est possible, il faudra passer l’enregistrement des points GPS à la seconde plutôt qu’en mode « intelligent » ou « automatique ». Cela diminuera certes un peu l’autonomie du dispositif et génèrera des fichiers plus gros, mais donnera en finalité une précision bien meilleure et une trace plus fidèle.

Tests annexes

Mesure de la température

On trouve des disparités dans la mesure de température des montres qui incluent cette mesure, mais elles restent globalement toutes dans une fourchette de +/- 1.5°C, ce qui ne devrait pas être un problème pour ce type d’utilisation. Toutes sauf le Edge 520 qui a mesuré des données complètement à côté (présentant systématiquement 3 à 4°C d’écart par rapport aux autres sur tous les tests). Il est fort possible que l’étalonnage du capteur soit à l’origine de ce problème, reste à savoir si c’est un souci sur un modèle unique ou plus généralisé (série voire modèle).

Mesure de l’altitude

Il faut déjà bien faire entre trois catégories de mesure de l’altitude:

• La mesure GPS + altimètre barométrique (sur la V800, le M450, le V650, la FR920XT, la fénix 3 et le Edge 520). Le système utilise le GPS pour calculer l’altitude du point de départ et faire des pointages durant l’activité (le fonctionnement exact diffère d’un appareil à l’autre), et utilise un altimètre barométrique (qui mesure la pression atmosphérique) pour les changements d’altitude durant l’activité. C’est la solution la plus fiable en général, du moins lorsque la météo est stable. Un brusque changement de temps (passage d’un orage, changements de température etc..) auront un impact sur le pression atmosphérique et donc sur la mesure de l’altitude.
• La mesure GPS non corrigée. Parmi les autres montres, la mesure durant l’activité est uniquement basée sur l’altitude GPS. Elle est moins précise que l’altitude barométrique, mais n’est pas impactée par les changements de météo. La marge d’erreur peut atteindre de 10 à 30 mètres en fonction de la qualité du signal GPS disponible
• La correction avec les données topographiques. Cette correction peut être effectuée pour les deux types de mesure ci-dessus. En gros, on prend la trace GPS et on l’applique sur une base de cartographie (Google, Bing, OSM ou autre). Par les données d’altitude de ce service de cartographie, on créé une courbe d’altitude qui ne se base plus sur les données enregistrées par la montre. Cette technique est celle qui est utilisée par défaut par les montres Garmin qui n’incluent pas d’altimètre barométrique (Vivoactive).

Le test le plus utile pour cette comparaison est le premier, les autres tests étant effectués sur des parcours relativement plats.

FAQ sur le match GPS 2015

Q: Pourquoi avoir intégré la Polar V800 et la Garmin Forerunner 920XT au match GPS 2015, alors qu’elles ont déjà participé au match 2014 ?

R: Parce que ces montres sont toujours les derniers modèles proposés par Polar et Garmin dans leurs gammes respectives, et qu’elles n’ont pas encore été remplacées.

Q: Pourquoi les distances affichées dans l’outil MyGPSFiles est différente des distances affichées dans les tableaux des différents tests ?

R: L’application MyGPSFiles utilise un autre algorithme et semble prendre en compte les données d’altitude des fichiers TCX pour calculer la distance. Comme la plupart des utilisateurs vont se fier à la distance de leur montre (directement sur la montre ou sur le site « officiel »), c’est cette distance et non celle de l’outil MyGPSFiles qui est utilisée comme référence pour le test.

Q: Pourquoi certaines traces sont interrompues sur l’outil « MyGPSFiles » ? Est-ce que l’auto-pause peut l’expliquer et avoir faussé les tests ?

R: Effectivement, j’ai constaté que les traces de certaines montres avaient des « blancs » dans MyGPSFiles, l’outil de comparaison. Je n’ai pas d’explication à ceci, mais sachez que j’ai veillé à ce qu’aucune fonctions telles que l’auto-pause n’étaient activées, créant au besoin des profils d’activités spécifiques pour les tests GPS. Ces traces sont correctes sur Garmin Connect, Polar Flow ou Suunto Movescount, il s’agit donc vraisemblablement d’un problème du côté de MyGPSFiles.

Q: Pourquoi n’y a-t-il pas de test des montres en mode UltraTrac/GPS éco comme en 2014 ?

R: Parce que je n’ai pas eu le temps, et ne l’aurai pas dans les prochaines semaines, pour effectuer ce test. Il sera donc effectué plus tard (fin 2015, début 2016) avec les montres V800, FR920XT, fénix 3 et Suunto Ambit3 Run, et fera l’objet d’un article séparé.

Conclusion

Cette deuxième édition du match GPS donne des résultats bien plus compacts que le test de 2014 qui réunissait des montres de plusieurs générations. Je n’ai pas créé de tableau récapitulatif des trois tests, chacun pourra vraisemblablement juger de la performance des différentes montres et compteurs entre les trois tests.

Comme indiqué ci-dessus, je publierai une annexe à ce test avec les données d’un test GPS UltraTrac/GPS « éco » plus tard, n’ayant pas trouvé le temps de mener ce test à temps.

J’ignore encore si je vais reconduire ce test en 2016, cela dépendra surtout du nombre de montres que j’aurais à disposition à ce moment. Le format pourrait changer: il est probable que je pousse plus loin les tests de la qualité GPS de chaque montre testées pour mes prochains tests via des protocoles « standardisés », et que je compile ces données une fois par année dans un match GPS.

Enfin, j’ai l’intention dès l’été prochain de procéder à un « Match Swim GPS« , mettant en compétition les montres de triathlon en mode GPS « natation en eau libre« . Voici donc pour le futur.

N’hésitez pas à laisser vos impressions ou éventuelles questions en commentaires, et merci pour votre visite !