Six jeux de test ont été utilisés, afin de refléter au mieux les cas qui devraient se présenter à l'utilisation. Les tests ont été menés à mesurant la vitesse de compression (nombre de Ko compressés par seconde), le gain (1 - taille compressé/taille non compressé), et la vitesse de décompression (nombre de Ko recrées par seconde). À partir du gain et du temps de compression, on calcule également le "rendement" de la compression (nombre de Ko gagnés par seconde).

• Test 1 - compression de fichiers variés : ce test reprend l'ensemble des fichiers du jeu Live For Speed S2 0.5 Alpha.
• Test 2 - compression d'archive solide : pour ce test, on utilise les fichiers du test 1, préalablement placés dans une archive TAR afin de simuler le comportement de l'option archive solide. On peut ainsi tester l'impact d'une telle option avec chaque algorithme, même si le logiciel ne la propose pas.
• Test 3 - faible redondance : ce test est un fichier texte d'un peu plus de 100 Mo contenant 100 millions de décimales de Pi. Le fichier contient moins de 16 caractères distincts, donc un taux de compression minimal de 50% doit être atteint. Il s'agit par contre d'un fichier relativement difficile à compresser au-delà de cette limite puisque la redondance est très faible en raison des caractéristiques du nombre Pi.
• Test 4 - compression de photos : il s'agit d'un ensemble de photos numériques 7 mega-pixels non compressées (format bitmap).
• Test 5 - compression audio : album "Parenthèses" de Sousbock, au format WAV.
• Test 6 - fichiers texte : documentation d'une distribution Linux

Ces fichiers de test sont disponibles sur simple demande.

Dans tous les tests, les options "archive solide" et "multithreading" ont été désactivées dans les logiciels les proposants, celles-çi feront l'objet d'une future mise à jour de cet article.

Afin de faciliter les comparaisons, les graphiques de résultats sont présentés sous forme d'indices, l'indice de 100 étant attribué à WinZip en mode normal. La note finale est calculée en faisant la moyenne pondérée des indices dans les différents tests : coefficient 25 pour la vitesse de compression et le gain, coefficient 40 pour le gain par seconde et coefficient 10 pour la vitesse de décompression.