Een geautomatiseerde toets is snel. Je start een scan en na een minuut heb je een lijst met fouten. Maar hoeveel van de echte problemen staan op die lijst? Dat hebben we gemeten met de scanner van onze eigen Shopify-app: op een demosite van het W3C waarvan bekend is welke fouten erin zitten, en op de demowinkels van twee Shopify-thema’s. In dit artikel lees je wat we vonden, wat we misten en wat dat betekent voor je eigen winkel.

Hoe we hebben gemeten

We gebruikten de scanner zoals hij in de app draait, op 13 november 2026:

  • axe-core versie 4.14, een veelgebruikte open-source bibliotheek die pagina’s automatisch toetst aan WCAG-criteria;
  • daarnaast eigen tests: de scanner bedient de pagina met het toetsenbord, kijkt of de focus zichtbaar blijft, verstuurt formulieren leeg en met fouten, en controleert of een foutmelding aan het juiste veld gekoppeld is;
  • in een rustig tempo: hoogstens één actie per twee seconden per website, en zonder iets te bestellen.

We telden alleen fouten op niveau A en AA. Succescriterium 4.1.1 lieten we weg, omdat het in WCAG 2.2 is vervallen.

Meting 1: de W3C-demosite met bekende fouten

Het W3C, de organisatie achter WCAG, heeft een demosite met opzettelijke toegankelijkheidsfouten: de Before and After Demonstration. Van de “voor”-versie is beschreven welke fouten erin zitten. Dat maakt de site geschikt als meetlat. De site gaat uit van WCAG 2.0, de basis die in latere versies is blijven staan.

We scanden vier pagina’s: home, nieuws, tickets en een enquête. Samen bevatten ze 73 combinaties van een pagina en een WCAG-criterium waarop die pagina faalt.

Toets Gevonden Aandeel van de 73
Alleen axe-core 22 30 procent
axe-core met de eigen tests 34 47 procent

De eigen tests voegden drie criteria toe die axe-core op deze pagina’s niet vond:

  • 2.1.1 Toetsenbord: onderdelen die alleen met de muis werken;
  • 2.4.7 Focus zichtbaar: je ziet niet waar je met het toetsenbord bent;
  • 3.2.2 Bij input: de pagina doet iets onverwachts als je alleen een keuze maakt.

Dat zijn precies de problemen die in een bestelflow het verschil maken. Een maatkeuze die niet met het toetsenbord werkt, houdt een klant volledig tegen.

Wat we niet vonden

Ruim de helft van de fouten bleef liggen. Op deze pagina’s vond geen van beide toetsen deze criteria:

  • 1.3.1 Info en relaties, bijvoorbeeld tekst die eruitziet als een kop maar het technisch niet is;
  • 1.3.2 Betekenisvolle volgorde;
  • 1.4.1 Gebruik van kleur;
  • 1.4.5 Afbeeldingen van tekst;
  • 2.4.1 Blokken omzeilen;
  • 2.4.2 Paginatitel;
  • 2.4.3 Focusvolgorde;
  • 2.4.6 Koppen en labels;
  • 3.2.1 Bij focus;
  • 3.2.4 Consistente identificatie.

Het patroon is duidelijk. Een tool ziet goed of iets ontbreekt: een alt-tekst, een label of de taal van de pagina. Hij ziet slecht of iets klopt: of een paginatitel de inhoud beschrijft, of een kop echt een kop is en of de volgorde logisch is. Daarvoor is menselijk oordeel nodig. Het W3C schrijft dat zelf ook in zijn uitleg over toetstools: tools kunnen niet bepalen of iets toegankelijk is, ze kunnen daar alleen bij helpen.

Ook een gevonden criterium is niet altijd overal gevonden. Het W3C noemt te weinig contrast (1.4.3) op alle vier de pagina’s; axe-core vond het op twee daarvan.

Meting 2: twee Shopify-demowinkels

Daarna scanden we de demowinkels van twee thema’s van Shopify: Dawn en Horizon. De scanner doorliep de stappen van de bestelflow: homepage, collectie, product, variant kiezen, toevoegen aan de winkelwagen, zoeken, inloggen, formulieren, winkelwagen en het begin van afrekenen.

Dawn, tien stappen getoetst:

  • geen fouten die bestellen blokkeren;
  • 83 bevindingen met de prioriteit ernstig, allemaal over te weinig kleurcontrast, verdeeld over zeven stappen;
  • 12 kleine bevindingen: op drie stappen staat een captcha (hCaptcha). Die blijft onzichtbaar zolang hij niet nodig is, maar wie hem dan niet kan oplossen, loopt vast.

Horizon, elf stappen:

  • geen fouten die bestellen blokkeren in de stappen die we konden toetsen;
  • 26 bevindingen met de prioriteit ernstig: vooral gebieden waarin je kunt scrollen maar die je niet met het toetsenbord bereikt, en twee keer een lijst die technisch niet klopt;
  • de productpagina toonde de scanner een controle tegen bots. Daardoor konden we de variantkeuze en het toevoegen aan de winkelwagen niet toetsen.

Twee kanttekeningen. Dit zijn demowinkels met de standaardinstellingen van het thema. Jouw winkel heeft eigen kleuren, eigen apps en eigen content, en daar ontstaan de meeste problemen. En dat de scanner in Dawn geen blokkade vond, betekent niet dat er geen zijn: een deel van wat bestellen kan blokkeren, zoals een onduidelijke foutmelding, zie je pas als je zelf toetst.

Meting 3: onze eigen testpagina’s

Tijdens het bouwen van de scanner maakten we testpagina’s met bekende fouten, zoals een toetsenbordval, een knop zonder naam, een variantkeuze die niet met het toetsenbord werkt en een foutmelding die niet aan het veld gekoppeld is. De scanner vond alle 16 opzettelijke fouten en gaf geen onterechte meldingen op de foutloze varianten.

Dat zegt vooral dat de scanner bekende patronen goed herkent. Het zegt weinig over echte winkels, want die zitten vol patronen die we niet hebben nagebouwd.

Wat dit betekent voor je winkel

  1. Gebruik een geautomatiseerde toets als begin. Hij vindt snel veel technische fouten, zoals ontbrekende alt-teksten, knoppen zonder naam en te weinig contrast.
  2. Test zelf met het toetsenbord. Juist de problemen die bestellen blokkeren, vind je door je bestelflow met Tab, Enter en Spatie te doorlopen. Hoe je dat doet, lees je in de EAA-checklist voor je webshop.
  3. Beoordeel wat een tool niet kan. Kijk zelf of paginatitels, koppen, labels en foutmeldingen begrijpelijk zijn, en of de volgorde klopt.
  4. Test met mensen. Wie dagelijks een schermlezer, vergroting of spraakbediening gebruikt, vindt problemen die geen tool ziet.
  5. Toets opnieuw na elke wijziging. Een thema-update of een nieuwe app kan nieuwe fouten geven.

Vermeld in je toegankelijkheidsverklaring ook eerlijk hoe je hebt getoetst. “Geautomatiseerd getoetst op 1 november” zegt iets anders dan “getoetst met toetsenbord en schermlezer”.

Waarom we dit publiceren

Je ziet tools die beloven dat ze alle problemen vinden, of dat je winkel na één scan in orde is. Onze metingen laten zien dat geautomatiseerd toetsen dat niet waarmaakt: onze eigen scanner vond op de W3C-demosite minder dan de helft van de fouten. Daarom staat bij elk rapport van de app dat het een geautomatiseerde en gedeeltelijke toets is. We herhalen deze metingen bij nieuwe versies van de scanner en werken dit artikel dan bij.