Methodebreuk
Bij het analyseren van de eerste resultaten van het onderzoek Onderweg in Nederland 2024 is een breuk geconstateerd ten opzichte van voorgaande jaren. Onderzoek heeft aangetoond dat deze breuk veroorzaakt is door het gebruik van ingekorte aanschrijf- en rappelbrieven waarmee personen uitgenodigd worden deel te nemen aan het onderzoek. Deze brieven waren ingekort om het responspercentage te verhogen. Door het weglaten van voorbeelden uit de brieven, hebben respondenten mogelijk een ander beeld gekregen van wat hun wordt gevraagd aan verplaatsingen in te vullen in vergelijking met voorgaande jaren. Daarmee zijn in ODiN 2024 deels andere resultaten verzameld dan in ODiN 2023. Met behulp van de trendreeksmodellering van het mobiliteitsonderzoek is de methodebreuk zo goed mogelijk gecorrigeerd. De methode voor de correctie is vastgesteld door inhoudelijk betrokkenen en methodologen van Rijkswaterstaat, het KiM en het CBS. Dit document is de geüpdatete versie van de eerder gepubliceerde eindrapportage van ODiN 2024 waarin oorspronkelijke, ongecorrigeerde onderzoeksresultaten waren opgenomen. Deze voorliggende versie bevat de gecorrigeerde resultaten.
Voor de totstandkoming van het gecorrigeerde ODiN 2024 is gebruik gemaakt van een aangepaste weging. Deze weging bevat ten opzichte van voorgaande jaren extra randvoorwaarden (zogenaamde harde randen) in de vorm van schattingen van de trendreeks tot en met 2024. Door deze manier van corrigeren is het niet mogelijk om met het gecorrigeerde bestand juiste betrouwbaarheidsmarges te berekenen. De onzekerheid van de in de weging gebruikte trendschattingen wordt namelijk niet meegenomen in berekeningen met het gecorrigeerde ODiN 2024. Dit betekent ook dat niet, zoals in reguliere jaren, voor iedere schatting vastgesteld kan worden of een waargenomen ontwikkeling tussen 2023 en 2024 statistisch significant is. Dit gebeurt in deze rapportage dan ook niet. Voor het gemak van de lezer zijn in de tabellen wel de procentuele verschillen van 2024 ten opzichte van 2023 vermeld, maar hieraan kunnen geen conclusies ten aanzien van de ontwikkeling worden getrokken.
De enige situatie waarin we bij het gecorrigeerde ODiN 2024 van een naar alle waarschijnlijkheid significante ontwikkeling kunnen spreken, is wanneer de ontwikkeling op basis van het oorspronkelijke, ongecorrigeerde ODiN 2024 significant was én tegengesteld aan de ontwikkeling die op basis van de methodebreuk te verwachten was. In dat geval zal dit expliciet in de tekst worden aangegeven als een plausibele ontwikkeling zonder daarbij de oorspronkelijke, ongecorrigeerde resultaten te presenteren. In alle andere situaties kan geen onderbouwde uitspraak worden gedaan over de ontwikkeling van het gecorrigeerde resultaat ten opzichte van voorgaande jaren.
Naast het niet kunnen berekenen van juiste betrouwbaarheidsmarges is een mogelijke beperking van het gecorrigeerde bestand dat het bij meer gedetailleerde analyses mogelijk onlogische uitkomsten kan opleveren. De kans daarop is groter bij bijvoorbeeld laagregionale uitsplitsingen en bij restcategorieën (zoals de categorie ‘Overige vervoerwijzen’). Dat eerste komt voort uit het feit dat de correctie gebaseerd is op landelijke data. Het laatste wordt veroorzaakt doordat binnen deze groepen vaak veel variatie in eigenschappen kan voorkomen. Gezien bovenstaande wordt van de onderzoeker die analyses uitvoert met het gecorrigeerde ODiN-bestand dan ook gevraagd om zelf goed te beoordelen of de berekende resultaten bruikbaar zijn. Met lokale beleidsbeslissingen gebaseerd op analyses met de gecorrigeerde data dient men voorzichtig te zijn.
De wijze waarop de methodebreukcorrectie is uitgevoerd, wordt in deze rapportage waar nodig kort aangehaald. Meer gedetailleerde informatie over de correctie en mogelijke beperkingen die het werken met het gecorrigeerde bestand met zich meebrengen, staan beschreven in hoofdstuk 3 van de Onderzoeksbeschrijving van het gecorrigeerde ODiN 2024 (landelijk rapport).