BERICHT
Rotterdamse evaluatie chipkaart praat opdrachtgever naar de mond
De evaluatie van het ongeldig verklaren van de strippenkaart in de Rotterdamse metro is niet onafhankelijk. Het is een verhaal van vervoerders zonder kritische blik van buitenaf en de mening van de reiziger komt nauwelijks aan bod. Dit concludeert ROVER na een analyse van het evaluatierapport, opgesteld door een adviesbureau in opdracht van de Stadsregio Rotterdam.
ROVER deelt de conclusie dat het chipkaartsysteem de toename van het aantal gebruikers goed aankon en vindt dat het rapport nuttige bedrijfsmatige informatie bevat. Maar de blije teksten over sociale veiligheid en zwartrijden zijn op drijfzand gebaseerd. Rond dat zwartrijden heeft het rapport het zelf al over niet-representatieve steekproeven.
Wat vooral opvalt is dat de mening van de klant van weinig belang wordt gevonden. Er wordt uitgebreid beschreven wat de RET allemaal heeft gedaan aan informatie en service, maar er is niet onderzocht: hoe de klant dat heeft ervaren, of het aan de behoeften van de klant tegemoet kwam en of de klant er tevreden over was. Het meldpunt van het OV-loket krijgt juist op deze onderwerpen veel klachten. Ook op andere problemen van reizigers (al jaren bekend uit de 'zorgpuntenlijst' van de consumentenorganisaties) wordt niet ingegaan. Zo waren kwesties als problemen met sterabonnementen (waar veel mensen uit de regio mee te maken hebben) kennelijk het onderzoeken niet waard.
De evaluatie leunt ook sterk op RET-gegevens die geheim blijven (zoals het aantal zwartrijders en het aantal betalende metroreizigers voor en na het verbieden van de strippenkaart) en op aanvechtbare interpretaties van niet-openbare klantonderzoeken door andere bureaus.
Voor de evaluatie is tevens een probleem dat de chipkaartgebruikers vanaf januari werden verleid met tijdelijke lokkertjes (o.a. gratis OV voor ouderen). Die lokkertjes hebben het chipkaartgebruik aanzienlijk doen toenemen, maar ze maken het trekken van conclusies over de werkelijke appreciatie van de chipkaart tot een hachelijke zaak.
Klik
Pagina geplaatst: 14 april 2009
EVALUATIE VAN EEN EVALUATIE ROVER
Over het onderzoek naar de gevolgen van het 9 april 2009 uitzetten van de strippenkaart in de RET-metro
1. INTRO
In de Rotterdamse metro zijn vanaf 29 januari de strippenkaart (en andere niet-verchipte NVB-kaarten) geen geldig vervoersbewijs meer. De strippenkaart en de andere niet-verchipte varianten van het NVB (Nationaal Vervoersbewijs) werden 'uitgezet'. DOCadvies heeft, op verzoek van de Stadsregio Rotterdam de gevolgen onderzocht. Wij onderzoeken in deze notitie dat onderzoek en geven u aan het slot onze algemene conclusie.
2. HET ONDERZOEK
2A. Onafhankelijk onderzoek?
De Stadsregio heeft voor het onderzoek het onafhankelijk bureau DOCadvies ingeschakeld. Dat is mooi en vertrouwenwekkend. Maar dan ga je de onderzoeksverantwoording lezen. En dan blijkt dat zij aan geen enkele eigen vorm van gegevensverzameling hebben gedaan. De gegevens zijn verzameld door de RET of in opdracht van de RET. DOCadvies heeft zijn bijna 70 pagina's van dit advies vrijwel geheel gebaseerd op data die van of via de RET beschikbaar waren en op gesprekken met RET en andere chipkaartbelanghebbenden1. Aan onafhankelijke informatieverzameling is niet gedaan. En omdat bij bijna alle vraagstukken een onafhankelijke nulmeting ontbreekt kun je niet anders concluderen dan dat dit navelstaarderij is en met onafhankelijk onderzoek niets te maken heeft. PS1. Daar komt dan nog bij dat als je iets wat dieper zou willen onderzoeken dat niet kan omdat de data 'bedrijfsgeheim' zijn. Wat is dit voor onzin: sinds wanneer is de informatie van een overheidsbedrijf niet toegankelijk voor de burger? Als de RET vindt dat ze zich dit soort 'marktconforme' geheimzinnigheid kunnen permitteren is er maar één zinnig antwoord: wie zich als particulier bedrijf gaat gedragen moet ook als zodanig behandeld worden. Dan moeten we in Rotterdam dus maar openbaar gaan aanbesteden. PS2. En dan lees je ook nog dat alle stappen in het onderzoeksproces zijn afgestemd met Stadsregio, RET en V&W. Zowel in de beginfase als de eindfase. Dat noemen ze onderzoek onder stakeholders en daar horen de reizigers duidelijk niet bij. Geen spoor van onderzoek onder andersdenkenden. Geen spoor van enige onafhankelijkheid dus. PS3. Wat vooral heel duidelijk is, is dat voor deze rapportage door geen enkele onafhankelijke onderzoeker wat aan een reiziger is gevraagd2. Conclusie: dit is geen onafhankelijk onderzoek.
2B. Relevante onderzoeksomgeving?
De RET heeft 65+-ers gratis OV op de chipkaart aangeboden, ze hebben een 35% kortingsactie gedaan en voor studenten hebben ze een gratis overgangskaart gemaakt. Dat zijn allemaal lovenswaardige acties: de RET heeft echt erg zijn best gedaan om rond het uitzetten van het NVB iets verlokkelijks te doen en de reiziger heeft er profijt van. Waarvoor dank! Probleem is wel dat daardoor ieder onderzoek naar de reizigerssatisfactie en -participtie rond de Rotterdamse chipkaart veel van zijn relevantie voor het verder uitzetten van de strippenkaart verliest. Tenzij die Rotterdamse lokkertjes landelijk en permanent worden
1 De uitzondering hierop is het overleg met Viziris, dat ook in de leerervaringen terug komt.
2 Waarschijnlijk overigens wel door Meijers Research, zie 2E ingevoerd. Maar daar is, voor zover wij weten, geen sprake van3. En het maakt de Rotterdamse cijfers over tevredenheid van reizigers irrelevant in een setting zonder diezelfde lokkertjes (van belang voor discussies over het ook elders afschaffen van de strippenkaart). Wat in Rotterdam gedaan is, is daarmee mislukt als bron van kennis over klantoordelen voor stappen in andere gebieden. De ervaringen zijn, wegens andere omstandigheden en omdat het alleen maar tijdelijke lokkertjes lijken te zijn, niet overdraagbaar naar andere gebieden waar het afzetten van de strippenkaart wordt overwogen. PS. Wat ons in de paragraaf 'Aanpak' van het rapport erg opviel: daar kwamen reizigers in geen enkele vorm in voor. Dat zal ook aan de opdrachtgevers gelegen hebben, maar het illustreert het gebrek aan onafhankelijkheid van de opdrachtnemer. Conclusie: tijdelijke lokkertjes maken de Rotterdamse evaringen ongeschikt als kennisbron over klantoordelen als anderen overwegen de strippenkaart uit te zetten. 2C. Systeemproblemen?
Geconstateerd wordt dat het systeem de verdrievoudiging van het gebruik (het directe gevolg van het uitzetten van de strippenkaart) heeft doorstaan. Dat geloven wij en verrast ons niet: het zou wel erg knullig zijn als het daarop niet goed getest zou zijn. Wat ons verraste is dat de rapporteurs zoveel aandacht besteden aan deze vanzelfsprekendheid. Ze waren daar kennelijk onzeker over of dachten publicitair een sterk punt te hebben. Dat stemt ons nog een graadje somberder dan we al waren. Wat niet weg neemt dat ze op dit punt vast gelijk hebben. Wel zijn er problemen geweest met de betaalautomaten doordat 25% van de reizigers met contant geld wenste te betalen. De RET vind dat verrassend veel, ons verbaast het niet gezien de Honkongse ervaringen: ook daar blijkt een behoorlijk deel van de reizigers niet van veel pasjesgedoe gediend te zijn. Er zijn maatregelen genomen om de storingen te verhelpen (de RET heeft er natuurlijk alle belang bij dat er betaald kan worden) en die lijken adequaat. Er worden inmiddels 3 keer zoveel wegwerpkaartjes verkocht. Het begon met 5% en stabiliseerde op 3% van de transacties. Erg veel is dat op het geheel dus niet. Maar ja, Rotterdam is natuurlijk geen toeristenstad en voor de wagenverkoop op de Amsterdamse tram en bus is dit nog altijd een zorgelijk perspectief. Conclusie: de onderzoeksconclusie dat de techniek de klap redelijk overleefd heeft lijkt gerechtvaardigd.
2D. Fouten en fraude
Het aantal 4-euro transacties (dat betekent meestal dat de reiziger heeft vergeten uit te checken en dan teveel betaalt) is op de metro gedaald van 0,44% naar 0,19%. Dat haal je de koekoek als je zonder uitchecken het station niet uitkomt. Het gejuich daarover doet dus wat merkwaardig aan.
Overigens: gezien het feit dat de meeste stations een geheel gesloten systeem hebben moet het percentage bij de sneltramhaltes aan de Calandlijn een heel stuk hoger liggen. Het hogere percentage bij tram en bus (hoewel ook dat daalt) wijst in dezelfde richting en daarom vinden wij dat uitchecken bij paaltjes e.d. een zorgpunt blijft.
3 Overigens is wel een interessant gegeven dat door die lokkertjes het chipkaartgebruik in de metro van 30% naar 60% steeg. Dat lijkt ons een ondersteuning van ons pleidooi om de chipkaart niet door dwang, maar door verleiding in te voeren. Wij zouden het natuurlijk toejuichen als die lokkertjes permanent en voor iedereen zouden worden.
Er is slechts één geval van fraude geconstateerd (een actie van RTV Rijnmond en Radboud Universiteit). Dat geloven we wel: grootschalige fraude komt altijd pas na een poosje (daarom zegt dit niet zoveel) en het gaat ook niet over zoveel geld dat mensen zich erg inspannen. PS. Toch moeten we denken aan het betaald parkeren in de parkeergarages in de Bijlmer. Keer op keer werden daar de betaalautomaten aangepast en steeds was het na een half jaar of zo weer hevig mis. Tenslotte heeft men de garages maar gratis gemaakt. Conclusie: de zorg over de 4-euro-transacties bij paaltjes e.d. is niet weg, hun geruststellende ervaringen rond fraude geloven we wel (althans voorlopig). 2E. Sociale veligheid
De onderzoekers hebben dit niet zelf onderzocht, ze putten uit onderzoeken van Lubbe & Larsen (L&L 2006 en 2007) en Meijers Research (MR, februari 2009). Volgens MR geeft 36% aan dat de sociale veiligheid is toegenomen en vind 8% het tegendeel. Gegeven het feit dat volgens L&L in 2007 43% van de reizigers dacht dat het reizen door de poortjes veiliger zou worden (in 2006 was dat zelfs 62%) zijn die 36% niet veel: mensen geven zichzelf graag gelijk en zullen niet gauw zeggen dat hun verwachting niet is uitgekomen.
Overigens worden alle drie de onderzoeken zeer summier beschreven zodat helemaal niet valt na te gaan hoe er onderzocht is en wie er onderzocht zijn. DOCadvies zegt alleen dat de onderzoeken van L&L en MR onvergelijkbaar zijn (hoezo en waarom dan?). Dat DOCadvies geen toegang heeft gekregen tot de brongegevens (al weer een bedrijfsgeheim of zo?) geeft ook te denken. Gezien het feit dat RET eerder hoog op gaf over de tevredenheid over de chipkaart terwijl ze alleen de mensen onderzocht bleken te hebben die hem vrijwillig gebruikten past de nodige scepsis.
Conclusie: de cijfers mbt de perceptie van sociale veiligheid zijn geenszins indrukwekkend en moeten ook nog met de nodige scepsis bekeken worden. 2F. Zwartrijden
Het aantal reizigers dat denkt dat het aantal zwartrijders is afgenomen en het aantal mensen dat denkt dat dat niet zo is houden elkaar ongeveer in evenwicht. Dat is weinig indrukwekkend gegeven de hoge verwachting die de RET van deze kant van de zaak had. Het was de voornaamste reden om op het uitzetten van de strippenkaart aan te dringen. Gegeven die RET-benadering uit het verleden is het ook opvallend dat het rapport slechts anderhalve pagina (van de 68) aan het zwartrijden besteedt en die is dan voor de ene helft gevuld met het resultaat van niet-representatieve steekproeven (eigen woorden van het rapport) en voor de andere helft met interviews met de RET. En passant blijkt ook dat de RET zijn controle-inspanningen heeft verhoogd wat het beeld natuurlijk vertroebelt (in het verleden deed de RET veel minder aan controle dan bijv. het GVB). De onderzoekers hebben nog wel zoveel wetenschappelijke eigenwaarde dat uit hun pen niet meer vloeit dan 'zwartrijden lijkt af te nemen' (het zou ook raar zijn als dat helemaal niet het geval was) en laten opmerkingen over '(meer dan) halvering van het aantal zwartrijders in de metro' uitdrukkelijk voor de verantwoordelijkheid van de RET. Overigens past wel de waarschuwing dat, wat de ervaringen mbt zwart- en grijsrijden uiteindelijk ook zullen blijken te zijn, ze de metro betreffen en niet overdraagbaar zijn op tram en bus.
Conclusie: het zwartrijden zal vast wel wat zijn afgenomen, maar het gejuich over een halvering is op drijfzand gebaseerd en hoe dan ook niet van toepassing op tram en bus. 2G. Klantenoordeel
65% van de reizigers geeft de chipkaart een 7 of hoger. Hoe je dat beoordeelt is een kwestie van optiek en marktpositie.
+ Een monopolist zal zeggen 'een meerderheid is tevreden' (alleen monopolisten en politici denken in meerderheden). Dat doet het rapport dan ook.
+ Geen bedrijf in een concurrerende markt zal blij zijn als 35% van zijn klanten aangeeft niet tevreden te zijn (dat betekent in dit soort onderzoek minder dan een 7) Vanuit de reizigers gezien is de laatste optiek natuurlijk relevant. Die 35% onvoldoende tevredenen zijn redelijk in lijn met de ervaringen in Hongkong (waar ze een duaal systeem hebben): 40% van de reizigers (20% van de reizen) maakt geen gebruik van de chipkaart. 35% Van de reizen is dan wel aan de hoge kant, maar dat kan ook een gewenningsprobleem zijn.
Op verschillende manieren kun je ook aankijken tegen de waarneming: 14% vindt reizen met de chipkaart (heel) lastig. Wij vinden dat (te) veel. Dat 25% niet aan de chipkaart gewend is en dat januari/februari een grote piek aan klachten te zien gaf lijken ons overgangsproblemen waarvan je moet afwachten op welk niveau één en ander zich stabiliseert. Het is te vroeg om dat problematisch te vinden. Ook te vroeg om het weg te wuiven trouwens.
Conclusie: er zijn teveel mensen ontevreden over de chipkaart.
3. OPMERKELIJK: NIET ONDERZOCHT
3A. Zijn er reizigers verjaagd?
Eén van de eerste dingen, lijkt ons, die je wilt weten is of de gedwongen overgang op de chipkaart (keuze)reizigers heeft verjaagd of voor tram/bus ipv metro heeft laten kiezen. Maar over de ontwikkelingen van het metrogebruik wordt alleen maar ergens gezegd dat dat volgens de RET ongeveer gelijk is gebleven. Geen cijfers van voor en na, noch absoluut noch over de verhoudingen metro/tram/bus. Dat zal wel bedrijfsgeheim zijn (en dat vind ik echt te gek voor woorden).
Typisch gedrag van een monopolist en van een OV-bedrijf dat kennelijk niet uit is op het werven van keuzereizigers en geen boodschap heeft aan het bevorderen van OV-gebruik. Treurig trouwens dat de Stadsregio (de formele opdrachtgever van het onderzoek) zich daarbij aanpast.
Conclusie: RET en Stadsregio zijn niet geïnteresseerd in het effect van de chipkaart op het OV-gebruik.
3B. Verschillende marktsegmenten?
Opmerkelijk is ook dat nergens aandacht is besteed aan marktsegmentatie. Wij herhalen: geen particulier bedrijf in een concurrerende markt zou zich dat permitteren. Je zou toch moeten willen weten of je ouderen de dampen aan doet, of je incidentele reizigers het leven zuur maakt, of je vaste klanten blij maakt of juist niet. Wel aandacht voor blinden en slechtzienden overigens, maar dat is alleen maar omdat Viziris effectief heeft gelobbyed bij de Tweede Kamer (waarvoor hulde trouwens).
Het zou kunnen dat zo'n onderzoek niet echt te doen is omdat ze geen nulmeting hebben gedaan (hoe was de toestand vóór ...) en dan kun je weinig met een nameting (hoe was de toestand na ...). Dat is trouwens bizar. Als je een proef wilt evalueren - daar ging dit toch allemaal over? - zorg je dat je voor... en na... kunt vergelijken. Door die nulmeting te vermijden heeft de RET de evaluatie bij voorbaat grotendeels zinloos gemaakt. Wij zijn geen complotdenkers, maar dit kan geen toeval zijn.
Maar misschien was zo'n onderzoek wel mogelijk. De eerdere onderzoeken van L&L bevatten waarschijnlijk zo'n marktsegmentatie en daar had je dan misschien wat mee gekund. Of dat zo is kunnen we niet weten want over die onderzoeken wordt veel te weinig verteld en wij hebben die onderzoeken niet. En gezien de opzet van deze evaluatie gaan we daar ook niet naar vragen: wij steken geen energie in een antwoord dat we al kennen: bedrijfsgeheim. Conclusie: dat er verschillende soorten reizigers zijn is kennelijk niet van belang. Dat is niet alleen dom, het is ook beledigend: reizigers zijn kennelijk vee. 3C. Wiens ervaringen?
Het rapport besteed wel aandacht aan het aspect informatie, maar richt zich eenzijdig op de inspanningen van de RET. Hoe de reizigers over de informatie oordelen blijft duister. Het onderzoek heeft zich alleen gericht op de input en niet op de vraag of de output adequaat was. Bij het chipkaart-meldpunt op het OV-loket is informatie onderwerp nummer 1 van de klachten. Dat betreft twee hoofdcategorieën:
+ reizigers die (algemene of specifieke) vragen hebben vóór zij gaan reizen,
+ de werking van de diverse informatiefuncties die tot het chipkaartsysteem behoren (bijv. informatie over de prijs van een reis, maar ook de kwaliteit van antwoorden van vervoerspersoneel en servicelijnen).
Hetzelfde geldt voor het functioneren van de klantenservice-afdelingen van RET en omringende bedrijven. (De omringende bedrijven zijn van belang omdat metrogebruikers ook uit omringende plaatsen kunnen komen met streekvervoerders of NS, en daar hun abonnement hebben gekocht). Het evaluatierapport kijkt alleen naar wat de RET heeft gedaan, niet naar wat de klant heeft ervaren.
We komen wel (min of meer) te weten wat de RET vindt van de compensatieregeling (voor de reizigers die hun reis met 3 kaarten moeten maken), maar niet wat de betrokken reizigers ervan vinden. Zo lezen we dus wel over fraudeverdenkingen, maar niet over ongemakken voor de klant en tekortkomingen van de regeling (die er wel zijn). Conclusie: Op belangrijke service-aspecten (informatie, klantenservice, e.d.) wordt ons verteld wat de RET heeft gedaan, niet wat de klant heeft ervaren. 3D. Nog enkele punten
Er is veel discussie (geweest) over prijseffecten door de overgang van zone naar kilometer. Reizigers hebben er ook veel vragen over. Voor een onderzoek(je) naar prijseffecten in de Rotterdamse praktijk (aan de hand van een set voorbeeldreizen) moet je bij de Consumentenbond zijn, niet bij het evaluatierapport. Bij de metro vind je op ieder station automaten. In de wijken die alleen door tram en bus worden bediend, zul je naar een supermarkt, gemakswinkel, enz. moeten. De uitrol van dat soort verkooppunten staat nog maar aan het begin. Op het punt distributie valt dus van de Rotterdamse metropraktijk nog niets te leren, behalve voor de Amsterdamse metro. De RET heeft (nadat wij dat probleem de afgelopen jaren hadden aangekaart) een regeling gemaakt voor reizen in groepsverband met de chipkaart. Die regeling zou, als hij goed blijkt te werken, ook door andere bedrijven kunnen (wat ons betreft: moeten) worden toegepast. Er zou een evaluatie komen. Het evaluatierapport zwijgt. De raakpunten met de NS behoren tot onze zorgen. Zo is er het 1-, 2- of 3-zonesupplement bij een NS-trajectabonnement. Houders van zulke abonnementen zijn allerlei problemen tegengekomen (tot op de dag van vandaag). Die komen we hier niet te weten. Tot het NVB behoren ook de landelijke dagkaart stads-/streekvervoer en de Zomerzwerfkaart. We lezen niet wat de RET met deze klantengroepen heeft gedaan en of die oplossing heeft gewerkt.
Conclusie: de opdrachtgevers kennen de zorgpuntenlijst van de consumentenorganisaties. Ze hebben op diverse punten de kans op nader onderzoek laten lopen.
4. TENSLOTTE
Onze algemene conclusies:
1. Het onderzoek is niet onafhankelijk en levert ook door tijdelijke lokkertjes weinig inzicht mbt het 'uitzetten' van de strippenkaart. Vooral de blije opmerkingen over sociale veiligheid en zwartrijden zijn aanvechtbaar en de (schaarse) cijfers over klantmeningen kunnen tot andere oordelen leiden.
2. Over een aantal bedrijfsmatige kwesties en introductievragen bevat het rapport wel nuttige informatie. (Dit is duidelijk een rapport tbv het management)
3. Opvallend is dat geen aandacht is besteed aan belangrijke klantenkwesties als de gevolgen voor het OV-gebruik (van verschillende klantensoorten), de ervaringen van klanten met informatie en klantenservice, diverse zorgpunten van de consumentenorganisaties.
4. De klant speelt in dit onderzoek nauwelijks een rol.
Telefoon: 033 - 422 04 50
Ledenadministratie: 033 - 422 04 54
Fax: 033 - 422 04 51