Vergelijken van papieren vliegtuigen

De luchtmacht evalueerde in 2000 de mogelijke opvolgers van de F-16. Maar van de concurrenten van de JSF werd niet alle informatie meegeteld.

öRotterdam, 9 sept. In Zwitserland gaat de aanschaf van nieuwe gevechtsvliegtuigen zó: het Zwitserse ministerie van Defensie vraagt verschillende fabrikanten om schriftelijke informatie. Daarna worden drie kandidaten uitgenodigd een testvliegtuig te sturen. Zo vlogen deze maand Zwitserse jachtvliegers voor het eerst met de Zweedse Saab Gripen. In de komende weken zijn ook de twee andere Europese concurrenten, de Eurofighter en de Franse Rafale aan de beurt. In 2009 maakt de Zwitserse luchtmacht zijn keuze.

Logisch, want wie koopt een auto zonder eerst een proefrit te maken?

Toch is dat precies wat Nederland gaat doen bij de aankoop van nieuwe jachtvliegtuigen voor de Koninklijke Luchtmacht. Met de vervanging van de Nederlandse F-16-vloot is een bedrag van 5,67 miljard euro gemoeid. Maar als het kabinet in 2010 inderdaad kiest voor de Amerikaanse F-35 Joint Strike Fighter, heeft nog geen enkele Nederlandse jachtvlieger er ooit in gevlogen. Het probleem is dat de JSF nog niet bestaat. Het ontwikkelingsprogramma, dat in 2012 zou moeten zijn afgerond, ligt inmiddels anderhalf jaar achter op schema. Pas in december 2006 steeg het eerste prototype, de AA-1, op vanaf de landingsbaan van vliegtuigbouwer Lockheed Martin in Fort Worth.

De eerste F-35 die lijkt op de versie waar Nederland belangstelling voor heeft, de AF-1, vliegt pas in juni 2009 – volgens de planning tenminste.

Toch koos Nederland al in 2002 voor de F-35. In dat jaar besloot het kabinet om 800 miljoen dollar te steken in de ontwikkelingsfase van het JSF-programma.

Geld

Officieel legde Nederland zich met het steken van 800 miljoen dollar in de ontwikkelingsfase van de JSF nog niet definitief vast. Maar de investering was zó groot, dat, zo schreef het kabinet-Kok, meedoen met de ontwikkeling „de facto” een „keuze voor de JSF” was.

Voorafgaand aan de beslissing had het ministerie van Defensie verschillende jachtvliegtuigen uitvoerig met elkaar vergeleken. Maar in de lange Kamerbrief van 13 februari 2002 waren slechts twee alinea’s gewijd aan de militaire kwaliteiten van de verschillende toestellen.

Bij de verhitte politieke debatten die daarop volgden, ging het vooral over geld.

Maar was dat wel terecht? Hoe kwam het ministerie van Defensie destijds tot haar keuze? En hoe beoordeel je fighters die alleen op papier bestaan?

Bij de luchtmacht werden de generaals naderhand niet moe om te vertellen hoe zorgvuldig men te werk was gegaan bij de ‘kandidatenevaluatie’. Dat was niet voor niets. Tot het einde van de jaren negentig had de luchtmachttop van de daken geschreeuwd dat er maar één geschikte kandidaat was om de F-16 op te volgen: de JSF. Die openlijke JSF-lobby van de luchtmacht had weerstand opgeroepen. Een pro-Europese stroming op het ministerie van Defensie vond dat de EurofighterTyphoon, een Duits/Brits/Spaans/Italiaans samenwerkingsverband, de voorkeur verdiende. Binnen de regeringspartij PvdA dachten er velen net zo over.

Tegen deze politieke achtergrond begon de luchtmacht in 2000 aan de evaluatie van zes verschillende gevechtsvliegtuigen om de F-16 op te volgen. De ‘multicriteria-analyse’, die in samenwerking met TNO en het Nederlands Laboratorium voor Lucht- en Ruimtevaart (NLR) werd uitgevoerd, was een tijdrovende exercitie. Eerst werden 700 criteria opgesteld waaraan het nieuwe gevechtsvliegtuig moest voldoen. Vervolgens gaven experts per criterium een cijfer. Het gewogen gemiddelde van de scores was een indicatie van de ‘systeemeffectiviteit’ van ieder toestel – in normaal Nederlands: hoe goed het vliegtuig was.

Evaluatie

In de Kamerbrief over het JSF-besluit van 11 februari 2002 werd de multicriteria-analyse uitvoerig beschreven. Ook het kabinet benadrukte in de brief uitvoerig de zuiverheid van het proces. De werkwijze van de luchtmacht was beoordeeld door een onafhankelijke werkgroep van het ministerie van Defensie, schreef het kabinet. Die had geoordeeld „dat de kandidatenevaluatie grondig en zorgvuldig’’ was uitgevoerd.

De evaluatie zelf werd niet naar de Kamer gestuurd. Hetzelfde gold voor het zogeheten B/C-document, waarin de resultaten werden beschreven. Beide stukken bevatten commercieel vertrouwelijke informatie van vliegtuigfabrikanten en zijn daarom geheim.

NRC Handelsblad kreeg het vertrouwelijke B/C-document echter onder ogen. Uit de stukken blijkt dat de luchtmacht beslissingen nam die een grote invloed hadden op de uitkomsten van de kandidatenevaluatie. Daardoor bleven de resultaten van de belangrijkste uitdager van de JSF, de Eurofighter Typhoon, vér achter bij die van de concurrentie.

Al in 1999 had de luchtmacht om offertes gevraagd. Destijds ging de luchtmacht er nog van uit dat de F-16’s in 2010 het einde van hun levensduur zouden hebben bereikt. De fabrikanten was daarom verzocht de jager te beschrijven die ze in 2010 zouden kunnen leveren.

Voor Eurofighter International was dat relatief eenvoudig. Het concern had in 1999 al een vliegtuig op de markt. De versie die in 2010 konden worden geleverd, was een ‘doorontwikkeling’ van het bestaande toestel, met (onder andere) een elektronische AESA-radar en een nieuwe cockpit. In technologisch opzicht waren dat eenvoudige verbeteringen. Het echte probleem was geld. In 1999 ruzieden de Eurofighter-landen over welke extra capaciteiten zouden worden opgenomen in de nieuwste versie van de Typhoon, de tranche 3.

Onzekerheden

De JSF kampte met heel andere onzekerheden. In 2000 was de F-35 niet veel meer dan een (enorme) verzameling operationele eisen die waren vastgelegd in een paar dikke ordners van het Pentagon: het Operational Requirements Document (ORD). Twee grote Amerikaanse vliegtuigbouwers, Boeing en Lockheed Martin, waren bezig om een demonstratiemodel te bouwen. Wat de prestaties zouden zijn van de X-32 en de X-35, hield het Pentagon voor Nederland geheim. Of de voorgeschreven prestaties in de ORD konden worden gehaald, was ongewis.

De kandidatenevaluatie waaraan de Nederlandse luchtmacht in 2000 begon, was dus voor een belangrijk deel een toekomstverwachting: een voorspelling van de politieke wil om dure upgrades te betalen, maar ook een verwachting van de technische mogelijkheden om de beloofde capaciteiten te realiseren.

Volgens de luchtmacht konden de onzekerheden worden ondervangen. In de multicriteria-analyse, zo schreef de luchtmacht in het B/C-document, waren de onzekerheden „adequaat geadresseerd”.

In deze analyse werden voor sommige criteria niet één, maar drie scores uitgedeeld. De middenscore gaf de „verwachte prestaties” weer. Daarnaast hadden experts ook een boven- en een onderwaarde gegeven. Nadat alle waarden bij elkaar waren opgeteld, leverde de multicriteria analyse drie eindscores op over de ‘systeemeffectiviteit’.

Middenscore

De middenscore gaf volgens de luchtmacht aan hoe goed het vliegtuig zou zijn in 2010. De bovenscore gaf de meest optimistische verwachting van de prestaties weer, de onderscore was het worst case scenario. „Dit leidt tot vollediger beeld van de systeemeffectiviteit met onzekerheden, risico’s, maar ook potenties’’, schreef de luchtmacht.

Dat klonk logisch. Je gelooft niet alles wat de fabrikant in de folder belooft. Maar wie het B/C-document goed doorleest, komt tot een eigenaardige ontdekking.

De bovenscore van de Eurofighter Typhoon (de score die volgens de luchtmacht waarschijnlijk niet zou worden gehaald) is een beschrijving van meest geavanceerde versie van het toestel, de tranche 3. „De tranche 3 is gescoord als bovenwaarde’’, meldt het B/C-document.

Volgens de luchtmacht waren de ‘upgrades’ van de tranche 3 twijfelachtig, omdat de Eurofighterlanden daarover nog geen akkoord hadden bereikt. De luchtmacht veegde daarmee álle verbeteringen van de tranche-3 in één keer van tafel. De middenscore van de Typhoon – die volgens de luchtmacht de capaciteiten van de Eurofighter in 2010 weergaf – was een beschrijving van een minder geavanceerde voorloper: de tranche-2. „Voor de middenscore”, meldt het B/C-document, „is uitgegaan van de tranche-2 configuratie’’.

Tranche-2

Maar Nederland was helemaal niet geïnteresseerd in de tranche-2. De luchtmacht had dus kunnen zeggen: wij achten het onwaarschijnlijk dat Eurofighter in 2010 een vliegtuig kan leveren dat aan onze eisen voldoet, omdat de Europese partnerlanden nog geen overeenstemming hebben bereikt over de tranche-3.

Maar dat zei de luchtmacht niet. In de brief die in februari 2002 naar de Kamer werd gestuurd, werd slechts gemeld dat in de multicriteria-analyse de JSF en de Franse Rafale het beste hadden gescoord. De Eurofighter, zo schreef het kabinet, volgde op ruime afstand. Het ging dus nog tussen de Rafale en de JSF. Maar alleen de JSF beschikte over een zeer laag radarprofiel (stealth). Volgens de luchtmacht bood dat in verschillende inzetscenario’s grote voordelen. „De conclusie luidt”, zo schreef het kabinet, „dat de JSF operationeel het meest effectief is.”

Resultaat: Nederland stapte in het JSF-project. De onafhankelijke werkgroep van het ministerie van Defensie die de kandidatenevaluatie in 2001 moest beoordelen, onderschreef die keuze. Maar de werkgroep waarschuwde ook dat het nog te vroeg was om definitieve conclusie te trekken.

„Voor besloten zou worden de Eurofighter op grond van de middenwaarde af te schrijven”, schreef de werkgroep, „is het van belang nog eens en detail de hoogte en kans op het bereiken van de de bovenwaarde van de Eurofighter te bezien.”

Testvluchten

De werkgroep ging er dus vanuit dat de alternatieven voor de JSF intensief zouden worden gevolgd. Maar dat gebeurde niet. De ontwikkelingen in het Eurofighter-project werden door Defensie alleen nog in ‘open bronnen’ – de vakbladen – gevolgd. In de jaarrapportages die ieder jaar naar de Kamer werden gestuurd, werd vooral melding gemaakt van de problemen rondom de ontwikkeling van de tranche-3. „Nederland heeft in de kandidatenevaluatie de Tranche 3 multi-role versie bekeken”, noteerde het ministerie daarna nadrukkelijk. Dat was dus maar gedeeltelijk waar.

Inmiddels hebben de Eurofighter-landen na veel gesteggel de eerste afspraken over de tranche-3 op papier gezet. De financiering van deze upgrades blijft echter onzeker.

Het nieuwe kabinet van CDA, PvdA en ChristenUnie bepaalde in 2007 dat de verschillende kandidaten nog één keer met elkaar moeten worden vergeleken, voordat Nederland definitief kiest voor de JSF. Defensie had dat niet voorzien. Maar in de nieuwe, finale kandidatenvergelijking, zullen noch de Eurofighter en de Rafale in beschouwing worden genomen. Beide kandidaten willen niet meer meedoen.

En de JSF? De AA-1 heeft tot nu toe 45 testvluchten gemaakt. Tot nu toe is slechts een fractie van de geplande 5.500 testvluchten afgewerkt. Maar volgens Defensie ligt het testprogramma op schema. Volgens het ministerie is de JSF nog steeds wat het in 2000 was: het beste toestel voor de beste prijs.