nl yenlo managed services mdc testrapport performance v10 · 2019-04-12 · onderliggende wso2 esb...

1

Performancetestrapport

ManagedDigikoppelingCloud

Performance testrapport ManagedDigikoppelingCloud

Organisatie :YenloCloudServicesB.V.

Adres :Rijndijk137,2394AGHazerswoude-Rijndijk

Gegevens :ThijsVolders

Datum :8Oktober2015

Versie :1.1

Status :Definitief

2



1 InhoudsopgaveDitdocumentbevatdevolgendehoofdstukken,paragrafen.

1 Inhoudsopgave.................................................................................................................................22 Inleiding............................................................................................................................................33 Managementsamenvatting..............................................................................................................44 Testopzet..........................................................................................................................................5

4.1 Testopstelling............................................................................................................................54.2 Uitvoering.................................................................................................................................64.3 Loadprofiel...............................................................................................................................64.4 Scenario’spertestonderdeel....................................................................................................7

4.4.1 Loadtestnominalebelasting..............................................................................................74.4.2 Loadtestpiekbelasting......................................................................................................7

5 Testresultaten..................................................................................................................................85.1 Definities...................................................................................................................................85.2 Meetresultaten:Loadtestnominalebelasting..........................................................................8

5.2.1 Opsomming.......................................................................................................................85.2.2 Distributie..........................................................................................................................85.2.3 Systeemgedraging.............................................................................................................9

5.3 Meetresultaten:Loadtestpiekbelasting................................................................................115.3.1 Opsomming.....................................................................................................................115.3.2 Distributie........................................................................................................................115.3.3 Systeemgedraging...........................................................................................................12

6 Conclusies.......................................................................................................................................14

3



2 InleidingYenloisin2012begonnenmethetontwikkelenvanondersteuningvoorhetDigikoppelingebMS/WUSprotocolvoorhetWSO2EnterpriseServiceBuscomponent.DeimplementatievandezeebMS/WUSadapterheeftinmiddelsversie1.3.6bereiktwaarbijonderanderedebeveiligingsprofielenvandeDigikoppelingebMS/WUSkoppelvlakstandaardv2.0zijntoegevoegdaandefunctionaliteitenvandemodule.

DeYenloebMS/WUSadapterisontwikkeldalseenextensievoorhetEnterpriseServiceBuscomponentvanWSO2.

Terondersteuningvandereleasevanversie1.3.6vandeYenloebMS/WUSadapterisditperformancerapportsamengesteld.

Hetdoelvanditrapportishetverkrijgenvaninzichtindegedragingenvandeadapter,hetonderliggendeWSO2ESBproductenookdehardwarewaaropdezecomponentendraaien.

HetdoelvanhettesttrajectishetbepalenofdeebMS/WUSmodule(incombinatiemetdeWSO2ESB,dedatabaseendehardware)voldoendepresteertomeenbepaaldeloadsuccesvoltekunnenverwerken.

Eensuccesvolletestmoetvoldoenaandevolgendeeisen:

1. AlleberichtenwordencorrectontvangendoordeebMS/WUSmodule,dezeberichtenwordenopgeslagenindeebMS/WUSdatabase;

1. Deresponsetijdvanhetontvangenvanberichtenmoetminderdan2secondenbedragen;2. Hetgeheugengebruikvandetestopstellingblijftstabiel;3. HetCPUgebruikvandetestopstellingblijftstabiel.

DeperformancetestisuitgevoerdopeentestopstellingvanYenlo.DezetestopstellingisgelijkaaneenvereenvoudigdeopstellingvandeManagedDigikoppelingCloud(MDC).Dekeuzeomdetestopeenenkeleserveruittevoeren,zorgtervoordateventueleproblemeninhetMDC-clusternietdirecttothinderlijkperformanceverlieslijdenvoordeeindgebruikers.

4



3 ManagementsamenvattingDitdocumentgeeftinzichtindepresentatiesvandeYenloebMS/WUSadapter.Intweehoofdstukkenwordtuiteengezethoedeadapterzichgedraagtondernominale-enpiek-belasting.

Tijdensdenominalebelastingtestwordtuitgegaanvan20parallelleberichtstromenmetelkeenberichtenbelastingvan10berichtenperseconde.Ditstaatgelijkaaneenjaarlijkseberichtenlastvanongeveer4miljardberichten,uitgaandevan260werkdagen.

Tijdensdepiekbelastingtestwordtuitgegaanvan20parallelleberichtstromenmetelkeenberichtenbelastingvan25berichtenperseconde.Ditstaatgelijkaaneenjaarlijkseberichtenlastvanongeveer11miljardberichten,uitgaandevan260werkdagen.

Denominale-enpiektestresultatenzijnalsvolgtsamentevatten:

• Ondernominalebelastingisdegemiddelderesponsetijdperberichtop118milliseconde.• Onderpiekbelastingblijfthetsysteeminbedrijf.Berichtenwordenweliswaarlangzamer

verwerktmaarhetsysteemblijftgecontroleerdberichtenverwerken.

Detestopstellingdiehierisgebruiktiseenvoudig.ManagedDigikoppelingCloud(MDC)bevatkrachtigehardwareenomvatonderandereeengeclusterdesetupvandeWSO2ESBinclusiefebMS/WUSadapter.Detestisuitgevoerdopéénenkelemachine.MenmagdanookverwachtendatdeprestatiesvandeMDCbeterzijndanzijnwaargenomenopdevoordezetestgehanteerdetestopstelling.

5



4 Testopzet

4.1 TestopstellingDeTESTopstellingisdoorYenlogeïnstalleerdengeconfigureerdconformdestandaardinstallatiehandleidingenvanYenlovoorMDC.DeTESTomgevingdraaitinéénvandedatacentravanYenlo.

DeeigenschappenvandezeTESTomgevingwordenhieronderuiteengezetalsmedederelevanteaanpassingenaandestandaardinstallatievanhetbesturingssysteemendeJVM’s(JavaVirtualMachines).

Hardware

Eigenschap Waarde

Processor Intel(R)Xeon(R)[email protected]

Besturingsysteemgeheugen 64GB

Harddiskruimte 1TB

Software

Eigenschap Versie Geheugen(inGBs)

MySQL 5.5 12

WSO2EnterpriseServicebus(ESB) 4.8.1 1

WSO2GovernanceRegistry(GR) 4.5.2 0.5

WSO2BusinessActivityMonitoring(BAM) 2.0.1 1

WSO2APIManager 1.3.0 0.5

DeWSO2ESBopdeTESTomgevingisgekoppeldaaneenWSO2GRdiedraaitopdezelfdeTESTomgeving.DeWSO2ESBisnietgeclusterd.OpdeTESTomgevingdraaitookeenWSO2BAMinstallatieeneenWSO2AMinstallatie.Intotaaldraaienerdaarmee4JVM’s.BelangrijktevermeldenisdatvoordeJVMvandeESBeenheapsizevan4GBistoegewezen.

MetdezeperformancetestwordtenkeldeperformancevandeebMSmodulezelfgetest.DoordatmetdeebMSping/pongfunctionaliteitwordtgetestwordteenachterliggendeservicenietmeegenomenindeperformancemetingen.

6



4.2 UitvoeringVoorhetstartenendraaienvandeperformancetests(declient)wordtgebruikgemaaktvaneenstandaardlaptopvanuitdeYenlokantooromgeving.HierbijisgeverifieerddatdeloaddiewordtaangebrachtopdeTESTomgevingnietwordtbeperktdoordecapaciteitvandelaptop.

4.3 LoadprofielHetloadprofielbeschrijfthetsamenlopenvanberichten(concurrency)enhettegenererentransactievolumepertijdseenheid.

Erisrekeninggehoudenmetdevolgendeaannamesomtrentdeverdelingvanhetberichtenverkeer:

• 260werkdagenperjaar• 24urenperdagwaarvaner10alsbedrijfsurenwordengehanteerd.• 20ebMS/WUSberichtstromen.• Gemiddeldaantalberichtenperberichtstroomis5perseconde.

DeperformancevandeebMS/WUSmodulewordtgetestdoormiddelvandePING/PONGfunctionaliteitdieindeebMS/WUSspecificatiestandaardaanwezigis.DewerkingvandePING/PONGtransactiezieterschematischalsvolgtuit.

DeebMS/WUSadapterbehandeldeenPingberichtzoalseenbedrijfsberichtookbehandeldzouworden.Hetafhandelenvaneenberichtdoorlooptdevolgendestappen:

- Berichtwordtstructureelgevalideerd;voldoethetaandeebMS/WUSspecificaties- Berichtwordtinhoudelijkgecontroleerd;o.a.isdeCPA,serviceenactioncombinatiebekent

binnendezeebMS/WUSadapter- BerichtwordtopgeslagenindeebMS/WUSdatabase- (ingevalvanPing/Pong)PongberichtwordtdoordeebMS/WUSadaptersamengesteld;In

gevalvaneenbedrijfsberichtzaleenachterliggendproceshetberichtontvangenter

7



verwerking.DeebMS/WUSadapterontvangtvanhetachterliggendeproceshetantwoordbericht.

- Pongberichtwordtopgeslagenomverzondenteworden.- Pongberichtwordtverzonden.

DetijdtotdathetPONGantwoordberichtwordtontvangenisnietonderdeelvandetest,vanwegehetasynchronekaraktervandeebMS/WUSadapter.Echter,erwordtwelgeverifieerdofhetPongantwoordberichtdaadwerkelijkverstuurdwordt,waarmeedestabiliteitvandeomgevingwordtgegarandeerd.

4.4 Scenario’spertestonderdeel

4.4.1 LoadtestnominalebelastingInditscenariowordtdenominalebelastinggetestopbasisvandekengetallenomtrentvolumeuitdevorigeparagraaf.

Zoalsaangegevenishetuitgangspunt20berichtstromendieelk10berichtenpersecondeverwerken.Ditkomtneeropeentotaleberichtenstroomvan200berichtenperseconde(20stromen*10berichten).

Omgerekendnaarjaaraantallenbetekentdit:260werkdagen*24uur*60minuten*200=ongeveer4miljardberichtenperjaar.

DeperformancetestapplicatieJMeterisingesteldomgedurende1minuuthetaantalberichtenpersecondeoptebouwennaar200berichtenperseconde.Deloadwordtgedurende30minuteninstandgehouden.

4.4.2 LoadtestpiekbelastingInditscenariowordthetgedragvaneenpiekbelastinggetest.Depiekbelastingdievoordezeperformancetestisgehanteerdisvijfvoudigtenopzichtevandenominalebelasting.

Ditbetekentdateenbelastingwordtgesimuleerdwaarbijop20berichtstromenelk25berichtenpersecondewordenverstuurd.

Omgerekendnaarjaaraantallenbetekentdit:260werkdagen*24uur*60minuten*60seconden*500=ongeveer11miljardberichtenperjaar.

VoordezetestisJMeteringesteldomgedurende1minuuthetaantalberichtenpersecondeteverhogennaar500berichtenperseconde.Dezeloadwordtgedurende30minuteninstandgehoudenindiendeoverigeeisennietoverschredenworden.

Hetdoelvandepiekbelastingtestisvaststellenofhetsystemovereindblijfttijdensdepiekbelasting.DeYenloebMS/WUSadapterenhetplatformwaarophetdraaitwordtveelalingezetineenhoog-beschikbareomgeving.Hetisdaaromzeerwenselijkdathetsystemeenzohoogmogelijkebelastingaankanzonderdathetfaalt.Dezetestmoetaantonendathetsysteemomkangaanmetdezepiekbelastingzonderdathetfaaltofuitvalt.

8



5 TestresultatenIndithoofdstukstaatpertestscenariodemeetgegevensmetbetrekkingtotderesponsiviteitgepresenteerdindevormvanmeetresultatentabellenengrafieken.

HetisbelangrijkomindeinterpretatievandemeetresultatenmeetewegendatdeTESTomgevingveelminderkrachtigisdanbijvoorbeelddeMDC.MDCiseensysteemmetkrachtigereprocessoren,meergeheugenéndezeisdubbeluitgevoerdmeteenloadbalancerervoor.MDCzaldaaromeenveelhogerebelastingkunnenverwerkendandeTESTomgeving.

5.1 DefinitiesTerm Omschrijving

Min Dekortstwaargenomenresponstijd(milliseconden)

Gem Hetgemiddeldevandewaargenomenresponstijden(milliseconden)

Max Delangstwaargenomenresponstijd(milliseconden)

90% Het90percentielgeeftaandat90procentvanallewaarnemingenonderdevermelderesponstijdblijft.Dezemetriekwordtgebruiktomstatistischuiterstlangeresponstijdwaarnemingentefilteren.

Error% Hetpercentagevantransactiesdatnietsuccesvolverwerktis

5.2 Meetresultaten:Loadtestnominalebelasting

5.2.1 OpsommingGedurendedeloadtestzijngegevensverzameldoveronderanderedeminimale,maximaleengemiddelderesponsetijden.Dezegegevenslatenziendathetsysteemdeberichtenverwerkingbinnengesteldegrenzenaankan.

Test Min Gem Max 90% Error%

Nominalebelasting 48 118 1333 99 0

5.2.2 DistributieInonderstaandegrafiekisdedistributievanderesponsetijdenweergegeven.Eendergelijkegrafiekbehoorteenrustigbeeldtelatenzienindevormvaneennormaleverdeling.Ditgeeftaandathetsysteeminstaatisomdecontinueberichtenstroomgecontroleerdteverwerken.Indiendegrafiekgrilligvanaardisdangeeftditaandathetsysteemnietinstaatisomefficiëntengecontroleerdeenberichtenstroomteverwerken.

9



Figuur1Responsetijddistributie-nominaal

5.2.3 SysteemgedragingNietalleendesnelheidvanberichtenverwerkingisinteressantingevalvaneenperformancetest.Ookhetgedragvanhetonderliggendehardwaregeefteenbeeldvandewijzeenbetrouwbaarheidvandemeeting.

TestsuiteInonderstaandegrafiekwordtdeloadgetoondwelkedoorJMeterophetsysteemwordtuitgevoerd,detestbegintmet50berichtenpersecondeenwordtinstappenvan50verhoogttot200berichtenperseconde.DegrafiektoontaandathetMDCsysteemdeberichtensuccesvolverwerkt,onafhankelijkvanbelasting.

FiguurTestsuite-nominaal

10



ProcessorInonderstaandegrafiekwordtgetoondhoedeprocessorvanhetsysteemzichgedraagttijdensdetest.Degrafieklaatziendathetsysteemdegebodenloadeenvoudigaankan.Degemiddeldebelastingvandeprocessorbegeeftzichrond65%wateenacceptabelwaardeisvoordezetest.

Figuur2Processorbelasting-nominaal

GeheugenNaastdeprocessorisookhetgeheugengebruikeenindicatorvoordestabiliteitvanhetsysteem.Geheugengebruikbehoorteengrilligpatroontetonen.Hetsysteemruimtimmersveelgegevenscontinuop.Alshetsysteemdegegevensnietkanopruimenzaldegrafiekeenglooiender/vlakkerpatroontonen.

AangezienWSO2(endaarmeeeveneensdeYenloebMS/WUSadapter)ineenJVMdraaienishetgeheugengebruikvandeJVMtijdensdezetestinteressant.DeJVMkanimmersnietmeergeheugengebruikendanisgeconfigureerdtijdenshetopstartenvandeWSO2ESB.

Figuur3GeheugengebruikWSO2-nominaal

Hetgeelgemarkeerdevlakgeeftaanhoeveelgeheugenerisgereserveerdvoorapplicaties.Hetblauwevlakgeeftaanhoeveelgeheugendeapplicatiedaadwerkelijkgebruikt.Debovengrensvandegrafiekgeeftaanhoeveelgeheugenermaximaalgereserveerdkanworden.

Indegrafiekisteziendatdeapplicatieruimschootsmindergeheugengebruiktdanhetmaximaalbeschikbaregeheugen.

11



5.3 Meetresultaten:Loadtestpiekbelasting

5.3.1 OpsommingGedurendedepiekbelastingtestzijngegevensverzameldoveronderanderedeminimale,maximaleengemiddelderesponsetijden.Inonderstaandetabelisteziendattenopzichtvandenominalebelastingdecijfershogerzijn.

Test Min Gem Max 90% Error%

Nominalebelasting 48 3649 9408 6210 0

Degrenswaardenvandemaximalereponsetijdperberichtistijdensdezepiekbelastingtestoverschreden.Ookisechterteziendatondanksdeoverschrijdingvandemaximaleresponsetijd,van2secondenperbericht,hetsysteemnogsteedsinstaatisberichtenteverwerken.Hetverschiltussendemaximaleresponsetijdende90%percentiellaatziendathetsysteeminstaatisomberichtenteverwerken.Het90%percentielisimmerslagerdandemaximaalgemetenresponsetijd.

5.3.2 DistributieInonderstaandegrafiekisdedistributievanderesponsetijdenweergegeven.Eendergelijkegrafiekbehoorteenrustigbeeldtelatenzienindevormvaneennormaleverdeling.Ditgeeftaandathetsysteeminstaatisomdecontinueberichtenstroomgecontroleerdteverwerken.Indiendegrafiekgrilligvanaardisdangeeftditaandathetsysteemnietinstaatisomefficiëntengecontroleerdeenberichtenstroomteverwerken.

Figuur4Responsetijddistributie-piek

Bovenstaandegrafieklaatziendathetsysteemmoeiteheeftmethetverwerkenvanberichten.Deresponsetijdenzijnerguiteenlopend.

12



5.3.3 SysteemgedragingIngevalvaneenpiekbelastingtestisdegedragingvanhetonderliggendesysteeminteressant.Hieruitkannamelijkblijkenofdebottle-neckzichopbesturingsniveauofinsoftware-configuratiebevindt.

TestsuiteInonderstaandegrafiekwordtdeloadgetoondwelkedoorJMeterophetsysteemwordtuitgevoerd,detestbegintmet100berichtenpersecondeenwordtinstappenvan100verhoogttot500berichtenperseconde.DegrafiektoontaandathetMDCsysteemdeberichtensuccesvolverwerkt,onafhankelijkvanbelasting.

Figuur5Testsuite-piek

ProcessorInonderstaandegrafiekwordtgetoondhoedeprocessorvanhetsysteemzichgedraagttijdensdetest.Degrafieklaatziendathetsysteemdegebodenloadaankan.Degemiddeldebelastingvandeprocessorbegeeftzichrond65%wateenacceptabelewaardeisvoordezetest.

OmdaternueenpiekbelastingtestisuitgevoerdkanwordengeconcludeerddatmettuningvanparametersvanWSO2mogelijknogmeerperformanceuithetsysteemgehaaldkanworden.Tijdenseenpiekbelastingiseenprocessorbelastingvan90%acceptabel.

Figuur6Processorbelasting-piek

13



GeheugenNaastdeprocessorisookhetgeheugengebruikeenindicatorvoordestabiliteitvanhetsysteem.Geheugengebruikbehoorteengrilligpatroontetonen.Hetsysteemruimtimmersveelgegevenscontinuop.Alshetsysteemdegegevensnietkanopruimenzaldegrafiekeenglooiender/vlakkerpatroontonen.

AangezienWSO2(endaarmeeeveneensdeYenloebMS/WUSadapter)ineenJVMdraaienishetgeheugengebruikvandeJVMtijdensdezetestinteressant.DeJVMkanimmersnietmeergeheugengebruikendanisgeconfigureerdtijdenshetopstartenvandeWSO2ESB.

Figuur7GeheugengebruikWSO2-piek

InbovenstaandegrafiekgeeftdebovengrensaanhoeveelgeheugenermaximaalgereserveerdkanwordendoorapplicatiesbinnendeJVM.Hetgelevlakgeeftaanhoeveelgeheugenergereserveerdvoorapplicatieenhetblauwevlakgeeftaanhoeveelgeheugeneringebruikis.

Zoalstezienisinbovenstaandefiguurgebruiktdeapplicatieruimschootsmindergeheugendandaterbeschikbaarisbinnendegrenzenvanhetsysteem.Erisduidelijkteziendathetsysteemhetdrukkerhefthetgeheugenopteschonen.Erzijnimmersvelepiekenendalentezien.

Uitdezegrafiekblijktdatookonderdegebodenpiekbelastinghetsysteemnogwerkt.

14



6 ConclusiesDitdocumentbeschrijftdeperformancetestwelkeisuitgevoerdtegenversie1.3.6vandeYenloebMS/WUSadapter.

IntweehoofdstukkenwordtgetoondhoedeebMS/WUSadapter(endeWSO2Enterpriseservicebus)presterenondereennominale-enpiekbelasting.

Hetdoelvaneennominalebelastingtestishetgevenvaninzichtindegemiddelderesponsetijdophetbehandelenvanberichten.

Hetdoelvaneenpiekbelastingtestishetgevenvaninzichtinhetbeschikbaareninbedrijfblijvenvanhetsysteemonderhogebelasting.

Opbasisvandetestendiezijnuitgevoerdkanwordengeconcludeerddat,zelfsmetdeeenvoudigetestopstellingwelktijdensdetestgebruiktis,deebMS/WUSadapteruitstekendpresteert.Tijdensnominalebelastingisdegemiddelderesponsetijd118millisecondeperbericht.Onderpiekbelastinglooptdegemiddelderesponsetijdopmaarhetsysteemblijftbeschikbaaronderdegebodenpiekbelasting.

DetestopstellingdievoordezetestisgehanteerdiseenvoudigerdanhetgeenYenloaanbiedindevormvandeManagedDigikoppelingCloud(MDC).MDCiseendubbeluitgevoerdsysteemenbezitmeerprocessorengeheugencapaciteit.DoordatloadbalancingenclusteringtoegepastwordtkanmenervanuitgaandatmeteenMDCoplossingdeprestatiesvandeebMS/WUSadaptermeermalenbeterzullenzijn.

nl yenlo managed services mdc testrapport performance v10 · 2019-04-12 · onderliggende wso2 esb...

Documents