Overlevelse af en trafik spike: hvordan et venteværelse holder dit websted i live
Nogle gange overstiger efterspørgslen simpelthen, hvad dit websted kan klare – et produktfald, et viralt øjeblik, en billetudgivelse. Et venteværelse er forskellen mellem en kø og et nedbrud.
Et venteværelse er en virtuel kø, der sidder foran dit websted. Når flere besøgende ankommer, end du sikkert kan tjene, tillader det folk op til en kapacitetsgrænse og holder resten, viser deres position og en anslået ventetid. I stedet for at alle får et ødelagt websted, får folkene indeni et, der fungerer, og køen bevæger sig støt. Den hårde del er ikke køen - det er at vælge kapacitetsnummeret.
Der er en fejltilstand, som caching ikke løser. Caching fungerer, fordi de fleste anmodninger er for det samme indhold; der er et venteværelse til den situation, hvor de ikke er - hvor tusindvis af mennesker samtidig har brug for de virkelig dynamiske dele af dit websted. Tilføjelse til en vogn. Tjekker inventaret. Betaler.
Du kan ikke cache din vej ud af det, fordi hver af disse anmodninger er legitimt forskellige og legitimt dyre. På det tidspunkt har du præcis to muligheder, og kun en af dem ender med salg.
Med et venteværelse
- Besøgende får et fuldt fungerende websted
- Alle andre ser en klar position og vurderer
- Din oprindelse holder sig inden for sine grænser
- Salget fortsætter hele tiden
Uden en
- Alle kommer på én gang
- Webstedet bliver langsommere, så tiden går ud
- Ingen gennemfører et køb, heller ikke de tidlige ankomster
- Retrievers gør det værre
Fejltilstanden uden kø er værre, end den først ser ud. Under overbelastning, anmodninger ikke fejler rent de kø inde i din ansøgning, time out efter tredive sekunder, og den besøgende straks opdateres, tilføje en anden anmodning til et system, der allerede er bagud. Et nedbrud under belastning er selvforstærkende på en måde, som en kø ikke er.
Sådan fungerer køen faktisk
En besøgende ankommer og bliver tjekket
Kanten søger efter et gyldigt symbol for sessionen. Hvis de allerede har en, passerer de lige igennem uden forsinkelse og ingen rundtur til noget.
Hvis der er plads, er de tilladte
Under kapacitetsgrænsen er optagelsen øjeblikkelig og usynlig. De fleste besøgende på de fleste dage ved aldrig, at venteværelset eksisterer.
Hvis ikke, kommer de i køen
De modtager en side i køen, der viser deres position og en anslået ventetid, og som afventer opdateringer.
Spilleautomaterne åbner sig, og køen går fremad
Når aktive sessioner slutter - gennem kassen, inaktivitet eller forlader - optages de næste personer i køen automatisk.
Hvordan køen ved, at nogen har forladt den
Dette er den del, der bestemmer, om en kø skal flyttes eller stoppes. Hvis optagelsen kun blev frigivet, når en session udløb på en timer, ville en kø gå videre med timeoutets hastighed, uanset hvad folk rent faktisk gjorde.
I praksis er der tre signaler, der giver et slot. En godkendt besøgendes browser sender et periodisk hjerteslag, så systemet ved, at de stadig er der. Når de lukker fanen, sender browseren et startfyr, der frigiver pladsen med det samme. Og hvis hjerteslag stopper uden et afgangssignal - en bærbar låg lukker, et telefon taber signal - frigives sessionen efter en inaktivitetstimeout. De to første er, hvad der får en kø til at føles responsiv; den tredje er sikkerhedsnettet.
Valg af kapacitetsnummer
Det er den virkelig svære del, og det er dyrt at sætte det forkert i begge retninger.
For højt og venteværelset gør intet - du indrømmer flere mennesker, end webstedet kan tjene, alle inde har en dårlig tid, og du har tilføjet en kø til et brudt websted. For lavt, og du sætter folk i kø unødigt, hvilket er en reel omkostning: En del af dem, der bliver bedt om at vente, forlader simpelthen stedet.
Tallet skal komme fra en belastningstest, ikke fra intuition. Find den samtidighed, hvor dine svartider begynder at klatre, mens gennemstrømningen stopper med at forbedre, og sæt derefter kapacitet lidt under det bøjningspunkt, så der er hovedrum. To yderligere overvejelser:
- Kapacitet betyder samtidige aktive sessioner, ikke anmodninger pr. sekund. En besøgende, der er inaktiv på en produktside, bruger et slot, uden at det koster noget.
- Sessionsvarighed er lige så vigtig som kapacitet. Med 500 slots og 10-minutters sessioner du indrømme 3.000 mennesker i timen; halvere session længde og du fordoble gennemløb med risiko for at skubbe nogen midt-checkout.
- Omgå alt, hvad der ikke er en person shopping. Statiske aktiver, helbredstjek, dit eget teams adresser, tilbagekald fra betalingsudbydere. En kø, der fanger din overvågning, er en kø, der blænder dig præcis, når du har brug for at se.
At gøre ventetiden tålelig
Køpsykologi er en virkelig og velundersøgt ting, og det kommer ned til et fund: usikre ventetider føles langt længere end kendte. En kø, der siger "du er nummer 1.240 af 4.100, omkring seks minutter" opleves som dramatisk kortere end den samme ventetid med en spinner.
Det betyder, at køsiden fortjener mere eftertanke, end den normalt får. Vis positionen og opdater den synligt, så nummeret, der flyttes, er bevis på, at systemet fungerer. Giv et skøn og vær konservativ - et skøn, der vokser, er langt værre end et, der krymper. Forklar kort, hvorfor køen eksisterer, da "høj efterspørgsel" er beroligende, hvor en uforklarlig ventetid er alarmerende. Og indrøm det automatisk i stedet for at bede folk om at friske op, for en person, der træder væk, bør ikke miste sin plads.
Tænd venteværelset, før trafikken ankommer, ikke under. Aktivering af det, mens webstedet allerede fejler, betyder, at køen selv skal konfigureres under belastning, og det første, en kø gør, er kortvarigt at øge anmodninger, da alles side genindlæses.
Ofte stillede spørgsmål
Hvad er et venteværelse på en hjemmeside?
Et venteværelse eller virtuel kø er et system, der sidder foran et websted og begrænser antallet af besøgende på én gang. Besøgende, der ankommer, mens webstedet er under dets kapacitetsgrænse, passerer gennem straks; dem, der ankommer, når det er fuldt, holdes på en køside, der viser deres position og anslået ventetid og optages automatisk som slots fri.
Hvornår skal jeg bruge et venteværelse?
Når efterspørgslen virkelig overstiger, hvad din infrastruktur kan tjene, og trafikken ikke kan cachelagres væk - produktfald, billetsalg, lanceringer med begrænset lager og virale øjeblikke. Det er ikke en erstatning for caching, som håndterer det langt mere almindelige tilfælde, at mange mennesker anmoder om det samme indhold. Det er til brug, når tusinder af mennesker samtidig har brug for dynamiske operationer pr. person, f.eks. checkout.
Hvordan bestemmer jeg kapaciteten til et venteværelse?
Afled det fra en belastningstest snarere end intuition. Find det samtidige niveau, hvor svartiderne begynder at klatre, mens gennemstrømningen stopper med at forbedre, og sæt kapacitet under det punkt for at forlade hovedrummet. Bemærk, at kapacitet betyder samtidige aktive sessioner i stedet for anmodninger pr. sekund, og at sessionens varighed betyder lige så meget som grænsen – kortere sessioner flytter flere mennesker igennem, med risiko for at skubbe nogen ud Midten af checkout.
Hvordan ved et venteværelse, hvornår nogen går?
Gennem tre signaler. Indrømte besøgendes browsere sender periodiske hjerteslag, der bekræfter, at de stadig er til stede; lukning af en fane sender et afgangsfyr, der frigiver pladsen straks; og hvis hjerteslag stopper uden et afgangssignal, sessionen frigives efter en timeout for inaktivitet. De to første holder køen kørende, mens timeoutet fanger lukkede bærbare computere og mistede forbindelser.
Mister venteværelset dine kunder?
En vis andel af besøgende i kø vil forlade stedet, og derfor bør kapaciteten ikke sættes unødigt lavt. Men alternativet under ægte overbelastning er ikke et hurtigt websted - det er et websted, hvor anmodninger om timeout, besøgende opdaterer og gør det værre, og ingen gennemfører et køb, herunder dem, der ankom først. En kø konverterer nogle besøgende; et overbelastet websted konverterer næsten ingen.
Reserver det for de øjeblikke, der berettiger det - dråber, på salg, den dag du uventet ender på forsiden af noget - og et venteværelse bliver "webstedet gik ned" i "Jeg ventede to minutter og fik min". Hvilket er en samtale, som dit supportteam meget gerne vil have.
Mads har arbejdet med IT – mest som vært – siden han var 16. Han tog tidligt ejerskab i en SaaS-virksomhed og var med til at udvide den til Visma, har opbygget og drevet datacenternetværk og fungeret som CTO for et dansk datacenter. Han startede NordicCDN for at gøre hurtig og sikker infrastruktur enkel at bruge.
