Poboljšanje uvoza podataka i objave na web trgovini u Spryker Cloud Commerce OS-u

Zahtjevi klijenta

Izazovi u obradi podataka

Učinkovita obrada podataka ključna je za održavanje integriteta i performansi e-commerce platforme. Ovaj odjeljak opisuje značajne izazove s kojima smo se susreli prilikom obrade velikih skupova podataka unutar Spryker Cloud Commerce OS-a.​

Pad performansi Spryker Cloud Commerce OS-a

Obrada velikih skupova podataka (50k+ zapisa) korištenjem Spryker Standard Implementacije dovodi do znatnog pada performansi. Ovaj problem posebno je uočen tijekom projekta kada smo prvi put pokrenuli testove performansi integracije koristeći Spryker Standard Implementaciju.

Ključni izazovi i zapažanja:

1. Produljeno vrijeme uvoza: Vrijeme uvoza znatno raste s porastom broja zapisa, prvenstveno zbog obrade red po red​
2. Usko grlo u obradi: Velika količina eventova generiranih vezano uz uvoz, ponekad duplicirana, djeluje kao usko grlo koje usporava cijeli sustav. Ovaj problem ne utječe samo na procese uvoza, već i onemogućuje pravovremenu obradu drugih eventova
3. Stabilnost Rabbit MQ-a i Jenkinsa: Operacije koje intenzivno troše resurse povremeno su dovodile do rušenja Rabbit MQ-a i Jenkinsa. ​
4. Kašnjenja u objavi: Dolazi do kašnjenja u ažuriranju cijena proizvoda i dostupnosti zaliha na web trgovini, što rezultira nepodudarnostima gdje kupci mogu vidjeti zastarjele informacije.

Utjecaj na poslovanje

Posljedice uočenih izazova i neučinkovite obrade podataka ne odnose se samo na tehničke performanse i rasipanje resursa, već utječu i na poslovne operacije i zadovoljstvo kupaca te imaju sljedeći utjecaj:

Pregled poboljšanog mehanizma

Razvili smo robustan mehanizam koji znatno poboljšava performanse i skalabilnost. Ovaj odjeljak opisuje detalje našeg poboljšanog uvoza i obrade

Poboljšani mehanizam

Kako bismo odgovorili na klijentove integracijske zahtjeve i prevladali ograničenja Spryker Standard implementacije, odlučili smo pokriti cjelokupni proces koristeći dvije ključne komponente: Data Importer i Data Publisher. Ove komponente sastoje se od manjih koraka radi boljeg rukovanja greškama i veće učinkovitosti obrade.​

Ovakav pristup omogućuje nam da unaprjeđujemo performanse i istovremeno učinkovito implementiramo prilagodbe specifične za projekt u budućnosti, čime ne koristimo samo ovom konkretnom klijentu, već i svakom kupcu sa sličnim zahtjevima.

Data Importer: Pregled cijena i zaliha

Primanje podataka iz SAP-a putem Glue API-ja: podaci se primaju i upisuju u uvoznu tablicu​

​

Parametar veličine grupe (batch size): parametar za definiranje veličine bloka podataka (chunk), u našem slučaju veličina bloka definirana je na 50k zapisa​

​

Izvršavanje Jenkins Joba: Jenkins job izvršava naredbu koja pokreće proces. Svi sljedeći koraci izvršavaju se u petlji sve dok se ne obrade svi zapisi u uvoznoj tablici. U slučaju greške, petlja se prekida, a poruka o grešci prikazuje se u Jenkins output konzoli.​

​

Označavanje zapisa za obradu: Dodjeljivanje UUID-ova zapisima u uvoznoj tablici, prema veličini bloka. Svi sljedeći koraci i logika primjenjuju se samo na taj specifični skup zapisa, odnosno blok.​

​

Izvršavanje kalkulacija: Ovaj korak priprema podatke i ažurira uvoznu tablicu informacijama poput dostupnosti, referenci ponuda, stranih ključeva itd. To nam omogućuje da u sljedećim koracima koristimo samo uvoznu tablicu, čime se smanjuje vjerojatnost database deadlockova na Spryker tablicama.​

​

Uvoz podataka u Spryker tablice: Obogaćeni podaci uvoze se u Spryker tablice. Svi potrebni podaci preuzimaju se iz uvozne tablice, čime se osigurava da tijekom ovog koraka nisu potrebne dodatne kalkulacije.

Usporedna analiza