Slovenija pridobila dva »naj« superračunalnika

18.06.2021

V začetku marca je Akademsko raziskovalno omrežje Slovenije (Arnes) v Ljubljani zagnalo v tem trenutku najzmogljivejši superračunalnik pri nas. Le malo zatem, 20. aprila, je Institut informacijskih znanosti (IZUM) v Mariboru uradno zagnal še močnejši superračunalnik Vega. Oba »visokozmogljiva računalnika« (HPC) sta velika pridobitev za slovensko znanost in gospodarstvo.

Najzmogljivejši slovenski superračunalnik, ki so ga poimenovali po našem matematiku Juriju Vegi, je postavila evropska družba Atos s sedežem v Franciji v sodelovanju s slovenskimi podjetji ATR.SIS iz Trzina in NTR inženiring iz Maribora. Vega se ponaša z zmogljivostjo 6,8 petaflopa na sekundo oz. 6,8 milijona milijard izračunov s plavajočo vejico na sekundo (kar je približno 13-krat več od Arnesovih 0,52 petaflopa na sekundo). S tem se trenutno uvršča na seznam 50 najmočnejših superračunalnikov na svetu. Vega je skupna naložba Slovenije in Evropske unije, vredna 17,2 milijona evrov, od česar sta 65,8 odstotka prispevala Evropski sklad za regionalni razvoj (EU) in slovensko Ministrstvo za izobraževanje, znanost in šport, 34,2 odstotka pa je financiralo Skupno podjetje EuroHPC.

-Osebna izkaznica Vege

• Zmogljivost: trajna 6,8 PFLOPS, najvišja 10,1 PFLOPS,
• Računske particije: particija CPU: 960 vozlišč, 256 GB pomnilnika/vozlišče, 20 odstotkov vozlišč s podvojenim pomnilnikom, HDR100; particija GPU: 60 vozlišč, HDR200,
• Centralna procesna enota (CPU): 122.800 jeder, 1920 procesorjev, AMD Epyc 7H12;
• Grafična procesna enota (GPU): 240 kartic Nvidia A100,
• Pomnilniške kapacitete: visokozmogljivi NVMe sistem Lustre (1 PB), sistem Ceph z veliko kapaciteto (23 PB),
• Uporaba: tradicionalne računske obdelave, umetna inteligenca, množični podatki/HPDA, obdelava obsežnih podatkov, • Zunanja povezava: do 500 Gbit/s.

»Zmogljiva podpora znanosti in gospodarstvu: Vega bo med drugim omogočal izredno hiter prenos podatkov do drugih superračunalniških centrov (500 Gbit/s) in njihovo trajno hrambo (24 petabajtov)

-Osebna izkaznica Arnesove gruč

•  Zmogljivost: skupaj 520 TFLOPS (teoretična zmogljivost 4256 jeder približno 170 TFLOPS, zmogljivost 48 novih grafičnih procesorjev NVidia V100s več kot 350 TFLOPS)
• 62 strežnikov s procesorjem AMD Epyc 7702P 64 C/128 T, 256 GB RAM,
• 24 strežnikov s procesorjem AMD Epyc 7272 12 C/24 T, 128 GB RAM in 2x NVidia V100s,
• 10 strežnikov za diskovni sistem CEPH s 150 TB HDD in 16 TB SSD,
• Skupaj: 4256 novih procesorskih jeder, 17,9 TB RAM, 3 PB bruto HDD, 320 TB SSD,
• Zunanja povezava: 100 Gbit/s

Krepitev sodelovanja na področju superračunalništva: prenovljeni superračunalnik Arnes

Med najzmogljivejšimi na svetu

Pomočnik direktorja IZUM-a, Branko Zebec, ocenjuje, da bodo skupni stroški Vege dosegli okoli 24 milijonov evrov, od tega 19 milijonov za sam projekt in okoli milijon evrov letno za obratovalne stroške (predvsem za elektriko ter vzdrževanje in sistemsko podporo, pa tudi za razvojno-inženirsko delo). Zaradi Vege je zaposlenih trenutno šest novih sodelavcev, pozneje pa bo verjetno zaposlenih še nekaj novih. IZUM si želi zaposlovati tudi raziskovalce in uporabnike, ki so v Sloveniji v pretežni meri razpršeni po raziskovalnih skupinah znotraj svojih institucij. Za vzdrževanje infrastrukture skozi njeno celotno življenjsko dobo bosta skrbeli ATR.SIS in NTR inženiring, ki sta pri gradnji Vege opravili vse aktivnosti, povezane s postavitvijo sistemske infrastrukture. To vključuje podatkovni center, sisteme napajanja in hlajenja, vse komponente superračunalnika, mrežne sisteme in podporne sisteme ter zagon infrastrukture.

Na »uradni« lestvici najzmogljivejših računalnikov na svetu iz novembra lani je Vega na 39. mestu. Prvi na lestvici je japonski superračunalnik Fugaku (442 PFLOPS), drugi in tretji pa sta ameriška superračunalnika Summit (148 PFLOPS) in Sierra (94 PFLOPS). ZDA imajo na lestvici do 50. mesta največ superračunalnikov, kar 16, Japonska 10, Nemčija in Francija po pet, Italija tri in Kitajska dva. Do 38. mesta na seznamu imajo po en superračunalnik še Savdska Arabija, Švica, Južna Koreja, Avstralija, Tajska, Združeni arabski emirati in Združeno kraljestvo. Slovenija je tako prehitela Rusijo in Španijo ter vse druge države, kar je izreden uspeh. Na novi lestvici (ki bo objavljena julija), na katero bo uradno uvrščen tudi Vega, ni pričakovati tako visokega mesta, ker se tudi drugod v svetu gradijo veliki superračunalniki.

-Najzmogljivejši superračunalniki v Sloveniji

1. HPC RIVR Vega 6,8 PFLOPS (IZUM Maribor)
2. Arnes 520 TFLOPS (Arnes)
3. Arctur-2 350 TFLOPS (Arctur Nova Gorica)
4. HPC RIVR Maister 244 TFLOPS (Univerza v Mariboru)
5. SIGNET 43 TFLOPS (Inštitut Jožef Stefan)
6. Ažmanov računski center 35 TFLOPS (Kemijski inštitut)
7. HPC 24 TFLOPS (Fakulteta za strojništvo)
8. SDIICE-X 20 TFLOPS (Agencija RS za okolje)
9. Atos 19 TFLOPS (Institut Jožef Stefan)
10. NSC 13 TFLOPS (Institut Jožef Stefan)
Vir: Univerza v Mariboru, 2021

»Pogled v »notranjost« Vege: mariborski superračunalnik pri koncu montaže

Gonilna sila inovacij

Vega je del projekta HPC RIVR (RIVR pomeni »raziskovalna infrastruktura vzhodna regija«), namenjenega vzpostavitvi nacionalnega superračunalniškega centra z glavnim ciljem krepitve nacionalnih visokozmogljivih računskih kapacitet za potrebe slovenskega raziskovalno-inovacijskega in gospodarskega prostora. Izvajanje projekta bo občutno pripomoglo k izpolnitvi ciljev Deklaracije za sodelovanje na področju visokozmogljivega računalništva Skupnega podjetja EuroHPC, ki Slovenijo, potem ko jo je podpisala, zavezuje k vzpostavljanju integrirane in dostopne visokozmogljive računalniške infrastrukture. Arnes in IZUM sta skupaj povezala slovensko skupnosti HPC in HPDA v Slovensko nacionalno superračunalniško omrežje SLING.

Slovenija je z Vego pridobila raziskovalno infrastrukturo, pomembno za domače raziskovalne projekte, razvoj znanosti in gospodarstva, IZUM pa je postal del vrhunskega evropskega superračunalniškega ekosistema in evropske digitalne neodvisnosti. »Nove generacije izvedencev in raziskovalcev ter širša slovenska in evropska strokovna javnost so z Vego dobile na razpolago vrhunsko tehnologijo, s katero bodo lahko kos novim izzivom v regionalnih in evropskih iniciativah,« pravi dr. Aleš Bošnjak, direktor IZUM-a. »Evropski raziskovalci in uporabniki iz gospodarstva in javnega sektorja ne glede na to, iz katere države prihajajo, pa so dobili gonilno silo inovacije, ki bo Evropi pomagala v globalnem tekmovanju na strateških področjih, kot so umetna inteligenca, napredna podatkovna analitika, personalizirana medicina, bioinženirstvo itd.,« dodaja Bošnjak.

Združevanje naložb in virov

»Projekt HPC RIVR in uspešna izvedba kompleksnega javnega naročila za nabavo superračunalnika Vega sta dokazala, da so na Univerzi v Mariboru s sodelovanjem sposobni izpeljati tudi najzahtevnejše projekte,« razlaga prof. dr. Zoran Ren, prorektor za znanstvenoraziskovalno dejavnost Univerze v Mariboru in vodja projekta HPC RIVR. »Sodelovanje pa bo še kako potrebno za učinkovito izrabo novih superračunalniških sistemov ter zagotavljanje njihovega nadaljnjega razvoja in nadgradnje zmogljivosti v prihodnje,« pritrjuje Ren. »Vega je prvi superračunalnik, ki je dostopen online, s čimer predstavlja zelo pomemben mejnik pri uresničitvi našega skupnega cilja – izgraditi vrhunski ekosistem visokozmogljivega računalništva v Evropi do leta 2027,« meni Andres Dam Jensen, direktor Skupnega podjetja EuroHPC. »Vega bo bistveno povečal računalniške zmogljivosti, ki so trenutno na voljo v Evropi,« dodaja.

Jensen pojasnjuje, da EuroHPC tlakuje pot do vodilne vloge Evrope na področju superračunalniške odličnosti in avtonomnosti po zaslugi novega načina delovanja sodelujočih držav in EU, ki združujejo naložbe in vire za skupni cilj. »Skupno podjetje EuroHPC bo še naprej vlagalo v razvoj in namestitev nove tehnologije in aplikacij visokozmogljivega računalništva,« poudarja Jensen. V okviru pobude EuroHPC bo Vegi sledilo še sedem drugih sistemov: štirje podobne velikosti (LuxProvide v Luksemburgu, Sofiatech v Bolgariji, IT4Innovations na Češkem in Minho na Portugalskem) ter trije z zmogljivostjo blizu eksaflopa (trilijona izračunov) na sekundo (superračunalniški center v Barceloni, superračunalnik LUMI v finskem mestu Kajaani in Leonardo-CINECA v Bologni).

Slovenski SLING, poleg sodelovanja v evropskih pobudah, kot sta PRACE in EuroHPC, sodeluje tudi v projektu Leonardo (CINECA).

Superračunalnik Arnes

Arnesova superračunalniška gruča je s prenovo dobila kar 4256 novih procesorskih jeder, s teoretično zmogljivostjo skoraj 170 TFLOPS (teraflopov na sekundo), in 48 novih grafičnih procesorjev Nvidia V100s, z zmogljivostjo več kot 350 TFLOPS. Skupna zmogljivost superračunalnika je tako dosegla okrog 520 TFLOPS oz. 520 tisoč milijard računskih operacij s plavajočo vejico na sekundo. Poleg računskih zmogljivosti so se povečale tudi diskovne: štiri velike diskovne strežnike, ki so s pomočjo razpršenega omrežnega podatkovnega sistema CEPH zagotavljali diskovni prostor gruči, je nadomestilo kar deset novih, od katerih je vsak prispeval 150 TB prostora na trdih diskih in 16 TB na hitrih diskih SSD, kar omogoča vzporedno pisanje in branje na več diskov in več strežnikov, s tem pa se povečuje varnost podatkov in pospešuje delovanje.

Raj za raziskovalce

Prenovljeni sistem bo tako zagotavljal hiter vzporeden dostop do več kot 1 PB uporabnega prostora na trdih diskih in več kot 100 TB na hitrih diskih SSD. Arnesov superračunalnik podpira uporabo za izobraževanje, med raziskovalci pa največ na področjih umetne inteligence in tehnologije znanja, teoretske fizike in fizike delcev, v genomiki, računski kemiji in pri obdelavah velepodatkov. V prenovljeni obliki je primeren tudi za analizo posnetkov kriomikroskopije in druge intenzivne obdelave podatkov. Dostop do superračunalnikov je za raziskovalce pogosto ključnega pomena, ker rezultate dobijo hitreje, lahko preizkusijo več pristopov, predvsem pa lahko obdelajo bistveno več podatkov in se lotijo mnogo zahtevnejših problemov.

Zasedenost Arnesove gruče je v letu 2020 znašala 87 odstotkov. Na gručah, ki so vključene v SLING, delajo raziskovalci obeh največjih inštitutov – Kemijskega inštituta (KI) in Instituta Jožef Stefan (IJS) ter univerz v Ljubljani, Mariboru, Novem mestu in Novi Gorici.

Na vseh se izvajajo analize za covid-19 (tako v domeni MF kot tudi folding@home). Na področju medicine je veliko raziskav genetike, obdelav rentgenskih slik, razvoja terapij, statistične obdelave za najrazličnejša obolenja, strojno učenje iz slik ipd. KI izvaja veliko obdelav kriomikroskopskih slik, sicer pa predvsem dela na molekularni dinamiki. Gozdarski inštitut dela med drugim raziskave za proučevanje in napovedovanje širjenja lubadarja v Sloveniji.

Številni slovenski projekti

Med konkretnejšimi slovenskimi projekti, ki so se izvajali v okviru SLING-a, je treba omeniti tudi podaljšanje delovanja sonde Mars Express (E8 IJS), protitumorske terapije (BF), odkritje gena progerije (MF), genetika (KIMG), simulacija Monte Carlo za distribucijo moči v reaktorju Krško, proučevanje proteinov, njihovih oblik in vpliva na razvoj Parkinsonove in Alzheimerjeve bolezni (KI), analiza cestnega prometa, simulacije potresov (FGG), simulacije požarov (FKKT), dekodiranje videoposnetkov, napovedovanje vremena, napovedovanje podnebnih sprememb, razvoj zdravil, razgradnjo rastlinskih polimerov, metagenomiko (BF) ter kombinatorične lastnosti problema hanojskih stolpov (UM).

Na Arnesu poudarjajo, da je sicer na gručah ogromno strojnega učenja (SU), razvoja algoritmov SU, računalniškega vida, podatkovnega rudarjenja, generiranja baz znanja, predikcij in prepoznave govora, pa tudi fizike delcev, teoretske fizike, astrofizike, računske lingvistike ter znanosti o življenju in okolju. Arnes sodeluje tudi mednarodno, na eksperimentih Atlas, Belle, Pierre Auger, Clarin, Elixir. Na FRI se štirje predmeti prav tako izvajajo na SLING-u. Največje povpraševanje so v Arnesu zaznali po karticah GPU, katerih zasedenost je med 70 in 93 odstotkov, tako so uporabniki kar dolgo čakali v vrsti na proste kapacitete. Nove kartice na Arnesovem superračunalniku bodo izjemno uporabne.

Avtor: Esad Jakupović