Hajussüsteemid 2025 - Redigeerimiste ajalugu

Tammet: Uus lehekülg: '

revolutsioon Ainekoodid: ITI0215
Aine nimed: Hajussüsteemid
Link: http://lambda.ee/wiki/Hajuss%C3%BCstee...'
2026-02-01T17:14:58Z

Uus lehekülg: '<table> <tr> <td> left|revolutsioon </td> <td> Ainekoodid: ITI0215<br> Aine nimed: Hajussüsteemid<br> Link: http://lambda.ee/wiki/Hajuss%C3%BCstee...'

Uus lehekülg
<table>
<tr>
<td>
[[Pilt:Revolution_small.jpg|left|revolutsioon]]
</td>
<td>
Ainekoodid: ITI0215<br>
Aine nimed: Hajussüsteemid<br>
Link: http://lambda.ee/wiki/Hajuss%C3%BCsteemid<br>
Punkte: 6 EAP<br>
Õppejõud: [https://www.facebook.com/tanel.tammet Tanel Tammet] tanel.tammet@ttu.ee<br>
Praktikumijuhendaja: Martin Verrev<br>
Olemas on ka [[Hajussüsteemid 2024|2024 aasta materjalide arhiiv]].
</td>
</tr>
</table>

= <font color="red">NB! See on 2025 aasta arhiiv, mitte aktuaalsed materjalid!</font> =

= <font color="red">Exam results</font> =

* Here are [[distributed systems exam 1 2025|the results after the first exam]], including the current state of labwork points.
* Here are [[distributed systems exam 2 2025|the results after the second exam]], including the current state of labwork points.
* Here are [[distributed systems exam 3 2025|the results after the third exam]], including the current state of labwork points.
* Here are [[distributed systems final grades 2025|final grades after the fourth exam]], currently also in ÕIS.

= Exam date/times =

Exam together with the [http://lambda.ee/wiki/Teadmiste_formaliseerimine Teadmiste formaliseerimine ITI8700]

* 21 May: 11:30 in the room U04-103.
* 27 May: 11:00 in the room NRG-131
* 5 June: 15:00 in the room U04-103
* 10 June: 15:00 in the room U04-103

The materials below marked with the red <font color="red">E1</font> are the main materials for the exam, while <font color="red">E2</font> materials will also come up, but less and/or in a simpler form.



= Aeg, koht =

Semester: kevad<br>
Tulemus: eksam<br>
Hindamise meetod: praktikumide tulemused (50%) ja eksam (50%)<br>

Loeng (Tanel): teisipäeval 16:00-17:30 ruumis SOC-312.<br>
Praktikum (Martin): kolmapäeval kell 14:00-15:30 ruumis U06A-204.<br>

Plaan on teha enamik loenguid kohapeal ja väiksem osa distantsilt. Praksid toimuvad vähemalt esialgu kohapeal, ja võimalik, et osad hiljem distantsilt. NB! Ei ole garantiid, et teamsi-salvestused alati õnnestuvad.

Kogu info, materjalid ja ülesanded on siinsamas lambda lehel.

Palun liitu kursuse [https://teams.microsoft.com/l/team/19%3Av_xUeIbqt5Mv22ia0rb6gWoxusQR8amjLNws3b2MTWg1%40thread.tacv2/conversations?groupId=370c5e0b-4fc1-453b-894a-50a28cacaba0&tenantId=3efd4d88-9b88-4fc9-b6c0-c7ca50f1db57 teamsi grupiga]: iseregistreerumise võti on 5ap288s.

Iganädalase [https://teams.microsoft.com/l/message/19:v_xUeIbqt5Mv22ia0rb6gWoxusQR8amjLNws3b2MTWg1@thread.tacv2/1738563420306?tenantId=3efd4d88-9b88-4fc9-b6c0-c7ca50f1db57&groupId=370c5e0b-4fc1-453b-894a-50a28cacaba0&parentMessageId=1738563420306&teamName=Hajuss%C3%BCsteemid%202025&channelName=General&createdTime=1738563420306 teamsi loengu-meeti link].

Iganädalase [https://teams.microsoft.com/l/message/19:v_xUeIbqt5Mv22ia0rb6gWoxusQR8amjLNws3b2MTWg1@thread.tacv2/1738563547444?tenantId=3efd4d88-9b88-4fc9-b6c0-c7ca50f1db57&groupId=370c5e0b-4fc1-453b-894a-50a28cacaba0&parentMessageId=1738563547444&teamName=Hajuss%C3%BCsteemid%202025&channelName=General&createdTime=1738563547444 teamsi praksi-meeti link].

<font color="red">NB!</font> Allpool olev blokkide struktuur on sarnane, kui 2024 aastal, aga mitte päris sama. Toimunud loengute materjalid ja salvestused osaliselt uuendatakse/muudetakse: kogu info veel mitte toimunud loengute ja veel mitte selgitatud/uuendatud prakside kohta on esialgne.

= Hindamine =

Kursuse edukaks sooritamiseks on sul vaja:

* saada arvestatud mõlemid praktikumid
* teha eksam tasemel vähemalt 1/3 eksami kogupunktidest.
* saada praktikumid + eksam kokku vähemalt 50 punkti.

Kursuse hinde rehkendamisel annavad praktikumid kokku 50% kogupunktidest ning eksam 50%.


The materials below marked with the red <font color="red">E1</font> are the main materials for the exam, while <font color="red">E2</font> materials will also come up, but less and/or in a simpler form.

= Nädala ülesanded =

Mõnel nädalal antakse väike kohustuslik ülesanne: õppejõule tuleb kas saata emailiga kokkuvõte/mikroessee. Ülesanded pannakse kirja siiasamasse.


= Praktikumid =

Kokku on praktikumitöid kaks. Ülesanded jaotatakse kohustuslikuks baasosaks ja valikosadeks: igaühel oma punktiarv. Kumbki praktikum täismahus (baasosa + kõik valikosad) tehtuna annab 25 punkti. Võivad lisanduda ekstrapunktid eriti hästi tehtud osade või täienduste eest. Hilinenud kodutöö eest saab pooled muidu saadaolevad punktid.

Õppejõu poolt praktikumides kirjutatud koodinäited on leitavad siit: https://github.com/martinve/ITI0215_25

Praktikumitööd on järgmised:

* [[Hajussüsteemid prax 1 2025 kevad| 1 praks on P2P rakendus]]: distributed ledgeri komponent. Grupitöö 1-3 inimest. See on väga sarnane esimesele praktikumile eelmisest aastast. Gruppide registreerimiseks (ka siis kui plaanite teha töö üksinda, täitke ära see vorm: https://forms.gle/cyijmkR5LHWhtfpeA) 26. märtsil toimuvad kaitsmised üle Teamsi. Õppejõud on teile kirjutanud ja andnud teada ligikaudse kaitsmise aja. Õppejõud võtab teiega Teamsis eraldi ühendust, palun veenduge, et teie kaamera ja mikrofon töötavad.

* [[Hajussüsteemid prax 2 2025 kevad| 2 praks on faili või ledgeri konsensus hajutatud süsteemis]]. Sarnaselt eelmise praktikumitöö täitke palun vorm siin: https://forms.gle/2EPpu2qkc3rGfbMV7 Selle alusel moodustab õppejõud 14. mai kell 12:00 kaitsmiste ajakava ja jagab seda Teamsis. Kaitsmised toimuvad nii kohapeal kui Teamsis 15 ja 16 nädala praktikumitundides.

'''Praktikumitööde tähtajad on (lähevad asap veidi muutmisele)''':
* 1. praktikumil - 20. märts 2025,
* 2. praktikumil - 13. mai 2025.

Praktikumitöö esitamiseks tee järgmist:
* Pane oma töö TTÜ gitlabi või avalikku githubi või gitlabi reposse.
* Pane repo esilehele loetav ülevaade protokollidest, mida su töö kasutab, koos töö üldpõhimõtete kirjeldusega.
* Tee nii, et juhendaja saaks seda repot lugeda: kui ei ole avalik repo, lisa ta developeriks. TTU Gitlabis peab olema developer õigustes, et koodi lugeda.

Praktikumijuhendaja on Martin Verrev.

= Loengukava =

Kursus jaguneb laias laastus kolmeks teemaks:

* P2P ja protokollid (neil teemadel - pluss veidi andme-apidest- esimene praks), sh distributed ledger ehk bitcoini alustehnoloogia
* Paralleelrehkendused ja konsensus, lukustamine, sünkroniseerimine (selle kohta teine praks)
* Näited reaalsetest hajutatud süsteemidest

Päris hea õpiku saad tasuta alla laadida [https://www.distributed-systems.net/index.php/books/ds3/ siit]. Meie kursuse sisu on sellest õpikust küllalt erinev, samas on ka ühisosi. Hea mõte on lugeda soenduseks läbi jutt [https://d1.awsstatic.com/builderslibrary/pdfs/challenges-with-distributed-systems.pdf hajussüsteemide probleemide] ühest valdkonnast (aga neid on veel hulga).

Üldist materjali ja kursusi mujalt:
:http://en.wikipedia.org/wiki/Distributed_computing
:http://dcg.ethz.ch/lectures/podc_allstars/index.html

:http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/index.htm
:https://www.scs.stanford.edu/24sp-cs244b/

NB! Allolevad loengumaterjalid <b>tuleviku</b> kohta on pärit 2024 aastast, neid kursuse käigus uuendatakse ja muudetakse. Juba toimunud või antud nädala loengumaterjalid on uuendatud 2025 aasta jaoks.

== Protokollid ja P2P ==

=== P2P sissejuhatus, 4. veebruar ===

:<b>Kohustuslikud osad lugeda</b>:

: loengumaterjal: [[Media:P2p_overview.ppt|pikem ülevaade eri P2P tehnoloogiatest]] <font color="red">E1</font>
:[http://en.wikipedia.org/wiki/Peer-to-peer vikipeedia ülevaade] <font color="red">E2</font>




:[http://en.wikipedia.org/wiki/Tor_%28anonymity_network%29 TOR wikipedias] <font color="red">E2</font>

=== Protokollid: 11. veebruar ===

:<b>Kohustuslikud osad lugeda</b>:

:Http ja json: [[võrgurakenduste protokollid 1]]  <font color="red">E1</font>

:<b>Täiendavalt soovitav lugeda</b>:

:Gaffer on games: [https://gafferongames.com/post/udp_vs_tcp/ UDP vs TCP] ja [https://gafferongames.com/categories/game-networking/ täiendavalt]

:Veidi seotud asi [https://en.wikipedia.org/wiki/Wireless_ad_hoc_network ad hoc networks] vt ka  [http://www.freepatentsonline.com/8966046.html Defendeci ja Jürgo Predeni patent]

:Http ja json: [[võrgurakenduste protokollid 1]] lõpuosa alates https
:Loe lisaks [https://medium.com/@animeshgaitonde/how-https-works-part-1-building-blocks-64f9915b1f39 https kohta]

:<b>Võrgunduse baasprotokollide</b> kohta on soovitav lugeda (aga, need ei ole meie kursuse fookuses) [https://beej.us/guide/ siit: Beej's guides]:

=== Andmekodeerimine/vahetus: JSON-based tech, REST and API styles 18 veebruar ===

Old XML-based tech:


* xml protokollid xml-rpc, soap ja seotud tehnoloogiad: [[võrgurakenduste protokollid 2]] <font color="red">E1</font>
* Väga vanad tekstid SOAPi probleemidest: [[veebiteenuste võlu ja valu]] ja [http://harmful.cat-v.org/software/xml/soap/simple s stands for simple]

Mainstream: REST, JSON, Graphql:

Lugemiseks:

* Päris alustuseks loe süvenemisega läbi Microsofti [https://docs.microsoft.com/en-us/azure/architecture/best-practices/api-design REST api design soovitused]
* [https://en.wikipedia.org/wiki/Representational_state_transfer rest wikipedias] ja [http://www.restapitutorial.com/ rest tutorial (vt linke all!)]
* [http://www.odata.org/ odata.org: microsoft/oasis recommendations for rest style]
* [https://graphql.org/ Graphql start] and [https://blog.pusher.com/rest-versus-graphql/ graphql vs rest].

Päris hea ülevaate leiad siit: [https://www.moesif.com/blog/api-guide/ Moesif API guide]

Sul on vaja iseseisval detailsemalt tutvuda (a) REST-stiiliga ja (b) tutvuda natuke graphql päringu/vastustekeelega (need on siis kaks täiesti erinevat asja):
* tutvuda levinumate soovitustega REST-stiilis APi-de ehitamiseks:
Kui sa hästi ei mäleta REST-stiili põhipointe, siis sissejuhatuseks vaata üle [https://en.wikipedia.org/wiki/Representational_state_transfer wikipedia jutt].
* Põhi-idee on kasutada HTTP harilikke get, put, post "käske", et öelda, kas tahad datat, lisad datat või uuendad datat, identifitseerida data-objekte urli abil stiilis http://miski.org/data/people/25 (siin on variante), anda vigade korral tagasi HTTP veakoode, kodeerida autentimisinfot ja muud metainfot HTTP päistesse ja püüda kodeerida API päringud ja vastused võimalikult kergelt arusaadavalt.
* Pane tähele, et viisid otsingupäringu (inimesed nimega "Jaan"), vastuste arvu (ntx max 100) ja akna/batchi (ntx alga 200-ndast), sorteerimise jne indikeerimiseks ei ole RESTi-stiilis konkreetselt soovitatud, igaüks teeb kuidas tahab: ODATA allpool pakub oma soovitusi, aga need ei ole arusaadavalt kohustuslikud või "REST" stiili osad.
Tutvu siin peatüki alguses juba viidatud Microsofti [https://docs.microsoft.com/en-us/azure/architecture/best-practices/api-design api design soovitustega], täiendavalt võib uurida [https://github.com/Microsoft/api-guidelines/blob/master/Guidelines.md lisadetaile]
Hea mõte on lisaks võtta alternatiivina leiad [https://pages.apigee.com/eBook-Web-API-Design-The-Missing-Link-reg.html?int_source=resources-main&int_medium=website&int_campaign=ebook&int_content=web-api-design-missing-link sellelt urlilt] api disaini väike raamat ja sellega tutvuda.
Vaata [https://www.odata.org/getting-started/ odata] veidi eksootilisemaid, aga autoriteetse standardiorganisatsiooni oasis soovitusi REST stiilis API ehitamiseks, konkreetselt alusta [https://www.odata.org/getting-started/understand-odata-in-6-steps/ kiirsissejuhatusega], siis loe [https://www.odata.org/getting-started/basic-tutorial/ basic tutorial] ja lõpuks tutvu kiirelt [http://docs.oasis-open.org/odata/odata/v4.0/odata-v4.0-part2-url-conventions.html pika standardidoku] peatükiga 5: [http://docs.oasis-open.org/odata/odata/v4.0/errata03/os/complete/part2-url-conventions/odata-v4.0-errata03-os-part2-url-conventions-complete.html#_Toc453752356 query options]
** Väike [[pure-rest/odata/cgi stiilide võrdlus]]
* tutvuda lühidalt graphql-ga: tegu siis hoopis teistsuguse asjaga kui REST: graphql ei ole stiil, vaid täiesti konkreetne päringute/vastuste keel a la sql, mille töötas välja facebook:
Alusta [https://en.wikipedia.org/wiki/GraphQL wikipedia] kiirülevaatest
Tähelepanek: graphql ülesseadmine oma data peale ei ole lihtne ülesanne: ilmselt ei jaksa sa ise programmeerida päringukeele parserit/otsimootorit jne. Levinud lahendused on seada üles [https://www.apollographql.com/docs/apollo-server/getting-started/ Apollo server], ja progeda sinna juurde päringud oma andmebaasi, või seada üles [https://github.com/graphql/graphql-js graphql.js] server ja teha sinna juurde päringud. Kumbki on suurem töö, kui lihtsa REST api ehitamine.
Loe läbi [https://phil.tech/api/2017/01/24/graphql-vs-rest-overview/ rest-vs-graphql] jutt
Loe läbi [https://graphql.org/learn/ grapqhl kiirtutorial] (lehekülgede lõpus link järgmisele)

Vt ka suured avalikud andme-apid:

: [https://developers.google.com/apis-explorer/#p/ google api explorer]
: [https://google.aip.dev/ google api style guidelines]
: [[Andme-apide märkmed loengust|Andme-apide näiteid]]
: [https://techcrunch.com/2018/04/04/facebook-instagram-api-shut-down/ facebook api limitations/shutdowns in 2018]

== Paralleelrehkendused ja konsensus ==

=== Data synchronization, DHT, start distributed ledger: 25 veebruar ===

<font color="red">NB!</font>This lecture will be the following recording from 2024 pluss self-study reading and experiments only, not in the lecture room:

[http://turing.cs.ttu.ee/~tanel.tammet/dht_blockchain_intro.mp4 Recording]

Sissejuhatus teemasse: [[andmete sünkroniseerimine]]. <font color="red">E1</font>

Distributed hash tables (DHT) :

* [http://en.wikipedia.org/wiki/Distributed_hash_table ülevaade wikipedias] <font color="red">E1</font>
* Chord:
:Põhimaterjal: [https://www.cse.buffalo.edu/~okennedy/courses/cse704fa2012/8.1-Chord.ppt Chordi põhimõtted] <font color="red">E2</font>. Täiendavalt võib vaadata [https://people.eecs.berkeley.edu/~kubitron/courses/cs294-4-F03/slides/lec03-chord.ppt seda presentatsiooni] visualiseeritud algoritmidega (ppt presentatsioonirezhiimis!) ja eriti detailideks [https://www.kth.se/social/upload/51647996f276545db53654c0/3-chord.pdf seda presentatsiooni] (seda varianti kasutame ka loengus!).

:Lisaks tasuks veidi uurida artikleid [http://en.wikipedia.org/wiki/Chord_%28peer-to-peer%29 wikipedia] sissekande lõpus (external links)
* Kademlia:
:Materjal [http://www.cs.uiowa.edu/~ghosh/kademlia.ppt presentatsioon autoritelt]
:Täiendavalt [https://github.com/ntoll/p4p2p/blob/master/papers/maymounkov-kademlia-lncs.pdf autorite artikkel] ja eriti hea [https://www.kth.se/social/upload/516479a5f276545d6a965080/3-kademlia.pdf detailsem presentatsioon]
* Kademliat kasutav hajutatud failisüsteem: [https://docs.ipfs.io/ IPFS]
* Natuke sarnase ideega mõõdukalt lihtne andmestruktuur (mitte hajutatud): [https://en.wikipedia.org/wiki/Skip_list skip list]

Blockchaini funktsioneerimine:

Plokiahel:
Alustame [[Kriitiline taust blockchaini mõistmiseks]] teemadesse. Palun süvene neisse materjalidesse lisaks loengus räägitule.

=== Blockchain continues: 4. March ===

[[Media:plokiahel_tt.pdf|detailsem plokiahela ülevaade]] <font color="red">E2</font>
* Jätkame eelmise loengu lõpu materjalidega.

* Kindlasti süvene [https://andersbrownworth.com/blockchain/ blockchaini põhimõtete demosse]: vajuta üleval "Hash", "Block", "Blockchain" linkidele ja proovi igal lehel ise datat muuta ja "Mine" nupule vajutada. "Mine" teeb proof-of-worki ehk otsib random stringi (nonce) mille lisamisel datale saame mitme nulliga algava hashi. Hea mõte on vaadata ka [https://andersbrownworth.com/blockchain/ sama saidi videosid]

* [http://lambda.ee/w/images/8/84/Blockchain_lecture_1.pdf Dirk Draheimi materjal samal teemal: mitmete komponentide väga head illustratsioonid]

Huvi pärast vaata ka [https://alphabill.org/ Guardtime AlphaBill projekti], [https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9834329 siin artikkel]: üliskaleeritav plokiahela-süsteem.

Kasulikke linke spetsiifilise infoga: [https://coinmarketcap.com/all/views/all/ market cap], [https://www.blockchain.com/explorer blockchain explorer].

=== Konsensus hajutatud süsteemides: 11. March ===

Siin blokis asume tegelema keerumakate teooria-teemade lugemisega: infovahetus ja <b>konsensus hajutatud süsteemides</b>, kus midagi võib rikki minna. Ehk, kuidas saavutada, et hajutatud süsteem funktsioneeriks ok, kui mingid osad on katki või kui mõni osa teeb meelega jama, et teisi segada? See on üks fundamentaalsemaid hajutatud süsteemide küsimusi üldse.

Bitcoini plokiahela mehhanism ongi üks konkreetne võimalik mehhanism konsenuse saavutamiseks mitte-üleni-usaldusväärses hajutatud süsteemis.

* Soenduseks loe läbi väga praktilisi hajussüsteemide probleeme kirjeldav [https://aws.amazon.com/builders-library/challenges-with-distributed-systems/ jutt Amazonilt] (siin [https://d1.awsstatic.com/builderslibrary/pdfs/challenges-with-distributed-systems.pdf otselink pdf-le]).

* Lisaks tasub veidi vaadata [https://rai-skumar.medium.com/10000-foot-view-of-consensus-in-distributed-data-systems-145628b17285 kiirülevaadet] konsensuseteema eri harudest (mh hea pilt) ja sarnaselt [https://en.wikipedia.org/wiki/Consensus_(computer_science) wikipedia kiirülevaadet] harudest ja terminitest. Uuri kindlasti välja, mis tähendab sünkroonne/asünkroonne, partition tolerant/nontolerant, permissioned/permissionless.

* Seejärel - põhiasjana - tööta süvenemisega läbi [http://www.di.univaq.it/~proietti/slide_algdist2010/5-Consensus.ppt hea presentatsioon põhjalikumaks arusaamiseks] <font color="red">E1</font> up to page 73 (allikas [https://people.disim.univaq.it/~guido.proietti/slide_algdist2017/ siin]. Sinu põhiülesanne on see presentatsioon <b>väga aeglaselt</b> läbi töötada ja järjest slaididest ja asjadest aru saada. Lõpupoole läheb keeruliseks. King algoritmi detaile ei pea oskama, aga põhiideest tuleks aru saada. Ca lk 73 läheb värk päris keeruliseks ja sealt edasi võid katki jätta. Abiks võib olla [https://www.coursera.org/lecture/cloud-computing/3-1-the-consensus-problem-pvqla see coursera loeng] mis juhatab sama probleemi aeglaselt sisse, aga ei jõua veel selle lahendusvariantideni. [https://www.coursera.org/lecture/cloud-computing/3-2-consensus-in-synchronous-systems-71ysl järgmine loeng] selgitab juba ühte lahendusvarianti analoogiliselt powerpoindile. Kui sul rohkem huvi, siis meie kasutatud presentatsiooni autoril on [http://people.disim.univaq.it/guido.proietti/lezioni_algdist2023.html põhjalik kursus] hajutatud süsteemidest.

Kui jõuad ja sul tekib ekstrahuvi teema vastu, siis:
* [http://people.disim.univaq.it/guido.proietti/Lecture%20notes%20Attiya.pdf põhjalik õpik] aastast 1993.

=== Konsensus hajutatud süsteemides jätkub: 18 March ===

Selle nädala teemaks on

* Rafti konsensusalgoritm
[https://en.wikipedia.org/wiki/Raft_(algorithm) raftist] vt ka head [http://thesecretlivesofdata.com/raft/ visualisatsiooni] ja [https://raft.github.io/raft.pdf originaalartikkel] ja detailsemalt selgitav sari [https://codeburst.io/making-sense-of-the-raft-distributed-consensus-algorithm-part-1-3ecf90b0b361 osa 1], [https://codeburst.io/making-sense-of-the-raft-distributed-consensus-algorithm-part-2-4f12057b019a osa 2], [https://codeburst.io/making-sense-of-the-raft-distributed-consensus-algorithm-part-3-9f3a5cdba514 osa 3].
ja vbl veidi ka [https://www.alibabacloud.com/blog/paxos-raft-epaxos-how-has-distributed-consensus-technology-evolved_597127 Raft/Paxos võrdlust].
* ja misasi on [https://en.wikipedia.org/wiki/CAP_theorem CAP theorem]. [https://medium.com/@ngneha090/understanding-the-cap-theorem-balancing-consistency-availability-and-partition-cb11c2b97e2b Lisaks 1 (definitsioonid)]  ja [https://www.ibm.com/think/topics/cap-theorem lisaks nosql-baasidest] ja [https://medium.com/@ajayverma23/demystifying-the-cap-theorem-understanding-consistency-availability-and-partition-tolerance-446de8452fac veel andmebaaside vaatest]

Pluss:
* Konsensuse [https://decentralizedthoughts.github.io/start-here/ materjalikogu] ja [https://a16zcrypto.com/posts/article/consensus-canon/ veel üks]
* Täiendavalt konsensusest, hulk algoritme: [https://ac.informatik.uni-freiburg.de/teaching/ss_15/dist_sys/lectures/06_Consensus_p2.pdf osa 1 (shared memory)] ja edasi message-passing [https://ac.informatik.uni-freiburg.de/teaching/ss_15/dist_sys/lectures/06_Consensus_p2.pdf osa 2] ja [https://ac.informatik.uni-freiburg.de/teaching/ss_15/dist_sys/lectures/06_Consensus_p3.pdf osa 3]
* veidi [https://www.geeksforgeeks.org/practical-byzantine-fault-tolerancepbft/ byzantine fault tolerance] teemal.

=== Fork ja thread: 25 March ===

Fork/thread loengumaterjal: [[Media:Processes_fork_thread.pptx|Processes_fork_thread.pptx]], [[Media:Processes_fork_thread.pdf|Processes_fork_thread.pdf]]. <font color="red">E1</font>

Parallelismi baasmehhanismid tavaprogrammides, konkreetselt fork, thread ja shared memory. Uurime neid asju C/opsüsteemi tasemel: abstraktsemates keeltes kasutatakse neidsamu C/opsüsteemi mehhanisme. Sul on vaja (a) aru saada, mida need mehhanismid teevad, (b) panna käima näited:
* [http://www.csl.mtu.edu/cs4411.ck/www/NOTES/process/fork/create.html fork]
* [https://www.cs.cmu.edu/afs/cs/academic/class/15492-f07/www/pthreads.html threads] tutorial ja sarnane [https://randu.org/tutorials/threads/ tutorial]
* [http://www.cs.kent.edu/~ruttan/sysprog/lectures/shmem/shmem.html shared memory]
* [http://stackoverflow.com/a/16207592 Thread, Queue ja Lock] Pythonis
* [https://beej.us/guide/bgipc/ Beej's guide to interprocess communication], vaata ka [https://beej.us/guide/bgc/html/split/multithreading.html#multithreading multithreading chapter] in Beej's guide to C programming

Viimaste taustaks on kasulik vaadata korra [https://www.tecmint.com/linux-process-management/ protsesside managementi linuxis].

Näidete käimapanekuks on väga soovitav kasutada linuxit või maci: threadid ja shared memory (aga mitte fork) on olemas ka windowsis, aga ülaltoodud materjalide
näited on linuxi (üldisemalt, unixi) näited. Logi sisse dijkstrasse, kasuta mõnda muud linuxi masinat, millel sulle ligipääs, või pane windows 10s käima wsl (windows subsystem for linux).
Kui sul juba ei ole installeeritud C kompilaatorit, installeeri gcc või clang.

Soovitus kuulata [https://lexfridman.com/jim-keller/ Jim Kelleri episoodi "Moore’s Law, Microprocessors, Abstractions, and First Principles"] heast ja populaarsest [https://lexfridman.com/ai/ ai podcastist]: Jim räägib mh pikemalt protsessori-sisesest parallelismist ja automaatsest branchi-ennustamisest.

=== Distributed databases and e-government IT systems: 1. April ===

We will jump into the examples of distributed systems before coming back to low-level stuff such as locking/transactions next week.

Two themes:

* [[Hajutatud andmebaaside teema lahtikirjutus ja lugemisülesanded]]
* [[Lühiülevaade riigi infosüsteemist]]
* As for X-road/UXP (see [[x-tee märkmed loengust]]): this will be covered in detail by Margus Freudenthal in a separate lecture.

=== Lukustamine ja paralleelprotsessid: 8. April ===

<font color="red">NB!</font> Lecture will be given by Priit Järv in teams: there will be no lecture in the physical lecture room!

Selle nädala eesmärk on aru saada lukustamise baasmehhanismidest ja transaktsioonidest.

Lukustamine on vajalik paralleelsete protsesside juures, mis kasutavad ühist
mälujuppi / muutujat, kas siis näiteks threadide ühises mäluosas või shared memorys.

Lukustamise jaoks on mitu erinevat mehhanismi ja kasutusstenaariumi ning nad
vajavad veidi tuge protsessorilt spetsiifiliste atomaarsete käskude näol.

Järgmine nädal liigume lukustamise juurest edasi paralleelsusse andmebaasides: seal
on jällegi hulk võimalikke probleeme ja mitmeid lahendusviise, mis alusena kasutavad
baas-lukustamismehhanisme.

Loe selles järjekorras ja vaata läbi ka need kolm lühikest loengut:

* [[Media:Locking_v2.ppt|Lukustamise sissejuhatav presentatsioon]]: <font color="red">E2</font> räägib alustuseks praktilistest vajadustest ja põhimehhanismidest.
* [[Media:na2_sync.pdf|Detailsem konspekt lukustamise kohta]]: semafor, mutexid ja detailselt spinlockist. Loe seda <b>aeglaselt</b>!
* [https://www.youtube.com/watch?v=cEcNLfXEaZs&t=2s spinlocki loeng] arusaamise hõlbustamiseks
* [https://www.youtube.com/watch?v=yB8sm-pwvZo spinlocki riistvara-tuge seletav loeng]
* [https://www.youtube.com/watch?v=8wcuLCvMmF8&t=440s loeng semafor vs mutex]: mis on mis

Lisaks võib lugeda:
:[[Media:11-transactions.pdf|Introduction to Transactions (slaidid)]] <font color="red">E2</font>
:Sünkroniseerimisprimitiivid: [[Media:na2_sync_slides.pdf|slaidid]]

Mittekohustuslik lisalugemine:
:[[Media:na2_sync.pdf|Konspekt]] pikemalt ja põhjalikumalt loengus läbitud teemadest.

== Näited hajutatud süsteemidest ==

=== Data warehouses, data lineage and related issues: 15. April ===

The talk will be given by Kalle Tomingas from [https://www.oriongovernance.com/ Orion governance]. Vt taustaks ka [https://digikogu.taltech.ee/et/item/a05c55e4-054a-4758-9b0b-e2671105055c dissertatsiooni].

=== X-road / UXP: 22. April ===

The X-road/UXP (see [[x-tee märkmed loengust]]) <font color="red">E2</font> will be covered in detail by Margus Freudenthal.

See
* [https://livettu.sharepoint.com/:v:/r/sites/Hajusssteemid2025/Shared%20Documents/General/Recordings/Hajuss%C3%BCsteemide%20kursuse%20loeng%202025-20250422_160133-Meeting%20Recording.mp4?csf=1&web=1&e=v16wn1&nav=eyJyZWZlcnJhbEluZm8iOnsicmVmZXJyYWxBcHAiOiJTdHJlYW1XZWJBcHAiLCJyZWZlcnJhbFZpZXciOiJTaGFyZURpYWxvZy1MaW5rIiwicmVmZXJyYWxBcHBQbGF0Zm9ybSI6IldlYiIsInJlZmVycmFsTW9kZSI6InZpZXcifX0%3D the recording]
* [[Media:Distributed-systems-xroad2025.pdf|lecture materials]] <font color="red">E1</font>

=== EU digital passport and the CIRPASS project: 29. April ===

This week the lecture will be on Teams only, not in the lecture room. Tanel will focus on the details of the [https://cirpass2.eu/ digital product passport] architecture, ideas and politics around it.

Links and materials:

* [https://eur-lex.europa.eu/eli/reg/2024/1781/oj ESPR act: the law introducing EU digital passports]
* [https://cirpass2.eu/ CIRPASS-2: the EU R&D project for developing the digital passport architecture, knowledge representation etc]
* [[Media:cirpass_draft.pdf|draft full architecture]]
* [[Media:dpp_simple.pdf|draft simple architecture]]
* [[Media:dpp_simple_2024.pdf|early draft of the simple architecture]]

=== Microservices, scaling large systems and related: 6. May ===

Lecture will be on teams only (not the lecture room) and very briefly at the beginning: administrative stuff.

The main task is to look through the whole lecture recording from 2023 about [http://turing.cs.ttu.ee/~tanel.tammet/hajussysteemid_skaleerimine.mp4 scaling large distributed systems]. Slides in English, speech in Estonian.

=== Consultation for the exam: 13. May ===






[[Category:Kursus]]