Võrgurakendused II
Ainekoodid: ITV0120 ja ITI0215 |
Sisukord
- 1 NB! See on 2019 aasta arhiiv, mitte hetkel kehtiv õppematerjal
- 2 Eksamitulemused
- 3 Eksam
- 4 Aeg, koht
- 5 Praktilised tööd ja tähtajad
- 6 Hindamine
- 7 Loengukava
NB! See on 2019 aasta arhiiv, mitte hetkel kehtiv õppematerjal
Eksamitulemused
Siin Võrgurakendused II koguseis 2019 pärast teist eksamit, sh praktikumipunktid.
Viimane eksam toimub kolmapäeval, 12. juunil kell 17:00 ruumis U04-103 (sama, mis loenguruum)
Siin Võrgurakendused II esimene eksam 2019 parandatud tulemused. Praktikumipunkte lisatud ei ole.
Eksam
Kolmapäevadel kell 17:00
- 22 Mai 17:00 ruumis U04-103 (sama, mis loenguruum)
- 29 Mai 17:00 ruumis U04-103 (sama, mis loenguruum)
- 12 Juuni 17:00 ruumis U04-103 (sama, mis loenguruum)
Eksam on kirjalik, materjale kasutada ei või.
Siin on võrgurakendused II eksamiteemad ja materjalid.
Aega 2.5 tundi, tõenäoliselt saab valmis 1.5 tunniga.
NB! 17 mail - reedel - on toimub täiendav (viimane) praktikumiaeg: kell 8:00 hommikul ruumis ICT 401.
Aeg, koht
Semester: kevad
Tulemus: eksam
Hindamise meetod: praktikumide tulemused (pool) pluss eksam (teine pool)
Loeng:
- kolmapäeval 17:45 - 19:15 ruumis U04-103
Praktikum:
- neljapäeval kell 8:00 - 9:30 ühiselt ruumides ICT 121 ja ICT 122
- regulaarset neljapäevast magistrite praktikumi kell 12:00 - 13:30 ei toimu, kuid kord kuus viime ka sel ajal praktikumi läbi: info, et millal toimub, ilmub eelnevalt siia lehele.
- magistritele toimub lisaks praktikumi-konsultatsioon iganädalaselt kell 17:15 - 17:45, ehk pool tundi enne loengut ruumis U04-103. Kui oled millegagi hätta jäänud, tule ja saad abi.
Praktilised tööd ja tähtajad
Kokku on töid 2. Kumbki praktikum täismahus tehtuna annab 25 punkti, sellele võivad lisanduda ekstrapunktid. Puudulikult tehtud töö punktiarv jääb alla 25 punkti. Hilinenud kodutöö eest saab pooled muidu saadaolevad punktid.
- 1 praks on P2P rakendus: kas distributed ledgeri komponent või anonümiseeriv võrk. Tähtaeg 21 märts. Grupitöö 1-3 inimest.
- 2 praks: Grupitöö 1-3 inimest. Tähtaeg mai keskpaik, enne auditoorse töö lõppu, 16 mai hommikul. Magistrandid saavad erandina esitada teist praktikumi ka 22 Mai ja 29 Mai eksamite eel, kell 16:00 enne eksamit eksamiruumis või selle ees (kui eksamiruum on sellal hõivatud).
Hindamine
Hindamine: praktikumid annavad kokku 50% kogupunktidest ning eksam teise 50%. Kursuse edukaks sooritamiseks on sul vaja:
- saada arvestatud mõlemid praktikumid
- teha eksam tasemel vähemalt 1/3 eksami kogupunktidest.
- saada praktikumid+eksam kokku vähemalt 50 punkti.
NB! Eksamile võtta kaasa pildiga dokument.
Loengukava
Kursus jaguneb laias laastus viieks teemaks:
- Protokollid ja P2P (neil teemadel - pluss veidi andme-apidest- esimene praks),
- Distributed ledger ehk bitcoini alustehnoloogia
- X-tee ja riigi IT-korraldus
- Andme-apid, autentimine, pilvekeskkonnad, andmete hajutamine ja hajutatud andmete koondamine.
- Paralleelrehkendused
Päris hea õpiku saad tasuta alla laadida siit. Meie kursuse sisu on sellest õpikust küllalt erinev, samas on ka ühisosi.
Üldist materjali ja kursusi mujalt:
- http://en.wikipedia.org/wiki/Distributed_computing
- http://dcg.ethz.ch/lectures/podc_allstars/index.html
- http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/index.htm
- http://www.stanford.edu/class/cs244b/
Protokollid ja P2P
Protokollid
- Kohustuslikud osad lugeda:
- Http ja json: võrgurakenduste protokollid 1
- xml protokollid xml-rpc, soap ja seotud tehnoloogiad: võrgurakenduste protokollid 2
- REST ja binary protokollid: võrgurakenduste protokollid 3
- Täiendavalt soovitav lugeda:
- Probleemidest: veebiteenuste võlu ja valu ja s stands for simple
- Gaffer on games: UDP vs TCP ja selle jätk
- Veidi seotud asi ad hoc networks vt ka Defendeci ja Jürgo Predeni patent
P2P sissejuhatus
- Kohustuslikud osad lugeda:
- vikipeedia ülevaade
- loengumaterjal: pikem ülevaade eri P2P tehnoloogiatest
P2P DHT (distributed hash tables) ja bittorrent
- ülevaade wikipedias
- Chord:
- Põhimaterjal - kas Chordi põhimõtted või vanem versioon, loe kuni Ivy osani Täiendavalt võib vaadata seda presentatsiooni visualiseeritud algoritmidega (ppt presentatsioonirezhiimis!)
- Lisaks tasuks veidi uurida artikleid wikipedia sissekande lõpus (external links)
- Kademlia:
- Põhimaterjal presentatsioon autoritelt
- Täiendavalt autorite artikkel
- Bittorrent:
- bittorrenti protokoll ja ülevaade
- täiendavalt wikipediast
- TOR:
- TOR wikipedias
Distributed ledger, ajatemplid ja bitcoin
Soovitav on lugeda neid materjale algusest: põhiasjad on esimestes, ning mida kaugemale edasi, seda detailsemad/spetsiifilisemad materjalid tulevad.
Kriitiline taust järgneva mõistmiseks
- https://en.wikipedia.org/wiki/Cryptographic_hash_function : ühtlaselt jaotuv hash, nii et kui püüad leida stringi S, et hash(S)=teadaolev_hash, siis parim viis S leidmiseks on lihtsalt random S-de katsetamine. Bitcoin kasutab SHA2 hash algoritmi varianti, mis annab tulemuseks 256 bitise (ehk 32 baiti) väärtuse.
- https://en.wikipedia.org/wiki/Merkle_tree : kirjete sidumine hashide puuna (veidi keerukam/efektiivsem, kui lihtne hashiahel). Mis on hashiahel: kui tahad siduda kirjeid K1, K2, K3, siis salvestad [K1,hash(K1)], [K2,hash(K2+eelmise hash (ehk hash(K1)))], [K3,hash(K3+eelmise hash(ehk hash(K2+hash(K1))))], jne, kus hashi-osa node N jaoks on üldiselt hash(KN+(KN-1 hashi-osa)) ehk hash(KN+hash(KN-1+hash(KN-2+hash(KN-3+...) ...)
- https://en.wikipedia.org/wiki/Proof-of-work_system : arvuti sundimine mõttetut tööd tegema, et raskendada spammimist. Levinud meetod on nõuda, et hashi alguses oleks N nulli (mida suurem N, seda raskem leida). Selleks tuleb sul hash(S) asemel katsetada läbi palju hash(S+nonce) arvutusi, kus nonce on random string, kuni juhtumisi saad N nulliga algava hashi.
- https://en.wikipedia.org/wiki/Blockchain : lihtsalt ülevaade kogu teemast
- Eelmiste asjade demo: vajuta üleval "Hash", "Block", "Blockchain" linkidele ja proovi igal lehel ise datat muuta ja "Mine" nupule vajutada. "Mine" teeb proof-of-worki ehk otsib random stringi (nonce) mille lisamisel datale saame mitme nulliga algava hashi.
Kasulik taust laiema pildi jaoks
- Konsensus hajutatud süsteemides: hea presentatsioon põhjalikumaks arusaamiseks (siin on klassikaline Bütsantsi kindralite probleemi artikkel, mis on suht keeruline)
- Põhjalikum konsensuse-artiklite-selgituste kogu
- RIA tellitud ja küberi koostatud eestikeelsest uuringust lugeda alates lk 15 ptk "Plokiahelad"
Best intro for reading
- https://bitsonblocks.net/2015/09/01/a-gentle-introduction-to-bitcoin/
- https://bitsonblocks.net/2015/09/09/a-gentle-introduction-to-blockchain-technology/
- https://bitsonblocks.net/2015/09/21/a-gentle-introduction-to-bitcoin-mining/
Põhjalik õpik
- Lae alla hea tasuta õpik
- Kui eelmine link mingil põhjusel ei tööta, mine õpiku lehele (sealt leiad ka videoloengud) ja otsi sealt alapealkiri "Free pre-publication draft" mille all on link "... for download here".
Python examples with detailed explanations
It is enough to go through one or two of these:
- One example http://ecomunsing.com/build-your-own-blockchain
- Another example
- An even more detailed example
- https://bigishdata.com/2017/10/17/write-your-own-blockchain-part-1-creating-storing-syncing-displaying-mining-and-proving-work/
- https://bigishdata.com/2017/10/27/build-your-own-blockchain-part-2-syncing-chains-from-different-nodes/
- https://bigishdata.com/2017/11/02/build-your-own-blockchain-part-3-writing-nodes-that-mine/
- https://bigishdata.com/2017/11/21/how-to-build-your-own-blockchain-part-4-2-ethereum-proof-of-work-difficulty-explained/
- And then some:
More details and tutorials
Have a look at the actual bitcoin data, latest blocks and transactions:
How does the P2P stuff work, i.e finding nodes:
- https://bitcoin.stackexchange.com/questions/3536/how-do-bitcoin-clients-find-each-other
- https://en.bitcoin.it/wiki/Satoshi_Client_Node_Discovery
Real hardcore documentation:
- https://bitcoin.org/en/developer-guide#p2p-network
- https://en.bitcoin.it/wiki/Protocol_documentation
Just a big collection of materials and examples: https://github.com/openblockchains/awesome-blockchains
Some additional OK tutorials:
- The Blockchain Explained to Web Developers, Part 1: The Theory. https://marmelab.com/blog/2016/04/28/blockchain-for-web-developers-the-theory.html
- The Blockchain Explained to Web Developers, Part 2: In Practice https://marmelab.com/blog/2016/05/20/blockchain-for-web-developers-in-practice.html
- https://medium.com/blockchain-review/how-does-the-blockchain-work-for-dummies-explained-simply-9f94d386e093
- Ever wonder how Bitcoin (and other cryptocurrencies) actually work? https://youtu.be/bBC-nXj3Ng4
- https://medium.com/@annamcabee/learning-about-block-chain-with-python-8b2178cf1fca
- https://crypto.stanford.edu/cs251/
X-tee ja e-riigi IT korraldus
X-tee
Kasulikud lisamaterjalid:
- x-tee protokolli spec
- UXP: AS Cybernetica eksport-kommertsversioon X-teest.
- Kaks screencasti UXP keskserveri konfimisest 1 ja 2
- Ahto Kalja detailne ülevaade X-tee projektist aastast 2004
- X-road official page
- X-road security server manual (detailed)
- Paper by Ansper and Willemson
Riigi IT-infrastruktuuri korraldus
Kasulikud lisamaterjalid:
Andme-apid, autentimine, pilveteenused, andmete koondamine jms
Erinevad API-stiilid
- rest wikipedias ja rest tutorial (vt linke all!)
- odata.org: microsoft/oasis recommendations for rest style
- api design book download or api design book (must register)
- Graphql start and graphql vs rest and similar take on rest vs graphql and wrap rest in graphql
Suured avalikud andme-apid
- API-de kogu uurimiseks
- list of open apis from wikipedia
- google api explorer
- Andme-apide näiteid
- facebook api limitations/shutdowns in 2018
Autentimine
- facebook, google, pangalink.
- Autentimise märkmed: facebook ja google
- veebiserveri seadistamine id-kaardi jaoks ja abistavad koodijupid
- taustaks id-kaardi kasutusstsenaariumid
Pilvekeskkonnad
Suured:
Pilveteenuse tarkvara:
Näide: Azure
Google appengine, database api, google bigtable and file system stack
http://cloud.google.com/appengine/ AppEngine on nüüd osa Google Cloud platvormist
Hajutatud failisüsteemide märkmed loengust
Paralleelrehkendused
Esimene osa
Näited:
- C: alguses oli fork(), hea pthreads tutorial.
- Thread, Queue ja Lock Pythonis
Presentatsioonid lugemiseks:
Lukustamine, andmebaasid jms
Lisaks võib lugeda:
- Konspekt, käsitleb teemat oluliselt põhjalikumalt kui loeng/slaidid
- Introduction to Transactions (slaidid)
- Sünkroniseerimisprimitiivid: slaidid
Mittekohustuslik lisalugemine:
- Konspekt pikemalt ja põhjalikumalt loengus läbitud teemadest.
Paralleliseerimise automatiseerimine ja klastrid
- Mapreduce framework
- Mapreduce katsetused Azure platvormil
- Mapreduce klassikaline põhiartikkel
- memcached
- memcached ülevaade
Hajutatud andmekogud
Integreerimine:
Hajutamine:
Konsensus:
Hulk teemasid põhjalikult:
Detailsed lisamaterjalid: