Itv0120 2017 - Redigeerimiste ajalugu

Tammet: Uus lehekülg: '

revolutsioon Ainekood: ITV0120
Täielik nimi: Võrgurakendused II - hajussüsteemide tehnoloogia
Link: ht...'
2019-01-30T06:47:17Z

Uus lehekülg: '<table> <tr> <td> left|revolutsioon </td> <td> Ainekood: ITV0120<br> Täielik nimi: Võrgurakendused II - hajussüsteemide tehnoloogia<br> Link: ht...'

Uus lehekülg
<table>
<tr>
<td>
[[Pilt:Revolution_small.jpg|left|revolutsioon]]
</td>
<td>
Ainekood: ITV0120<br>
Täielik nimi: Võrgurakendused II - hajussüsteemide tehnoloogia<br>
Link: http://www.lambda.ee/index.php/V%C3%B5rgurakendused_II<br>
Punkte: 5 EAP<br><br>
Õppejõud: Tanel Tammet, Martin Verrev, Priit Järv<br>
Kontakt: tanel.tammet@ttu.ee<br>
Olemas on ka [[itv0120 2016 |2016 aasta materjalide arhiiv]].
</td>
</tr>
</table>

== <font color="red">NB! See on 2017 aasta materjalide arhiiv, mitte hetkel kehtiv!</font> ==

== <font color="red">Praktikumide ja eksamite tulemused</font> ==

Siin nüüd teise eksami järgsed tulemused:




[[Võrgurakendused II 2018 praksi- ja eksamitulemused 3|Lõpptulemused kolme eksami järel nähtavad siin]] formaadis: tudengikood, eesnime esitäht, punkte esimese praksi eest, punkte teise praksi eest, punkte esimese eksami eest, punkte teise eksami eest, punkte kolmanda eksami eest, punkte kokku, hinne

== <font color="red">Eksam</font> ==

Eksamiajad on järgmistel aegadel, kõik ruumis U02-102
* 28.05.2018 esmasp, kell 14:00
* 31.05.2018 neljap, kell 12:00
* 07.06.2018 neljap, kell 16:00


Sa võid tulla kohale kahel eri ajal (aga mitte kolmel).

Aega on kuni kolm tundi, tüüpiliselt peaks piisama ca pooleteisest tunnist.

Eksamile registreeruma ei pea, välja arvatud tudengid, kes ei ole deklareerinud ainet sel semestril, vaid teevad uuesti mõnel varasemal aastal deklareeritud ainet (eeldusel, et deklaratsioon kehtib).

[[Võrgurakendused 2 eksamiteemad 2018| eksamiteemade ja küsimuste kohta loe siit]]

Hindamine: praktikumid annavad kokku 50% kogupunktidest ning eksam teise 50%. Kursuse edukaks sooritamiseks on sul vaja:
* saada arvestatud mõlemid praktikumid
* teha eksam tasemel vähemalt 1/3 eksami kogupunktidest.
* saada praktikumid+eksam kokku vähemalt 50 punkti.

NB! Eksamile võtta kaasa pildiga dokument.




== Aeg, koht ==

Semester: kevad<br>
Tulemus: eksam<br>
Hindamise meetod: praktikumide tulemused (pool) pluss eksam (teine pool)<br>
Loeng: neljapäeval 10:00-11:30 ruumis U05-103<br>
Praktikum: reedel kell 10:00-11:30 ruumides ICT 121 ja ICT 122

== Praktilised tööd ja tähtajad ==

Kokku on töid 2. Kumbki praktikum täismahus tehtuna annab 25 punkti, sellele võivad lisanduda ekstrapunktid. Puudulikult tehtud töö punktiarv jääb alla 25 punkti. Hilinenud kodutöö eest saab pooled muidu saadaolevad punktid.

* [[Vorgurakendused 2 prax 1 2018 kevad | 1 praks on P2P rakendus]]: kas distributed ledgeri komponent või anonümiseeriv võrk. Tähtaeg 23 märts. Grupitöö 1-3 inimest.
* [[Vorgurakendused 2 prax 2 2018 kevad | 2 praks]]: kas terve distributed ledger või autentimis-veebirakendus. Tähtaeg 11. mai. Grupitöö 1-3 inimest.

== Loengukava ==

Kursus jaguneb laias laastus viieks teemaks:

* Protokollid ja P2P (neil teemadel - pluss veidi andme-apidest- esimene praks),
* Distributed ledger ehk bitcoini alustehnoloogia
* Paralleelrehkendused
* Veebirakenduste raamistikud e frameworkid
* Andme-apid, autentimine, pilvekeskkonnad, andmete hajutamine ja hajutatud andmete koondamine.

Päris hea õpiku saad tasuta alla laadida [https://www.distributed-systems.net/index.php/books/distributed-systems-3rd-edition-2017/ siit]. Meie kursuse sisu on sellest õpikust küllalt erinev, samas on ka ühisosi.

Üldist materjali ja kursusi mujalt:
:http://en.wikipedia.org/wiki/Distributed_computing
:http://dcg.ethz.ch/lectures/podc_allstars/index.html

:http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/index.htm
:http://www.stanford.edu/class/cs244b/

=== Protokollid ja P2P ===

==== Protokollid ====


:<b>Http ja json</b>: [[võrgurakenduste protokollid 1]]

:Xml põhised protokollid, REST ja binaarsed protokollid
:<b>xml protokollid xml-rpc, soap ja seotud tehnoloogiad</b>: [[võrgurakenduste protokollid 2]]
:Probleemidest: [[veebiteenuste võlu ja valu]] ja [http://harmful.cat-v.org/software/xml/soap/simple s stands for simple]
:<b>REST, binary protokollid, XMPP</b>: [[võrgurakenduste protokollid 3]]
:[http://gafferongames.com/networking-for-game-programmers/udp-vs-tcp/ Gaffer on games: UDP vs TCP] ja [http://gafferongames.com/2015/09/12/is-it-just-me-or-is-networking-really-hard/ selle jätk]
:Veidi seotud asi [https://en.wikipedia.org/wiki/Wireless_ad_hoc_network ad hoc networks] vt ka  [http://www.freepatentsonline.com/8966046.html Defendeci ja Jürgo Predeni patent]

==== P2P sissejuhatus ====

:[http://en.wikipedia.org/wiki/Peer-to-peer vikipeedia ülevaade]




: [[Media:P2p_overview.ppt|ülevaade eri P2P tehnoloogiatest]]

==== P2P DHT (distributed hash tables) ja bittorrent ====

:[http://en.wikipedia.org/wiki/Distributed_hash_table ülevaade wikipedias]
:Chord:
:Põhimaterjal - kas [https://www.cse.buffalo.edu/~okennedy/courses/cse704fa2012/8.1-Chord.ppt Chordi põhimõtted] või [http://pdos.csail.mit.edu/~rtm/slides/harvard02.ppt vanem versioon, loe kuni Ivy osani] Täiendavalt võib vaadata [https://people.eecs.berkeley.edu/~kubitron/courses/cs294-4-F03/slides/lec03-chord.ppt seda presentatsiooni] visualiseeritud algoritmidega (ppt presentatsioonirezhiimis!)

:Lisaks tasuks veidi uurida artikleid [http://en.wikipedia.org/wiki/Chord_%28peer-to-peer%29 wikipedia] sissekande lõpus (external links)
:Kademlia:
:Põhimaterjal [http://www.cs.uiowa.edu/~ghosh/kademlia.ppt presentatsioon autoritelt]
:Täiendavalt [https://github.com/ntoll/p4p2p/blob/master/papers/maymounkov-kademlia-lncs.pdf autorite artikkel]
:Bittorrent:
:[http://www.cs.uiowa.edu/~ghosh/bittorrent.ppt bittorrenti protokoll ja ülevaade]
:[http://en.wikipedia.org/wiki/BitTorrent_%28protocol%29 täiendavalt wikipediast]
:TOR:
:[http://en.wikipedia.org/wiki/Tor_%28anonymity_network%29 TOR wikipedias]

=== Distributed ledger, ajatemplid ja bitcoin ===

Soovitav on lugeda neid materjale algusest: põhiasjad on esimestes, ning mida kaugemale edasi, seda detailsemad/spetsiifilisemad materjalid tulevad.

==== Kriitiline taust järgneva mõistmiseks ====

* https://en.wikipedia.org/wiki/Cryptographic_hash_function : ühtlaselt jaotuv hash, nii et kui püüad leida stringi S, et hash(S)=teadaolev_hash, siis parim viis S leidmiseks on lihtsalt random S-de katsetamine. Bitcoin kasutab [https://en.wikipedia.org/wiki/SHA-2 SHA2] hash algoritmi varianti, mis annab tulemuseks 256 bitise (ehk 32 baiti) väärtuse.
* https://en.wikipedia.org/wiki/Merkle_tree : kirjete sidumine hashide puuna (veidi keerukam/efektiivsem, kui lihtne hashiahel). Mis on hashiahel: kui tahad siduda kirjeid K1, K2, K3, siis salvestad [K1,hash(K1)], [K2,hash(K2+eelmise hash (ehk hash(K1)))], [K3,hash(K3+eelmise hash(ehk hash(K2+hash(K1))))], jne, kus hashi-osa node N jaoks on üldiselt hash(KN+(KN-1 hashi-osa)) ehk hash(KN+hash(KN-1+hash(KN-2+hash(KN-3+...) ...)
* https://en.wikipedia.org/wiki/Proof-of-work_system : arvuti sundimine mõttetut tööd tegema, et raskendada spammimist. Levinud meetod on nõuda, et hashi alguses oleks N nulli (mida suurem N, seda raskem leida). Selleks tuleb sul hash(S) asemel katsetada läbi palju hash(S+nonce) arvutusi, kus nonce on random string, kuni juhtumisi saad N nulliga algava hashi.
* https://en.wikipedia.org/wiki/Blockchain : lihtsalt ülevaade kogu teemast
* [https://anders.com/blockchain/ Eelmiste asjade demo]: vajuta üleval "Hash", "Block", "Blockchain" linkidele ja proovi igal lehel ise datat muuta ja "Mine" nupule vajutada. "Mine" teeb proof-of-worki ehk otsib random stringi (nonce) mille lisamisel datale saame mitme nulliga algava hashi.

==== Kasulik taust laiema pildi jaoks ====

* Konsensus hajutatud süsteemides: [http://www.di.univaq.it/~proietti/slide_algdist2010/5-Consensus.ppt hea presentatsioon põhjalikumaks arusaamiseks] ([http://lamport.azurewebsites.net/pubs/byz.pdf siin on] klassikaline Bütsantsi kindralite probleemi artikkel, mis on suht keeruline)
* [https://blog.acolyer.org/2015/03/01/cant-we-all-just-agree/ Põhjalikum konsensuse-artiklite-selgituste kogu]
* RIA tellitud ja küberi koostatud [https://www.ria.ee/public/RIA/kruptograafiliste_algoritmide_elutsukli_uuring_2017.pdf eestikeelsest uuringust] lugeda alates lk 15 ptk "Plokiahelad"

==== Best intro for reading ====

* https://bitsonblocks.net/2015/09/01/a-gentle-introduction-to-bitcoin/
* https://bitsonblocks.net/2015/09/09/a-gentle-introduction-to-blockchain-technology/
* https://bitsonblocks.net/2015/09/21/a-gentle-introduction-to-bitcoin-mining/

==== Põhjalik õpik ====

* Lae alla [https://d28rh4a8wq0iu5.cloudfront.net/bitcointech/readings/princeton_bitcoin_book.pdf hea tasuta õpik]
* Kui eelmine link mingil põhjusel ei tööta, [http://bitcoinbook.cs.princeton.edu/ mine õpiku lehele ] (sealt leiad ka videoloengud) ja otsi sealt alapealkiri "Free pre-publication draft" mille all on link "... for download here".

==== Python examples with detailed explanations ====

It is enough to go through one or two of these:

* One example http://ecomunsing.com/build-your-own-blockchain
* Another example
https://medium.com/crypto-currently/lets-build-the-tiniest-blockchain-e70965a248b
https://medium.com/crypto-currently/lets-make-the-tiniest-blockchain-bigger-ac360a328f4d
* An even more detailed example
https://bigishdata.com/2017/10/17/write-your-own-blockchain-part-1-creating-storing-syncing-displaying-mining-and-proving-work/
https://bigishdata.com/2017/10/27/build-your-own-blockchain-part-2-syncing-chains-from-different-nodes/
https://bigishdata.com/2017/11/02/build-your-own-blockchain-part-3-writing-nodes-that-mine/
https://bigishdata.com/2017/11/21/how-to-build-your-own-blockchain-part-4-2-ethereum-proof-of-work-difficulty-explained/
* And then some:
https://github.com/cosme12/SimpleCoin
https://hackernoon.com/learn-blockchains-by-building-one-117428612f46

==== More details and tutorials ====

Have a look at the actual bitcoin data, latest blocks and transactions:

* https://blockexplorer.com/

How does the P2P stuff work, i.e finding nodes:

* https://bitcoin.stackexchange.com/questions/3536/how-do-bitcoin-clients-find-each-other
* https://en.bitcoin.it/wiki/Satoshi_Client_Node_Discovery


Real hardcore documentation:

* https://bitcoin.org/en/developer-guide#p2p-network
* https://en.bitcoin.it/wiki/Protocol_documentation

Just a big collection of materials and examples: https://github.com/openblockchains/awesome-blockchains

Some additional OK tutorials:

* The Blockchain Explained to Web Developers, Part 1: The Theory. https://marmelab.com/blog/2016/04/28/blockchain-for-web-developers-the-theory.html
* The Blockchain Explained to Web Developers, Part 2: In Practice https://marmelab.com/blog/2016/05/20/blockchain-for-web-developers-in-practice.html
* https://medium.com/blockchain-review/how-does-the-blockchain-work-for-dummies-explained-simply-9f94d386e093
* Ever wonder how Bitcoin (and other cryptocurrencies) actually work? https://youtu.be/bBC-nXj3Ng4
* https://medium.com/@annamcabee/learning-about-block-chain-with-python-8b2178cf1fca
* https://crypto.stanford.edu/cs251/

=== Paralleelrehkendused ===

==== Esimene osa ====

Näited:
:[[Java näide loengust]]
:[http://stackoverflow.com/a/16207592 Thread, Queue ja Lock] Pythonis
:C: alguses oli [http://www.csl.mtu.edu/cs4411.ck/www/NOTES/process/fork/create.html fork()], hea [https://computing.llnl.gov/tutorials/pthreads/ pthreads tutorial].

Loengunäide: TCP (HTTP) socket server

Kuidas TCP server elementaarsel tasemel töötab (Java tutorialid): [http://javarevisited.blogspot.com.ee/2015/06/how-to-create-http-server-in-java-serversocket-example.html Socket serveri sissejuhatus], [http://www.javaworld.com/article/2853780/core-java/socket-programming-for-scalable-systems.html threadidega server].

Skaleeruvus praktikas: [http://merbist.com/2011/01/18/causality-of-scalability/ Causality of Scalability], [http://merbist.com/2011/01/31/designing-for-scalability/ Designing for Scalability].


==== Lukustamine, andmebaasid jms ====

:Paralleelsus andmebaasides: [[Media:na2_ccdb_slides.pdf|slaidid]].
Lisaks võib lugeda:
:[[Media:na2_ccdb.pdf|Konspekt]], käsitleb teemat oluliselt põhjalikumalt kui loeng/slaidid
:[[Media:11-transactions.pdf|Introduction to Transactions (slaidid)]]

:Sünkroniseerimisprimitiivid: [[Media:na2_sync_slides.pdf|slaidid]]

Mittekohustuslik lisalugemine:
:[[Media:na2_sync.pdf|Konspekt]] pikemalt ja põhjalikumalt loengus läbitud teemadest.
:[[Media:Locking_v2.ppt|T.Tammeti slaidid]]

==== Paralleliseerimise automatiseerimine ja klastrid ====

:[https://en.wikipedia.org/wiki/MapReduce Mapreduce framework]

:[[Mapreduce katsetused Azure platvormil]]
:Mapreduce [http://research.google.com/archive/mapreduce.html klassikaline põhiartikkel]
:memcached
:[http://www.majordojo.com/2007/03/memcached-howto.php memcached ülevaade]

=== Andme-apid, autentimine, pilveteenused, andmete koondamine jms ===

==== Erinevad API-stiilid ====

* [https://en.wikipedia.org/wiki/Representational_state_transfer rest wikipedias] ja [http://www.restapitutorial.com/ rest tutorial (vt linke all!)]
* [http://www.odata.org/ odata.org: microsoft/oasis recommendations for rest style]
* [https://docs-apis.apigee.io/files/Web-design-the-missing-link-ebook-2016-11.pdf api design book download] or [https://pages.apigee.com/eBook-Web-API-Design-The-Missing-Link-reg.html?int_source=resources-main&int_medium=website&int_campaign=ebook&int_content=web-api-design-missing-link api design book (must register)]
* [https://graphql.org/ Graphql start] and [https://blog.pusher.com/rest-versus-graphql/ graphql vs rest] and [https://medium.com/codingthesmartway-com-blog/rest-vs-graphql-418eac2e3083 similar take on rest vs graphql] and [https://blog.graph.cool/how-to-wrap-a-rest-api-with-graphql-8bf3fb17547d wrap rest in graphql]

==== Suured avalikud andme-apid ====

: [https://market.mashape.com/ API-de kogu uurimiseks]
: [https://en.wikipedia.org/wiki/List_of_open_APIs list of open apis from wikipedia]
: [https://developers.google.com/apis-explorer/#p/ google api explorer]
: [[Andme-apide märkmed loengust|Andme-apide näiteid]]
: [https://techcrunch.com/2018/04/04/facebook-instagram-api-shut-down/ facebook api limitations/shutdowns in 2018]

==== X-tee, RIHA ja riigi IT-infrastruktuur ====

:[https://www.ria.ee/public/publikatsioonid/x-road.jpg Big official picture of the state IT-architecture]

:[[Media:Ahto_xtartu.ppt|Ahto Kalja detailne ülevaade X-tee projektist aastast 2004]]
:[https://www.ria.ee/ee/x-tee.html X-road official page] 
:[http://x-road.ee/docs/est/turvaserveri_kasutusjuhend_14.04_lts.pdf X-road security server manual (detailed)]
:[http://apisuomi.fi/2014/07/soap-rest-json-and-x-road-x-tee/ X-tee from the Finnish perspective] and the [https://portal.educloudalliance.org/x-road-rest-gateway-development-initiated-github X-tee/Json gateway] and [http://www.hel.fi/palvelukarttaws/rest/ver2_en.html a nice REST api example from Finland]
:[https://www.ria.ee/public/x_tee/X-Road_message_protocol_4.0.1.pdf newest X-road message protocol] and corresponding [https://www.ria.ee/public/x_tee/pr-meta_x-road_service_metadata_protocol_0.7_Y-743-14.pdf metainfo protocol]
:[[example algorithm for xml serialization of Python data|Example: X-road oriented Soap call tool for Python]]
:[https://riha.eesti.ee/ RIHA] ja [https://www.ria.ee/ee/riha.html jutud RIHA kohta]

==== Autentimine ====

: facebook, google, pangalink.
:[[Autentimise märkmed: facebook ja google]]

:[http://eid.eesti.ee/index.php/Kasutaja_tuvastamine_veebis veebiserveri seadistamine id-kaardi jaoks] ja [https://github.com/tammet/eid abistavad koodijupid]
:[http://eid.eesti.ee/index.php/EID_rakendusjuhend#Tehnoloogilised_detailid_ja_taustinfo taustaks id-kaardi kasutusstsenaariumid]

[[Autentimise märkmed: mobiil-ID]]

==== Pilvekeskkonnad ====

[https://support.rackspace.com/white-paper/understanding-the-cloud-computing-stack-saas-paas-iaas/ Understanding cloud computing]

Suured:

* [https://aws.amazon.com/ Amazon AWS]
* [http://azure.microsoft.com/ Microsoft Azure]
* [https://cloud.google.com/ Google Cloud]

Pilveteenuse tarkvara:

[https://en.wikipedia.org/wiki/OpenStack OpenStack]

Näide: Azure

[[Azure märkmed]]

==== Google appengine, database api, google bigtable and file system stack ====

http://cloud.google.com/appengine/ AppEngine on nüüd osa Google Cloud platvormist

[[Hajutatud failisüsteemide märkmed loengust]]

== Lisamaterjalid ==

=== Hajutatud andmekogude integreerimine ===

: [http://momjian.us/main/writings/pgsql/replication.pdf Postgres replication intro]
: [http://wiki.postgresql.org/wiki/Replication,_Clustering,_and_Connection_Pooling Postgres clustering and replication]
: [http://www.postgresql.org/docs/current/interactive/high-availability.html Postgres high availability]
: [http://goanna.cs.rmit.edu.au/~e76763/tiger_ref/lkmt10-dnis.pdf Integrating distributed sem web data]
: [http://docs.oracle.com/cd/B28359_01/server.111/b28318/integrat.htm Oracle information integration]

=== Varu ===

* [[võrgurakendused 2: täiendavad lingid]]
* [[Sehke speci draft]]


[[Category:Kursus]]