ITV0110 3. töö 2019: python ja cgi

Allikas: Lambda
Python

Mida tuleb teha

Sinu ülesandeks on ehitada veebisüsteem, mille kaudu saab teises praktikumis realiseeritud memory mängu üle võrgu mängida, ehk siis teise praktikumi edasiarendus veebirakendusena.

Mängida peab saama kahel viisil:

  • Üksi, kuid sedakorda peaks mängu tulemuse iga kord salvestama serverisse.
  • Teise inimese vastu, kus samuti tuleks iga mängu tulemused serverisse salvestada.

Lisaks peab olema võimalik serverist vaadata seniste mängude tulemuste tabelit: kes kelle vastu mängis (või üksi), mis varianti mängiti, mis skoor oli.

Kokkuvõttes jaguneb töö kolmeks osaks:

  • Üksi mängides mängu tulemuse salvestamine (sinu nimi, mis mänguvariant, mis skoor ja kulunud aeg).
  • Mängitud mängude kuvamine tabelina.
  • Teise mängija vastu üle võrgu mängimine (ja samamoodi mängude tulemuste kuvamine).

Kõigi mängude korral on vaja faili salvestada ka inimese nimi, kes mängis, samuti - kui on vastane - siis vastase nimi. Seega on mängu alustades vaja vormilt sisestada oma nimi, mis siis serveris mängufaili kirjutatakse ja mis mängu ajal ära ei muutu. Nime võib kasutaja valida vabalt, paroole, autentimist jne jne ei ole vaja teha (kuid ei ole ka otse keelatud, peaasi, et sa ei ehitaks seda enne, kui kõik muu valmis).

Mängutulemuse salvestamine

  • Kõigi mängude korral on vaja faili salvestada ka inimese nimi, kes mängis, samuti - kui on vastane - siis vastase nimi. Seega on mängu alustades vaja vormilt sisestada oma nimi, mis siis serveris mängufaili kirjutatakse ja mis mängu ajal ära ei muutu. Nime võib kasutaja valida vabalt, paroole, autentimist jne jne ei ole vaja teha.
  • Mängu lõppedes pead tegema ajaxi-päringu serveris olevale pythonis cgi-rakendusele, kes siis tulemuse faili lisab. Kasutajale ei ole vaja salvestamise kohta midagi näidata.
  • Pead tegema pythonis eraldi serverirakenduse, mis kuvab kena veebilehena välja tulemuste tabeli esimesed 10 rida. Samuti peab sellel veebilehel olema otsivorm, kuhu saad sisestada mängija nime: siis kuvatakse ainult selle nimega mängija tulemused. Las see pythoni rakendus lihtsalt loeb andmed failist ja trükib välja sobiva html-i.
  • Mängu põhilehele tee nupp, millele vajutades avatakse eelpoolkirjeldatud tulemuste leht.


Mängutulemuste näitamine

Mängude kuvamiseks peab sinu pommitamise põhilehel olema link "kõik mängud", kuhu vajutades lähed mängude vaatamise lehele.

Mängude kuvamine on vaja teha nii, et saad sisestada (või boksist valida), kelle mänge ja mis vastasega tahad vaadata (üksi või konkreetse inimese vastu), ja siis kuvatakse ainult need. Ei ole keelatud lisaks ka kõigi mängude kuvamine ja muud täiendused.

Mängude kuvamisel võiksid olla sellised tulbad:

  • mängu alustamise kuupäev/aeg
  • mängija 1 nimi
  • mängija 1 punktid
  • mängija 2 nimi, arvutiga mängides jäta see ära
  • mängija 2 punktid
  • mänguaeg sekundites

Mängude sorteerimine on vaja teha nii, et saad tulba pealkirjale vajutada, ning server sorteerib tulemused selle tulba järgi.

Kogu filtreerimine ja sorteerimine tuleb teha serveris, mitte brauseris.

Selles osas on soovitav kasutada harilikku cgi protokolli, mitte ajaxit: samas ei ole ajax siin ka otseselt keelatud.

Laua genereerimise võid teha brauseris, nagu teises praktikumis, aga võid teha ka serveris.

Teise mängija vastu mängimine

Ära hakka seda osa tegema, kuni esimesed pole täiesti valmis. See osa on mõeldud juhuks, kui tahad teha midagi keerulisemat.

Teise mängija vastu mängimine käib nagu malemäng, vaheldumisi täpselt samal "laual": mõlemil on samas järjekorras kaardid ja nad näevad täpselt ühesugust pilti, st kui mõned paarid on leitud, siis pole neid kummalgi näha, kui üks kaart on avatud, on ta seda ka teisel. Esimene mängija avab kaks kaarti, kui nad moodustavad paari, jätkab ta käimist (iga käik avab kaks kaarti), kuni mõni käik ei ole enam paar. Siis läheb käik järgmisele, kes pöörab samuti ümber kaks kaarti, kui sai paari, siis ta jätkab, kui ei, siis jälle käik esimesele jne. Ehk sama asi wikipedia artiklis kirjas niimoodi: In turn each player chooses two cards and turns them face up. If they are of the same rank and color (e.g. 6 of hearts and 6 of diamonds, queen of clubs and queen of spades, or both jokers, if used) then that player wins the pair and plays again. If they are not of the same rank and color, they are turned face down again and play passes to the player on the left. The game ends when the last pair has been picked up. The winner is the person with the most pairs, and there may be a tie for first place.

Pane tähele, et kui üks mängija pöörab kaks kaarti ümber ja nad ei ole paar, siis pööratakse nad tagurpidi, AGA teine mängija peaks nägema, et mis need kaks kaarti siis olid. Ehk teisisõnu, ühe mängija brauser peab läbi serveri teatama teise mängija brauserile, et mis need kaks olid ning teise mängija brauser peab neid siis veidi ajaks kuvama, et ta saaks näha, millised kaardid esimene mängija avas. Põhimõtteliselt saab seda teha ka üksikute kaartide kaupa, st teatada iga üksik ümberpööramine teise mängija brauserile.

Teise mängija vastu mängimiseks on vaja teha järgmisi asju:

  • Pead saama kuulutada välja, et soovid mängida (ehk, serveris kuulutuste faili tegema ja sinna inforea lisama). Kuulutuses tuleks öelda, mis varianti mängust.
  • Pead saama vaadata, kes soovivad mängida ja valida neid mängu.
  • Kui käid, siis sinu käik tuleb serverisse saata, kus see mängufaili talletatakse. Vastane seni käia ei saa.
  • Vastase brauser käib siis kogu aeg serverist ise uurimas, et kas on juba uus käik ilmunud.
  • Kui jah, siis muudetakse temal brauseris olevat seisu, tema saab käia ja tsükkel kordub taas.
  • Kui mäng läbi, salvestatakse info tulemusega serverisse, nagu ka ühe mängijaga mängu korral.


Teise mängija vastu mängimise tehnoloogia peab baseeruma ajaxil ehk serveriga andmevahetusel otse javascriptist (vt selle praksi lehe lõpuosa).

Oktoobri käigus lisandub siia veidi täiendavaid ideid ja soovitusi kõigi nende osade realiseerimiseks.

Praktikumi arvestamine ja hindamine

Praktikum annab maksimaalselt 12 punkti.

Esimene osa (üksi mängides tulemuste salvestamine serverisse ja seni mängitud mängude tulemuste kuvamine) on kohustuslik osa praktikumist ja nende korralik realiseerimine annab 6 punkti. Praktikumi ei arvestata, kui selles osas on suuremad puudujäägid.

Omavahelise mängu realiseerimine (teine osa praksist) annab lisaks kuni 6 punkti ja ei ole kohustuslik.

Pane tähele, et selles praktikumis on kõigi ülesannete realiseerimiseks vajalik koodihulk väike, samas nõuab tõsist pingutust välja mõelda, kuidas kõiki asju täpselt teha ja esitada ja kuidas nad omavahel kokku käivad.

Tehnoloogilised nõuded

  • Kõik serverirakendused tuleb realiseerida Pythonis.
  • Rakendus peab olema võrgus vabalt brauseriga ligipääsetav, mitte lihtsalt töötama näiteks sinu laptopis.
  • Serverarvutina pead kasutama Dijkstrat, rakenduse failid tuleb kopeerida kataloogidesse public_html/prax3 ja public_html/cgi-bin/prax3
  • Serveris tuleb infot (loe järgmisest peatükist) hoida ühes või mitmes mängutulemuste failis.
  • Kasutada tuleb nimelt lihtsaid inimloetavaid faile, andmebaasimootoreid kasutada ei tohi (andmebaasimootorite jaoks on neljas praks).
  • Loodud veebilehed peavad sisaldama html-i, css-i ja javascripti (pluss pilte), javat ja flashi jne kasutada ei tohi.
  • Teise mängija vastu mängimine peab kasutama ajaxit ehk andmevahetust serveriga otse javascriptist.

Turvaküsimustega ei pea selles praksis tegelema! Seega on täiesti ok, kui mängija saab ise anda cgi-le parameetrid näiteks võõra mängu kohta ja sellega teiste mängu ära rikkuda, pettusi teha jne. Turvaküsimused oleks selle praksi jaoks lihtsalt liiga töö- ja tähelepanumahukad.

Miks just Python? Vaata Tiobe progekeelte populaarsuse indeksit (ja lisaks ntx seda): kõige populaarsemad nn skriptikeeled on (peale Javascripti) PHP ja Python. Kummagi jaoks on meil üks praktikum. PHP ja Python on üksteisest ka väga erinevad (Perl ja PHP on hoopis sarnasemad), seega on nad sobivad näited skriptikeelte spektri eri otstest.

Dijkstra server

Rakenduse pead seadma üles dijkstra serveris. Failid pead igal juhul kopeerima dijkstra serveris eelpoolnäidatud kataloogidesse.

Dijktra serverisse ligipääsu, failide laadimise ja linuxi käsureaga hakkamasaamise kohta loe pikemalt teise praktikumi materjalidest Dijkstra serveri peatükist, siin neid üle ei korrata.

Oma programmid pane kataloogi public_html/cgi-bin . Kõigepealt pead selle kataloogi tegema ja talle grupile ligipääsuõiguse andma, analoogiliselt teise praktikumiga. Mujale pandud programme Apache käima ei pane.

Samuti on sul vaja veidi tutvuda linuxi käsurea elementaarkäskudega (kopeerimine, kustutamine, õiguste muutmine jne). Nagu teises praksis soovitatud, loe selles järjekorras:

Soovitused programmeerimiseks

Kõigepeal tutvu cgi programmide kirjutamise esmaste põhimõtetega loengumaterjalidest ja sisuliseks arusaamiseks loe cgi loengu materjalide alt teisi materjale lisaks.

Python

Kui sa ei ole varem Pythonis cgi-sid programmeerinud, tutvu kõigepealt Pythoni keele ja cgi teegiga:

Hea mõte on paralleelselt teha lahti Pythoni interpretaator ja katsetada kõrvale asju otse Pythoni käsureal. Kui su masinas Pythonit pole, siis installeeri!

Paljud kasulikud asjad on kirjas Pythoni teegi dokumentatsioonis. Konkreetsete küsimuste korral aitab tihti googeldamine.

NB! Pythonil on väga palju teeke ja mitmeid mittetriviaalseid keelekonstruktsioone. Sul ei lähe rõhuvat enamust nendest vaja, praktikumiks piisab väga esmastest asjadest (listid, stringid, numbrid) ning teekidest ei lähe samuti muud vaja, kui failide lugemine/kirjutamine, stringioperatsioonid ja cgi. Ära kuluta kohe aega kõigi Pythoni teekide ja detailide uurimisele, pigem alusta peale esmast tutvust koodi kirjutamist.

Arvesta, et dijkstra serveris on installeeritud Python 2.7.3, seega väldi Python 3 spetsiifiliste asjade kasutamist (vt erinevusi 2 ja 3 sarja vahel), muidu võib tekkida komplikatsioone programmide viimisel dijkstrasse. Kui sa midagi eriti keerulist ei tee, siis ei tohiks 3 sarja programmide ja 2 sarja interpretaatoriga siiski suuremaid probleeme tekkida.

Kirjuta mõni väike näiteprogramm ja katseta serveris, kuhu lõpuks süsteemi üles paned (kas siis dijkstra või oma isiklik lemmikserver).

Väga abiks on ka cgitb teegi kasutamine cgi-de mugavamaks debugimiseks: see on väga lihtne, tee seda tingimata.

Vaata kindlasti Kasulikke pythoni näitejuppe cgi jaoks. Nendes näidetes toodud konstruktsioonidest ja funktsioonidest peaks kolmanda praksi jaoks piisama.

Arendamine oma või arvutiklassi arvutitel

Kuna sinu süsteem peab lõpuks töötama avalikul veebiserveril, kuid arendust teed oma või arvutiklassi arvutitel, siis kuidas oleks mõistlik tööd korralda?

Peamised variandid on sellised (vaata jällegi lisadetaile teise praktikumi materjalidest Dijkstra serveri peatükist):

  • Kirjutad kõik otse serveris, kasutades sisselogimiseks Putty-t (windows) või ssh-d (linux) ja serveris kasutad redaktoriks näiteks vi-d. Aitab, kui teed lahti mitu akent. Kõige universaalsem viis, aga suhteliset ebamugav, samuti nõuab vi õppimist, mis võtab aega. Võimalik alternatiiv vi-le serveris on nano.
  • Kirjutad faile oma masinas redaktoriga, mis lubab üle võrgu faile avada ja sulgeda, windowsis näiteks winscp abil. Katsetamiseks ja testimiseks hoiad lahti sisse logitud aknaid nagu eelmises variandis. See on suhteliselt mugav viis kui sa ei taha järgmisena kirjeldatud meetodeid - mis veidi pikemas perspektiivis on paremad - kasutada.
  • Arendad süsteemi võimalikult lõpuni windowsis valmis ja siis kannad üle serverisse ja teed vajalikke muutusi. Selleks installeeri oma arvutis python windowsile, arvutiklassides peaks see juba olemas olema. Väga abiks oleks seejuures ka veebiserveri installeerimine, näiteks
  • Kui sul on oma arvutis windows ja põhiliselt kasutad seda, siis kõige soovitavam ja pikemas perspektiivis mõistlikum viis on installeerida windowsile lisaks ubuntu linux wubi installeriga: see installer on täiesti harilik windowsi programm, mille pealepanekul tekib sinu masinasse windowsile lisaks linux. Masinat käivitades pakutakse valikut windowsi ja linuxi vahel. Niimoodi saad enda linuxi käivitada, seal apache käima panna ja arendada kogu asi enne avalikku serverisse kopeerimist valmis oma masinas. NB! Kogu see installeerimine ja süsteemiga tutvumine võtab algul paratamatult rohkem aega, kui ülaltoodud variandid: kaotad ajas lähiperspektiivis, võidad pikemas perspektiivis.
  • Ja loomulikult on võimalik kasutada oma masinas mõnda standalone unixt: linuxit, mõnda bsd-d, mac os X vms kas ainsa süsteemina või dual bootina. Kui kirjutad palju ja tihti koodi linuxi serverite jaoks, siis on see tõenäoliselt kõige mõistlikum variant.

Python + CGI

Vormidelt saadetud data kasutamiseks on Pythonis tore imporditav moodul nimega cgi, mille funktsioonid aitavad vormiinfot söödavamal kujul sisse võtta.

Looge fail test2.py: 

#!/usr/bin/python
import cgi

print "Content-type: text/html"
print

print "<html><head><title>test2.py</title></head><body><h1>Hello, World!</h1><p>Lisaparameeter oli "

formdata = cgi.FieldStorage()
if formdata.has_key("lisaparameeter"):
  print formdata['lisaparameeter'].value
else:
  print "puudu"

print ".</p></body>"

Vaadake faili brauseris:
http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py

Parandage faili õigused omaette kirudes, et seda unustati teile teisel korral öelda ja vaadake uuesti.

http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py?lisaparameeter=olemas

Tasub vaadata ka Kasulikke pythoni näitejuppe cgi jaoks.

Tegelik koodikirjutamine

Kõige olulisem soovitus: alusta ülesande esimesest osast - oma mängu tulemuse salvestamine serverisse - ja tee seejärel valmis salvestatud faili lihtne kuvamine brauseris.

Kui see korralikult käib, siis täienda esialgset funktsionaalsust vastavalt nõuetele ülal.

Ära hakka korraga palju funktsionaalsust programmeerima: tee üks väike osa juurde, katseta läbi ja paranda, ning alles seejärel lisa järgmine tükk funktsionaalsust jne.

Ehk, selles järjekorras:

  • väike katseprogramm a la hello world (võid ta kopeerida ülal viidatud koodinäidetest)
  • oma mängu tulemuse salvestamine serveris olevasse faili
  • tulemusfaili kuvamine
  • vastase vastu mängimine
  • mängufailide kuvamise täiendamine vastasega variandi jaoks

Süsteemis on hulk funktsionaalsust, mis nõuaks justkui hulga erinevate cgi-de tegemist. Üks variant süsteemi ehitada ongi teha mitu cgi-d, teine - üldiselt parem - variant on aga teha üks (või paar) cgi-d, mis saavad vormidelt ette hidden väljale pandud operatsiooninime (a la myprog.cgi?op=storetofile&name=John ...) ja siis kutsuvad välja operatsiooninimele vastavat funktsiooni sellessamas cgi-s.

HTML tekst programmis või eraldi failides

Kuna sinu programm peab kokku panema ja lõpuks välja trükkima hulga html teksti, tekib küsimus, et kuidas seda paremini teha. Üldiselt on siin järgmised erinevad viisid või põhimõtted:

  • Kõige lihtsam ja väga väikeste programmide korral kõige mugavam on panna html teksti jupid otse programmi muutujate väärtusteks umbes nii (näide on väga lihtsustatud, praktikas oleks juppe ja muutujaid rohkem):
...
mymove=2
yourmove=1
header="<html><body>"
html1="minu käik on "
html2=" ja sinu käik on "
footer="</body></html>"
res=header+html1+str(mymove)+html2+str(yourmove)+footer
print res
  • Kui htmli on rohkem ja programm veidi keerulisem, siis on vastupidi, praktilisem mitte panna kõiki htmli juppe programmi sisse, vaid lugeda html tekst eraldi failist ja siis asendada hulga lõike/juppe hetkel vajalikuks. Asendamiseks mõtle lihtsalt välja endale meeldivad marker-tekstijupid, mida htmlis mujal ei esine, ja tee stringiasendusi. Näiteks, kui su html on failis kpktemplate.html ja oled sinna pannud markerid {mymove} ja {yourmove} siis näeks kasutus välja umbes nii:
...
mymove=2
yourmove=1
f=open('kpktemplate.html','r')
template=f.read()
f.close()
template=template.replace("{mymove}",str(mymove))
template=template.replace("{yourmove}",str(yourmove))
print template
  • Sellise lihtsa stringiasenduse asemel võib kasutada pythonisse sisse ehitatud eraldi templatefunktsioone või ka keerulisemaid ja vägevamaid väliseid templateteeke (mako jms), mis teevad suurtes kogustes asendamisi efektiivsemalt ja mugavamalt ja lubavad template sisse programmijuppe kirjutada. Meie väikese praksiülesande jaoks oleks need vägevamad templatesüsteemid aga pigem overkill, st saadud lisamugavused asenduste tegemiseks tõenäoliselt ei kaaluks üles ajakulu/pingutust nende süsteemide uurimisele.

Andmete esitamine ja kasutamine serveris

Info salvestamise failid on soovitav luua õigustega, kus kõik võivad faili lugeda ja kirjutada. See on turvalisuse mõttes halb, aga arendamise/debugimise mõttes hea. Siis saad ligi ise ja saavad ligi sinu programmid. Käsurealt saad teha nii: 

    chmod a+rw myfile.txt

Täiesti võimalik on olukord, kus Apache poolt käivitatav cgi programm ei ole nõus sinu kataloogis uusi faile tegema: siis tuleks kas muuta oma kataloogi õigusi kõigile loetavaks/kirjutatavaks või teha failid mõnda kataloogi, kus apachel on õigused (ntx /tmp, kuid siis tuleks nende nimele panna ntx sufiksiks sinu matriklinumber, et teistega segi ei läheks) või teha hoopis nii, et kõigi mängude info pannakse ühte suurde faili kokku: sel juhul pead töö käigus hakkama failist tükke otsima ja faili vahele kirjutama jne, mis on selgelt ebamugavam, kui teha iga mängu jaoks eraldi fail. Samas ei pea sinu programmid siis üldse uusi faile tegema.

Failile kirje lisamiseks võid kirjutada uue kirje lihtsalt faili lõppu uueks reaks. Vanu kirjeid pole kunagi vaja muuta!

Igale kirjele võib panna lisaväljana (ntx esimeseks) kaasa kirje loomise aeg.

Faili lugemisel on üldiselt hea mõte kasutada f.readline() funktsiooni, võid soovi korral kasutada ka csv teeki, mille abil faili tabeliks lahti hakkimine nõuab veidi vähem koodikirjutamist (aga mitte tingimata palju vähem sinu aega).

Aja määramisel on sul kõige praktilisem kasutada time.time() funktsiooni (otsi see mahukast ajateegist välja: see annab lihtsalt aja ühe numbrina, sekundites peale aastat 1970 vms. Selle numbri saad siis lihtsalt faili kirjutada, kui tahad aega salvestada. Lugemisel on seda samuti lihtne võrrelda (ja liita/lahutada) hetkeajaga.

NB! Ära hakka jändama keerukate aasta/minuti/ajatsooni jne jne meetoditega: need on keerulised, nende uurimine võtab hulga aega ja praksis neid vaja ei lähe (mis ei tähenda, et huvi korral ei võiks neid uurida :).

Stringi muutmine numbriks on lihtne (int("12") või float("12")) ning samamoodi on lihtne numbri muutmine stringiks (string(12) või string(12.5)).

Vastane: tema leidmine, tema käigu ootamine jms

Selle osa lahendamiseks tuleks - tehnoloogia mõttes - kasutada ajaxit ehk andmete saatmist serverile ja sealt lugemist otse javascriptist.

Seletused, ideed ja soovitused lisanduvad selle osa kohta loengute ja praktikumide käigus.

Eelmise aasta versioon

Eelmise aasta versiooni, mis on mitmes osas sarnane, kuid mitmes osas erinev, leiad siit.

Pärit leheküljelt "http://lambda.ee/w/index.php?title=ITV0110_3._töö_2019:_python_ja_cgi&oldid=16247"