ITV0110 3. töö: Serverirakendus: cgi pythonis

Allikas: Lambda
Python

Mis tuleb teha

Sinu ülesandeks on ehitada veebisüsteem, mille kaudu saab teises praksis realiseeritud sõnamängu üle võrgu mängida, ehk siis teise praktikumi teema edasiarendus veebirakendusena.

Mängida peab saama kahel viisil, kusjuures esimene variant on kõigile kohustuslik ja annab 7 punkti, teine ei ole kohustuslik ja annab lisaks 8 punkti.

  • Üksi, kuid sedakorda peaks segiaetud sõna valima server ja mängu tulemus - sõna ja aeg - tuleb iga kord salvestada serverisse.
  • Teise inimese vastu, kus samuti tuleks iga mängu tulemused serverisse salvestada.

Lisaks peab olema võimalik serverist vaadata seniste mängude tulemuste tabelit: kes ja kelle vastu mängis (või üksi), mis sõna oli, mis aeg oli.

Kokkuvõttes jaguneb töö kolmeks osaks:

  • Üksi mängides mängu tulemuse salvestamine (sinu nimi, mis sõna, kulunud aeg). Vigaseid vastuseid ära salvesta, hoopis vasta kasutajale, et vastus oli vale ja lase uuesti arvata.
  • Mängitud mängude kuvamine tabelina ja sealt mängija järgi ridade filteerimine/otsimine.
  • Teise mängija vastu üle võrgu mängimine (ja samamoodi mängude tulemuste kuvamine).

Kõigi mängude korral on vaja faili salvestada ka inimese nimi, kes mängis, samuti - kui on vastane - siis vastase nimi. Seega on mängu alustades vaja vormilt sisestada oma nimi, mis siis serveris mängufaili kirjutatakse ja mis mängu ajal ära ei muutu. Nime võib kasutaja valida vabalt, paroole, autentimist jne jne ei ole vaja teha (kuid ei ole ka otse keelatud, peaasi, et sa ei ehitaks seda enne, kui kõik muu valmis).

Mängude kuvamine on vaja teha nii, et saad sisestada (või boksist valida), kelle mänge ja mis vastasega tahad vaadata (üksi või konkreetse inimese vastu), ja siis kuvatakse ainult need. Ei ole keelatud lisaks ka kõigi mängude kuvamine ja muud täiendused.

Mismoodi käib teise inimese vastu mängimine

Teise mängija vastu mängimine käib nii, et mõlematele genereeritakse serverist samaaegselt sama sõna ja võitja on see, kes annab esimesena õige vastuse. Kui mõlemad on vastuse andnud, genereerib server jällegi mõlemale samaaegselt uue sõna jne.

Teise mängija vastu mängimiseks on vaja teha järgmisi asju:

  • Pead saama kuulutada välja, et soovid mängida (ehk, serveris kuulutuste faili tegema ja sinna inforea lisama).
  • Pead saama vaadata, kes soovivad mängida ja valida neid mängu.
  • Kui vastad, siis sinu vastus ja aeg tuleb serverisse saata, kus see mängufaili talletatakse. Vastasele seni uut sõna ei genereerita.
  • Vastase brauser käib siis kogu aeg serverist ise uurimas, et kas on juba uus vastus ilmunud.
  • Kui jah, siis genereeritakse mõlemile uus sõna ja tsükkel kordub taas.

Teise mängija vastu mängimise tehnoloogia peab baseeruma ajaxil ehk serveriga andmevahetusel otse javascriptist (vt selle praksi lehe lõpuosa).

Oktoobri käigus lisandub siia veidi täiendavaid ideid ja soovitusi kõigi nende osade realiseerimiseks.

Praktikumi arvestamine ja hindamine

Praktikum annab maksimaalselt 15 punkti.

Esimesed kaks osa (üksi mängides mängude salvestamine serverisse ja seni mängitud mängude tulemuste kuvamine) on kohustuslik osa praktikumist ja nende korralik realiseerimine annab 7 punkti. Praktikumi ei arvestata, kui nendes osades on suuremad puudujäägid.

Omavahelise mängu realiseerimine (kolmas osa praksist) annab lisaks kuni 8 punkti ja ei ole kohustuslik. Täpne punktiarvestus nende 8 punkti osas lisatakse siia oktoobri jooksu.

Pane tähele, et selles praktikumis on kõigi ülesannete realiseerimiseks vajalik koodihulk väga väike, samas nõuab tõsist pingutust välja mõelda, kuidas kõiki asju täpselt teha ja esitada ja kuidas nad omavahel kokku käivad. Samuti võtab päris päris palju aega katsetamine ja esmatutvus võõra progekeelega.

Tehnoloogilised nõuded

  • Kõik serverirakendused tuleb realiseerida Pythonis.
  • Rakendus peab olema võrgus vabalt brauseriga ligipääsetav, mitte lihtsalt töötama näiteks sinu laptopis.
  • Serverarvutina võid - nagu teises praktikumis - kasutada kas dijkstrat või omaenda vabalt valitud lemmikserverit, kuid jällegi, rakenduse failid tuleb kopeerida kataloogidesse public_html/prax3 ja public_html/cgi-bin/prax3
  • Serveris tuleb infot (loe järgmisest peatükist) hoida ühes või mitmes mängutulemuste failis.
  • Kasutada tuleb nimelt lihtsaid inimloetavaid faile, andmebaasimootoreid kasutada ei tohi (andmebaasimootorite jaoks on neljas praks).
  • Loodud veebilehed peavad sisaldama html-i, css-i ja javascripti (pluss pilte), javat ja flashi jne kasutada ei tohi.
  • Teise mängija vastu mängimine peab kasutama ajaxit ehk andmevahetust serveriga otse javascriptist. Üksi mängimine ei pea kasuta ajaxit, kuid keelatud see ei ole.

Turvaküsimustega ei pea selles praksis tegelema! Seega on täiesti ok, kui mängija saab ise anda cgi-le parameetrid näiteks võõra mängu kohta ja sellega teiste mängu ära rikkuda, pettusi teha jne. Turvaküsimused oleks selle praksi jaoks lihtsalt liiga töö- ja tähelepanumahukad.

Miks skriptikeel (siin praksis Python) ja mitte C või Java? Eeskätt seepärast, et C ja Java jaoks juba on eraldi kursused, kus neid kasutatakse. Teiseks seepärast, et skriptikeeltes on väiksemaid/lihtsamaid veebirakendusi veidi mugavam kirjutada, kui kompileeritud keeltes.

Miks just Python? Vaata Tiobe progekeelte populaarsuse indeksit (ja lisaks ntx seda): kõige populaarsemad nn skriptikeeled on (peale Javascripti) PHP ja Python. Kummagi jaoks on meil üks praktikum. PHP ja Python on üksteisest ka väga erinevad (Perl ja PHP on hoopis sarnasemad), seega on nad sobivad näited skriptikeelte spektri eri otstest.

Dijkstra server

Rakenduse võid, nagu teises praktikumis, seada üles kas dijkstra serveris või soovi korral mõnes muus endale meeldivas serveris. Tehnoloogilised nõuded on igal juhul samad. Failid pead igal juhul kopeerima dijkstra serveris eelpoolnäidatud kataloogidesse.

Dijktra serverisse ligipääsu, failide laadimise ja linuxi käsureaga hakkamasaamise kohta loe pikemalt teise praktikumi materjalidest Dijkstra serveri peatükist, siin neid üle ei korrata.

Oma programmid pane kataloogi public_html/cgi-bin . Kõigepealt pead selle kataloogi tegema ja talle grupile ligipääsuõiguse andma, analoogiliselt teise praktikumiga. Mujale pandud programme Apache käima ei pane.

Samuti on sul vaja veidi tutvuda linuxi käsurea elementaarkäskudega (kopeerimine, kustutamine, õiguste muutmine jne) nagu teises praksis soovitatud.

  • Alati tasub lisaks ise googeldada.

Soovitused programmeerimiseks

Kõigepeal tutvu cgi programmide kirjutamise esmaste põhimõtetega loengumaterjalidest ja sisuliseks arusaamiseks loe cgi loengu materjalide alt teisi materjale lisaks.

Python

Kui sa ei ole varem Pythonis cgi-sid programmeerinud, tutvu kõigepealt Pythoni keele ja cgi teegiga:

Hea mõte on paralleelselt teha lahti Pythoni interpretaator ja katsetada kõrvale asju otse Pythoni käsureal. Kui su masinas Pythonit pole, siis installeeri!

Paljud kasulikud asjad on kirjas Pythoni teegi dokumentatsioonis. Konkreetsete küsimuste korral aitab tihti googeldamine.

NB! Pythonil on väga palju teeke ja mitmeid mittetriviaalseid keelekonstruktsioone. Sul ei lähe rõhuvat enamust nendest vaja, praktikumiks piisab väga esmastest asjadest (listid, stringid, numbrid) ning teekidest ei lähe samuti muud vaja, kui failide lugemine/kirjutamine, stringioperatsioonid ja cgi. Ära kuluta kohe aega kõigi Pythoni teekide ja detailide uurimisele, pigem alusta peale esmast tutvust koodi kirjutamist.

Arvesta, et dijkstra serveris on installeeritud Python 2.7.3, seega väldi Python 3 spetsiifiliste asjade kasutamist (vt erinevusi 2 ja 3 sarja vahel), muidu võib tekkida komplikatsioone programmide viimisel dijkstrasse. Kui sa midagi eriti keerulist ei tee, siis ei tohiks 3 sarja programmide ja 2 sarja interpretaatoriga siiski suuremaid probleeme tekkida.

Kirjuta mõni väike näiteprogramm ja katseta serveris, kuhu lõpuks süsteemi üles paned (kas siis dijkstra või oma isiklik lemmikserver).


Kasulikud Pythoni näitejupid cgi jaoks

Vaata kindlasti Kasulikke pythoni näitejuppe cgi jaoks. Nendes näidetes toodud konstruktsioonidest ja funktsioonidest peaks kolmanda praksi jaoks piisama.


Python + CGI

Vormidelt saadetud data kasutamiseks on Pythonis tore imporditav moodul nimega cgi, mille funktsioonid aitavad vormiinfot söödavamal kujul sisse võtta.

Looge fail test2.py: 

#!/usr/bin/python
import cgi

print "Content-type: text/html"
print

print "<html><head><title>test2.py</title></head><body><h1>Hello, World!</h1><p>Lisaparameeter oli "

formdata = cgi.FieldStorage()
if formdata.has_key("lisaparameeter"):
  print formdata['lisaparameeter'].value
else:
  print "puudu"

print ".</p></body>"

Vaadake faili brauseris:
http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py

Parandage faili õigused omaette kirudes, et seda unustati teile teisel korral öelda ja vaadake uuesti.

http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py?lisaparameeter=olemas

Tasub vaadata ka Kasulikke pythoni näitejuppe cgi jaoks.

Arendamine oma või arvutiklassi arvutitel

Kuna sinu süsteem peab lõpuks töötama avalikul veebiserveril, kuid arendust teed oma või arvutiklassi arvutitel, siis kuidas oleks mõistlik tööd korralda?

Peamised variandid on sellised (vaata jällegi lisadetaile teise praktikumi materjalidest Dijkstra serveri peatükist):

  • Kirjutad kõik otse serveris, kasutades sisselogimiseks Putty-t (windows) või ssh-d (linux) ja serveris kasutad redaktoriks näiteks vi-d. Aitab, kui teed lahti mitu akent. Kõige universaalsem viis, aga suhteliset ebamugav, samuti nõuab vi õppimist, mis võtab aega. Võimalik alternatiiv vi-le serveris on nano.
  • Kirjutad faile oma masinas redaktoriga, mis lubab üle võrgu faile avada ja sulgeda, windowsis näiteks winscp abil. Katsetamiseks ja testimiseks hoiad lahti sisse logitud aknaid nagu eelmises variandis. See on suhteliselt mugav viis kui sa ei taha järgmisena kirjeldatud meetodeid - mis veidi pikemas perspektiivis on paremad - kasutada.
  • Arendad süsteemi võimalikult lõpuni windowsis valmis ja siis kannad üle serverisse ja teed vajalikke muutusi. Selleks installeeri oma arvutis python windowsile, arvutiklassides peaks see juba olemas olema. Väga abiks oleks seejuures ka veebiserveri installeerimine, näiteks
  • Kui sul on oma arvutis windows ja põhiliselt kasutad seda, siis kõige soovitavam ja pikemas perspektiivis mõistlikum viis on installeerida windowsile lisaks ubuntu linux wubi installeriga: see installer on täiesti harilik windowsi programm, mille pealepanekul tekib sinu masinasse windowsile lisaks linux. Masinat käivitades pakutakse valikut windowsi ja linuxi vahel. Niimoodi saad enda linuxi käivitada, seal apache käima panna ja arendada kogu asi enne avalikku serverisse kopeerimist valmis oma masinas. NB! Kogu see installeerimine ja süsteemiga tutvumine võtab algul paratamatult rohkem aega, kui ülaltoodud variandid: kaotad ajas lähiperspektiivis, võidad pikemas perspektiivis.
  • Ja loomulikult on võimalik kasutada oma masinas mõnda standalone unixt: linuxit, mõnda bsd-d, mac os X vms kas ainsa süsteemina või dual bootina. Kui kirjutad palju ja tihti koodi linuxi serverite jaoks, siis on see tõenäoliselt kõige mõistlikum variant.

Tegelik koodikirjutamine

Kõige olulisem soovitus: alusta ülesande esimesest osast - oma mängu tulemuse salvestamine serverisse - ja tee seejärel valmis salvestatud faili lihtne kuvamine brauseris.

Kui see korralikult käib, siis täienda esialgset funktsionaalsust vastavalt nõuetele ülal.

Ära hakka korraga palju funktsionaalsust programmeerima: tee üks väike osa juurde, katseta läbi ja paranda, ning alles seejärel lisa järgmine tükk funktsionaalsust jne.

Ehk, selles järjekorras:

  • väike katseprogramm a la hello world (võid ta kopeerida ülal viidatud koodinäidetest)
  • oma mängu tulemuse salvestamine serveris olevasse faili
  • juhusliku segiaetud sõna genereerimine serveris pythoniga, mitte brauseris javascriptiga
  • tulemusfaili kuvamine
  • vastase vastu mängimine
  • mängufailide kuvamise täiendamine vastasega variandi jaoks

Süsteemis on hulk funktsionaalsust, mis nõuaks justkui hulga erinevate cgi-de tegemist. Üks variant süsteemi ehitada ongi teha mitu cgi-d, teine - üldiselt parem - variant on aga teha üks (või paar) cgi-d, mis saavad vormidelt ette hidden väljale pandud operatsiooninime (a la myprog.cgi?op=storetofile&name=John ...) ja siis kutsuvad välja operatsiooninimele vastavat funktsiooni sellessamas cgi-s.

HTML tekst programmis või eraldi failides

Kuna sinu programm peab kokku panema ja lõpuks välja trükkima hulga html teksti, tekib küsimus, et kuidas seda paremini teha. Üldiselt on siin järgmised erinevad viisid või põhimõtted:

  • Kõige lihtsam ja väga väikeste programmide korral kõige mugavam on panna html teksti jupid otse programmi muutujate väärtusteks umbes nii (näide on väga lihtsustatud, praktikas oleks juppe ja muutujaid rohkem):
...
myresult=2
yourresult=1
header="<html><body>"
html1="minu tulemus on "
html2=" ja sinu tulemus on "
footer="</body></html>"
res=header+html1+str(myresult)+html2+str(yourresult)+footer
print res
  • Kui htmli on rohkem ja programm veidi keerulisem, siis on vastupidi, praktilisem mitte panna kõiki htmli juppe programmi sisse, vaid lugeda html tekst eraldi failist ja siis asendada hulga lõike/juppe hetkel vajalikuks. Asendamiseks mõtle lihtsalt välja endale meeldivad marker-tekstijupid, mida htmlis mujal ei esine, ja tee stringiasendusi. Näiteks, kui su html on failis kpktemplate.html ja oled sinna pannud markerid {myresult} ja {yourresult} siis näeks kasutus välja umbes nii:
...
myresult=2
yourresult=1
f=open('kpktemplate.html','r')
template=f.read()
f.close()
template=template.replace("{myresult}",str(myresult))
template=template.replace("{yourresult}",str(yourresult))
print template
  • Sellise lihtsa stringiasenduse asemel võib kasutada pythonisse sisse ehitatud eraldi templatefunktsioone või ka keerulisemaid ja vägevamaid väliseid templateteeke (mako jms), mis teevad suurtes kogustes asendamisi efektiivsemalt ja mugavamalt ja lubavad template sisse programmijuppe kirjutada. Meie väikese praksiülesande jaoks oleks need vägevamad templatesüsteemid aga pigem overkill, st saadud lisamugavused asenduste tegemiseks tõenäoliselt ei kaaluks üles ajakulu/pingutust nende süsteemide uurimisele.

Andmete esitamine ja kasutamine serveris

Info salvestamise failid on soovitav luua õigustega, kus kõik võivad faili lugeda ja kirjutada. See on turvalisuse mõttes halb, aga arendamise/debugimise mõttes hea. Siis saad ligi ise ja saavad ligi sinu programmid. Käsurealt saad teha nii: 

    chmod a+rw myfile.txt

Täiesti võimalik on olukord, kus Apache poolt käivitatav cgi programm ei ole nõus sinu kataloogis uusi faile tegema: siis tuleks kas muuta oma kataloogi õigusi kõigile loetavaks/kirjutatavaks või teha failid mõnda kataloogi, kus apachel on õigused (ntx /tmp, kuid siis tuleks nende nimele panna ntx sufiksiks sinu matriklinumber, et teistega segi ei läheks).

Failile kirje lisamiseks võid kirjutada uue kirje lihtsalt faili lõppu uueks reaks. Vanu kirjeid pole kunagi vaja muuta!

Igale kirjele võib panna lisaväljana (ntx esimeseks) kaasa kirje loomise aeg.

Faili lugemisel on üldiselt hea mõte kasutada f.readline() funktsiooni, võid soovi korral kasutada ka csv teeki, mille abil faili tabeliks lahti hakkimine nõuab veidi vähem koodikirjutamist (aga mitte tingimata palju vähem sinu aega).

Aja määramisel on sul kõige praktilisem kasutada time.time() funktsiooni (otsi see mahukast ajateegist välja: see annab lihtsalt aja ühe numbrina, sekundites peale aastat 1970 vms. Selle numbri saad siis lihtsalt faili kirjutada, kui tahad aega salvestada. Lugemisel on seda samuti lihtne võrrelda (ja liita/lahutada) hetkeajaga.

NB! Ära hakka jändama keerukate aasta/minuti/ajatsooni jne jne meetoditega: need on keerulised, nende uurimine võtab hulga aega ja praksis neid vaja ei lähe (mis ei tähenda, et huvi korral ei võiks neid uurida :).

Stringi muutmine numbriks on lihtne (int("12") või float("12")) ning samamoodi on lihtne numbri muutmine stringiks (string(12) või string(12.5)).

Vastane: tema leidmine, tema käigu ootamine jms

Selle osa lahendamiseks tuleks - tehnoloogia mõttes - kasutada ajaxit ehk andmete saatmist serverile ja sealt lugemist otse javascriptist.

Seletused, ideed ja soovitused lisanduvad selle osa kohta loengute ja praktikumide käigus.

Kaugõppe näited ja memo

prax3 lisamemo

Eelmiste aastate versioonid

Eelmiste aastate versiooni, mis on mitmes osas sarnased, kuid mitmes osas erinevad: 2012 aasta leiad siit ja 2011 aasta leiad siit. mikromemo mikromemo3 mikromemo4

Pärit leheküljelt "http://lambda.ee/w/index.php?title=ITV0110_3._töö:_Serverirakendus:_cgi_pythonis&oldid=11178"