ITV0110 3. töö 2014: Serverirakendus: cgi pythonis

Allikas: Lambda
Python


NB!

Kui sul on probleeme serveris pythoni programmide käimasaamisega, siis loe siit lõpust peatükki "Põhiprobleemid"

Mis tuleb teha

Sinu ülesandeks on ehitada veebisüsteem, mille kaudu saab teises praksis realiseeritud pig'i üle võrgu mängida, ehk siis teise praktikumi teema edasiarendus veebirakendusena.

Mängida peab saama kahel viisil, kusjuures esimene variant on kõigile kohustuslik ja annab 6 punkti, teine ei ole kohustuslik ja annab lisaks 6 punkti.

  • Üksi, kuid sedakorda tuleb mängu tulemus - punktid ja mänguaeg - iga kord salvestada serverisse ning serverisse kogunev tulemuste tabel tuleb kasutajale otsitaval/sorditaval viisil välja kuvada
  • Teise inimese vastu, kus samuti tuleks iga mängu tulemused serverisse salvestada.

Pane tähele, et selles praktikumis on kõigi ülesannete realiseerimiseks vajalik koodihulk väga väike, samas nõuab tõsist pingutust välja mõelda, kuidas kõiki asju täpselt teha ja esitada ja kuidas nad omavahel kokku käivad. Samuti võtab päris päris palju aega katsetamine ja esmatutvus võõra progekeelega.

Hakka teise inimese vastu mängu tegema alles peale seda, kui üksi masina vastu mängimine on valmis.

Kuidas serverisse tulemusi salvestada ja sealt kuvada

Serverisse andmete salvestamiseks kirjuta nad faili.

Kõigi mängude korral on vaja faili salvestada ka inimese nimi, kes mängis, samuti - kui on vastane - siis vastase nimi. Seega on mängu alustades vaja vormilt sisestada oma nimi, mis siis serveris mängufaili kirjutatakse ja mis mängu ajal ära ei muutu. Nime võib kasutaja valida vabalt, paroole, autentimist jne jne ei ole vaja teha (kuid ei ole ka otse keelatud, peaasi, et sa ei ehitaks seda enne, kui kõik muu valmis).

Mängude kuvamiseks peab sinu pig'i põhilehel olema link "kõik mängud", kuhu vajutades lähed mängude vaatamise lehele.

Mängude kuvamine on vaja teha nii, et saad sisestada (või boksist valida), kelle mänge ja mis vastasega tahad vaadata (üksi või konkreetse inimese vastu), ja siis kuvatakse ainult need. Ei ole keelatud lisaks ka kõigi mängude kuvamine ja muud täiendused.

Mängude kuvamisel võiksid olla sellised tulbad:

  • mängu alustamise kuupäev/aeg
  • mängija 1 nimi
  • mängija 2 nimi: arvutiga mängides jäta see ära
  • mängija 1 punktid
  • mängija 2 punktid
  • mänguaeg sekundites

Mängude sorteerimine on vaja teha nii, et saad tulba pealkirjale vajutada, ning server sorteerib tulemused selle tulba järgi.

Kogu filtreerimine ja sorteerimine tuleb teha serveris, mitte brauseris.

Selles osas on soovitav kasutada harilikku cgi protokolli, mitte ajaxit: samas ei ole ajax siin ka otseselt keelatud.

Täringu veeretamise võid teha brauseris, nagu teises praktikumis, aga võid teha ka serveris. Inimvastase vastu mängides (järgmine peatükk) tuleb täringut igal juhul serveris veeretada.

Mismoodi käib teise inimese vastu mängimine

Teise mängija vastu mängimiseks on vaja teha järgmisi asju:

  • Pead saama kuulutada välja, et soovid mängida (ehk, serveris kuulutuste faili tegema ja sinna inforea lisama).
  • Pead saama vaadata, kes soovivad mängida ja valida neid mängu.
  • Kui veeretad või annad mängukorra üle, siis server peab sinu tegevuse serverisse mängufaili talletama. Vastane ei tee seni midagi.
  • Vastase brauser käib siis kogu aeg serverist ise uurimas, et kas on juba tema mängukord.
  • Kui jah, siis algab tema oma mängukorraga ja kogu tsükkel käivitub uuesti.

Teise mängija vastu mängimise tehnoloogia peab baseeruma ajaxil ehk serveriga andmevahetusel otse javascriptist (vt selle praksi lehe lõpuosa).

Täringu veeretamine peab kindlasti toimuma serveris, mitte, nagu teises praksis, brauseris.

Üksikuid veeretamisi ei ole tingimata vaja serveris salvestada ja teisele mängijale kuvada: piisab veeretamiste ahela lõpptulemusest enne mängukorra üleandmist. Samas ei ole keelatud ka iga ükskiku täringuviske salvestamine ja kuvamine. Vali ise, kumba varianti eelistad kasutada.

Praktikumi arvestamine ja hindamine

Praktikum annab maksimaalselt 12 punkti.

Esimene osa (üksi mängides mängude salvestamine serverisse ja seni mängitud mängude tulemuste kuvamine) on kohustuslik osa praktikumist ja nende korralik realiseerimine annab 6 punkti. Praktikumi ei arvestata, kui selles osas on suuremad puudujäägid.

Omavahelise mängu realiseerimine (teine osa praksist) annab lisaks kuni 6 punkti ja ei ole kohustuslik.

Pane tähele, et selles praktikumis on kõigi ülesannete realiseerimiseks vajalik koodihulk väga väike, samas nõuab tõsist pingutust välja mõelda, kuidas kõiki asju täpselt teha ja esitada ja kuidas nad omavahel kokku käivad. Samuti võtab päris päris palju aega katsetamine ja esmatutvus võõra progekeelega.

Tehnoloogilised nõuded

  • Kõik serverirakendused tuleb realiseerida Pythonis.
  • Rakendus peab olema võrgus vabalt brauseriga ligipääsetav, mitte lihtsalt töötama näiteks sinu laptopis.
  • Serverarvutina tuleb kasutada dijkstrat, rakenduse failid tuleb kopeerida kataloogidesse public_html/prax3 ja public_html/cgi-bin/prax3
  • Serveris tuleb infot hoida ühes või mitmes mängutulemuste failis.
  • Kasutada tuleb nimelt lihtsaid inimloetavaid faile, andmebaasimootoreid kasutada ei tohi (andmebaasimootorite jaoks on neljas praks).
  • Loodud veebilehed peavad sisaldama html-i, css-i ja javascripti (pluss pilte), javat ja flashi jne kasutada ei tohi.
  • Teise mängija vastu mängimine peab kasutama ajaxit ehk andmevahetust serveriga otse javascriptist. Üksi mängimine ei pea kasutama ajaxit, kuid keelatud see ei ole.

Turvaküsimustega ei pea selles praksis tegelema! Seega on täiesti ok, kui mängija saab ise anda cgi-le parameetrid näiteks võõra mängu kohta ja sellega teiste mängu ära rikkuda, pettusi teha jne. Turvaküsimused oleks selle praksi jaoks lihtsalt liiga töö- ja tähelepanumahukad.

Miks skriptikeel (siin praksis Python) ja mitte C või Java? Eeskätt seepärast, et C ja Java jaoks juba on eraldi kursused, kus neid kasutatakse. Teiseks seepärast, et skriptikeeltes on väiksemaid/lihtsamaid veebirakendusi veidi mugavam kirjutada, kui kompileeritud keeltes.

Miks just Python? Vaata Tiobe progekeelte populaarsuse indeksit: kõige populaarsemad nn skriptikeeled on (peale Javascripti) PHP ja Python. Kummagi jaoks on meil üks praktikum. PHP ja Python on üksteisest ka väga erinevad (Perl ja PHP on hoopis sarnasemad), seega on nad sobivad näited skriptikeelte spektri eri otstest.

Dijkstra server

Dijktra serverisse ligipääsu, failide laadimise ja linuxi käsureaga hakkamasaamise kohta loe pikemalt teise praktikumi materjalidest Dijkstra serveri peatükist, siin neid üle ei korrata.

Oma programmid pane kataloogi public_html/cgi-bin . Kõigepealt pead selle kataloogi tegema ja talle grupile ligipääsuõiguse andma, analoogiliselt teise praktikumiga. Mujale pandud programme Apache käima ei pane.

Kui töös taaskasutatakse teise praktikumi koodi, siis tee sellest uus koopia public_html/prax3 alla. Teise praktikumi töö peab ka alles jääma.

Samuti on sul vaja veidi tutvuda linuxi käsurea elementaarkäskudega (kopeerimine, kustutamine, õiguste muutmine jne) nagu teises praksis soovitatud.

Soovitused programmeerimiseks

Kõigepeal tutvu cgi programmide kirjutamise esmaste põhimõtetega loengumaterjalidest ja sisuliseks arusaamiseks loe cgi loengu materjalide alt teisi materjale lisaks.

Python

Kui sa ei ole varem Pythonis cgi-sid programmeerinud, tutvu kõigepealt Pythoni keele ja cgi teegiga:

Hea mõte on paralleelselt teha lahti Pythoni interpretaator ja katsetada kõrvale asju otse Pythoni käsureal. Kui su masinas Pythonit pole, siis installeeri!

Paljud kasulikud asjad on kirjas Pythoni teegi dokumentatsioonis. Konkreetsete küsimuste korral aitab tihti googeldamine.

NB! Pythonil on väga palju teeke ja mitmeid mittetriviaalseid keelekonstruktsioone. Sul ei lähe rõhuvat enamust nendest vaja, praktikumiks piisab väga esmastest asjadest (listid, stringid, numbrid) ning teekidest ei lähe samuti muud vaja, kui failide lugemine/kirjutamine, stringioperatsioonid ja cgi. Ära kuluta kohe aega kõigi Pythoni teekide ja detailide uurimisele, pigem alusta peale esmast tutvust koodi kirjutamist.

Arvesta, et dijkstra serveris on installeeritud Python 2.7.3, seega väldi Python 3 spetsiifiliste asjade kasutamist (vt erinevusi 2 ja 3 sarja vahel), muidu võib tekkida komplikatsioone programmide viimisel dijkstrasse. Kui sa midagi eriti keerulist ei tee, siis ei tohiks 3 sarja programmide ja 2 sarja interpretaatoriga siiski suuremaid probleeme tekkida.

Kirjuta mõni väike näiteprogramm ja katseta serveris, kuhu lõpuks süsteemi üles paned (kas siis dijkstra või oma isiklik lemmikserver).


Kasulikud Pythoni näitejupid cgi jaoks

Vaata kindlasti Kasulikke pythoni näitejuppe cgi jaoks. Nendes näidetes toodud konstruktsioonidest ja funktsioonidest peaks kolmanda praksi jaoks piisama.


Python + CGI

Vormidelt saadetud data kasutamiseks on Pythonis tore imporditav moodul nimega cgi, mille funktsioonid aitavad vormiinfot söödavamal kujul sisse võtta.

Looge fail test2.py: 

#!/usr/bin/python
import cgi

print "Content-type: text/html"
print

print "<html><head><title>test2.py</title></head><body><h1>Hello, World!</h1><p>Lisaparameeter oli "

formdata = cgi.FieldStorage()
if formdata.has_key("lisaparameeter"):
  print formdata['lisaparameeter'].value
else:
  print "puudu"

print ".</p></body>"

Vaadake faili brauseris:
http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py

Parandage faili õigused omaette kirudes, et seda unustati teile teisel korral öelda ja vaadake uuesti.

http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py?lisaparameeter=olemas

Tasub vaadata ka Kasulikke pythoni näitejuppe cgi jaoks.

Arendamine oma või arvutiklassi arvutitel

Kuna sinu süsteem peab lõpuks töötama avalikul veebiserveril, kuid arendust teed oma või arvutiklassi arvutitel, siis kuidas oleks mõistlik tööd korralda?

Peamised variandid on sellised (vaata jällegi lisadetaile teise praktikumi materjalidest Dijkstra serveri peatükist):

  • Kirjutad kõik otse serveris, kasutades sisselogimiseks Putty-t (windows) või ssh-d (linux) ja serveris kasutad redaktoriks näiteks vi-d. Aitab, kui teed lahti mitu akent. Kõige universaalsem viis, aga suhteliset ebamugav, samuti nõuab vi õppimist, mis võtab aega. Võimalik alternatiiv vi-le serveris on nano.
  • Kirjutad faile oma masinas redaktoriga, mis lubab üle võrgu faile avada ja sulgeda, windowsis näiteks winscp abil. Katsetamiseks ja testimiseks hoiad lahti sisse logitud aknaid nagu eelmises variandis. See on suhteliselt mugav viis kui sa ei taha järgmisena kirjeldatud meetodeid - mis veidi pikemas perspektiivis on paremad - kasutada.
  • Arendad süsteemi võimalikult lõpuni windowsis valmis ja siis kannad üle serverisse ja teed vajalikke muutusi. Selleks installeeri oma arvutis python windowsile, arvutiklassides peaks see juba olemas olema. Väga abiks oleks seejuures ka veebiserveri installeerimine, näiteks
  • Kui sul on oma arvutis windows ja põhiliselt kasutad seda, siis kõige soovitavam ja pikemas perspektiivis mõistlikum viis on installeerida windowsile lisaks ubuntu linux
  • Ja loomulikult on võimalik kasutada oma masinas mõnda standalone unixt: linuxit, mõnda bsd-d, mac os X vms kas ainsa süsteemina või dual bootina. Kui kirjutad palju ja tihti koodi linuxi serverite jaoks, siis on see tõenäoliselt kõige mõistlikum variant.

Tegelik koodikirjutamine

Kõige olulisem soovitus: alusta ülesande esimesest osast - oma mängu tulemuse salvestamine serverisse - ja tee seejärel valmis salvestatud faili lihtne kuvamine brauseris.

Kui see korralikult käib, siis täienda esialgset funktsionaalsust vastavalt nõuetele ülal.

Ära hakka korraga palju funktsionaalsust programmeerima: tee üks väike osa juurde, katseta läbi ja paranda, ning alles seejärel lisa järgmine tükk funktsionaalsust jne.

Ehk, selles järjekorras:

  • väike katseprogramm a la hello world (võid ta kopeerida ülal viidatud koodinäidetest)
  • oma mängu tulemuse salvestamine serveris olevasse faili
  • tulemusfaili kuvamine
  • salvestamise/kuvamise integreerimine mängu põhilehega
  • vastase vastu mängimine
  • täringuviske genereerimine serveris pythoniga, mitte brauseris javascriptiga
  • mängufailide kuvamise täiendamine vastasega variandi jaoks

Süsteemis on hulk funktsionaalsust, mis nõuaks justkui hulga erinevate cgi-de tegemist. Üks variant süsteemi ehitada ongi teha mitu cgi-d, teine - üldiselt parem - variant on aga teha üks (või paar) cgi-d, mis saavad vormidelt ette hidden väljale pandud operatsiooninime (a la myprog.cgi?op=storetofile&name=John ...) ja siis kutsuvad välja operatsiooninimele vastavat funktsiooni sellessamas cgi-s.

HTML tekst programmis või eraldi failides

Kuna sinu programm peab kokku panema ja lõpuks välja trükkima hulga html teksti, tekib küsimus, et kuidas seda paremini teha. Üldiselt on siin järgmised erinevad viisid või põhimõtted:

  • Kõige lihtsam ja väga väikeste programmide korral kõige mugavam on panna html teksti jupid otse programmi muutujate väärtusteks umbes nii (näide on väga lihtsustatud, praktikas oleks juppe ja muutujaid rohkem):
...
myresult=2
yourresult=1
header="<html><body>"
html1="minu tulemus on "
html2=" ja sinu tulemus on "
footer="</body></html>"
res=header+html1+str(myresult)+html2+str(yourresult)+footer
print res
  • Kui htmli on rohkem ja programm veidi keerulisem, siis on vastupidi, praktilisem mitte panna kõiki htmli juppe programmi sisse, vaid lugeda html tekst eraldi failist ja siis asendada hulga lõike/juppe hetkel vajalikuks. Asendamiseks mõtle lihtsalt välja endale meeldivad marker-tekstijupid, mida htmlis mujal ei esine, ja tee stringiasendusi. Näiteks, kui su html on failis kpktemplate.html ja oled sinna pannud markerid {myresult} ja {yourresult} siis näeks kasutus välja umbes nii:
...
myresult=2
yourresult=1
f=open('kpktemplate.html','r')
template=f.read()
f.close()
template=template.replace("{myresult}",str(myresult))
template=template.replace("{yourresult}",str(yourresult))
print template
  • Sellise lihtsa stringiasenduse asemel võib kasutada pythonisse sisse ehitatud eraldi templatefunktsioone või ka keerulisemaid ja vägevamaid väliseid templateteeke (mako jms), mis teevad suurtes kogustes asendamisi efektiivsemalt ja mugavamalt ja lubavad template sisse programmijuppe kirjutada. Meie väikese praksiülesande jaoks oleks need vägevamad templatesüsteemid aga pigem overkill, st saadud lisamugavused asenduste tegemiseks tõenäoliselt ei kaaluks üles ajakulu/pingutust nende süsteemide uurimisele.

Andmete esitamine ja kasutamine serveris

Info salvestamise failid on soovitav luua õigustega, kus kõik võivad faili lugeda ja kirjutada. See on turvalisuse mõttes halb, aga arendamise/debugimise mõttes hea. Siis saad ligi ise ja saavad ligi sinu programmid. Käsurealt saad teha nii: 

    chmod a+rw myfile.txt

Täiesti võimalik on olukord, kus Apache poolt käivitatav cgi programm ei ole nõus sinu kataloogis uusi faile tegema: siis tuleks kas muuta oma kataloogi õigusi kõigile loetavaks/kirjutatavaks või teha failid mõnda kataloogi, kus apachel on õigused (ntx /tmp, kuid siis tuleks nende nimele panna ntx sufiksiks sinu matriklinumber, et teistega segi ei läheks).

Failile kirje lisamiseks võid kirjutada uue kirje lihtsalt faili lõppu uueks reaks. Vanu kirjeid pole kunagi vaja muuta!

Igale kirjele võib panna lisaväljana (ntx esimeseks) kaasa kirje loomise aeg.

Faili lugemisel on üldiselt hea mõte kasutada f.readline() funktsiooni, võid soovi korral kasutada ka csv teeki, mille abil faili tabeliks lahti hakkimine nõuab veidi vähem koodikirjutamist (aga mitte tingimata palju vähem sinu aega).

Aja määramisel on sul kõige praktilisem kasutada time.time() funktsiooni (otsi see mahukast ajateegist välja: see annab lihtsalt aja ühe numbrina, sekundites peale aastat 1970 vms. Selle numbri saad siis lihtsalt faili kirjutada, kui tahad aega salvestada. Lugemisel on seda samuti lihtne võrrelda (ja liita/lahutada) hetkeajaga.

NB! Ära hakka jändama keerukate aasta/minuti/ajatsooni jne jne meetoditega: need on keerulised, nende uurimine võtab hulga aega ja praksis neid vaja ei lähe (mis ei tähenda, et huvi korral ei võiks neid uurida :).

Stringi muutmine numbriks on lihtne (int("12") või float("12")) ning samamoodi on lihtne numbri muutmine stringiks (string(12) või string(12.5)).

Vastane: tema leidmine, tema käigu ootamine jms

Selle osa lahendamiseks tuleks - tehnoloogia mõttes - kasutada ajaxit ehk andmete saatmist serverile ja sealt lugemist otse javascriptist.

Seletused, ideed ja soovitused lisanduvad selle osa kohta loengute ja praktikumide käigus.

Põhiprobleemid

Esimese asjana pane serveris käima väike katseprogramm, näiteks copy-paste see jupp kataloogi public_html/cgi-bin nime all test.py: 

#!/usr/bin/python
print "Content-type: text/html"
print
print "tere!"


Logi serverisse sisse, pane ta prooviks käsurealt käima ja siis vaata brauserist ka, urlilt http://dijkstra.cs.ttu.ee/~Eesnimi.Perenimi/cgi-bin/test.py

Kui see ei õnnestu, on sul tõenäoliselt juhtunud mõni - või mitu - järgmistest vigadest:


a) Debugimiseks on vaja serverisse sisse logida ja käsurealt programm käima panna.

Sisse logimiseks loe CSS, javascript, veebiserver Dijkstra serveri peatükki. Käimapanekuks: 

  cd public_html/cgi-bin
  ./test.py

Kas läks käima? Kas trükkis content-type: text/html ja tühja rea selle järel?

Esimese asjana logi serverisse ja pane programm käsurealt käima!

b) Kui EI lähe üldse käima, st saate vea 

  -bash: ./test.py: Permission denied

siis tuleb õigused panna proge jaoks õigeks: 

  chmod a+x test.py

c) Annab sellise vea: 

   -bash: ./test.py: /usr/bin/python^M: bad interpreter:
    No   such file or directory

Siis on sul rea lõpus lisaks line-feed sümbolile ka carriage-return. Korista ta niimoodi ära:

1. Ava scite menüüs View -> End of line või Notepad++ menüüs View -> Show symbol -> show end of line

2. Vaata, kas esimese rea lõpus on ainult LF (õige) või CR/LF (vale).

Viimasel juhul:

Scite jaoks: 

1) Options -> Line end characters -> LF
2) Options -> Convert line end characters
3) OK? Kui jah, keera View -> end of line maha

Notepad++ jaoks: 

1) Edit -> EOL conversion -> Unix/osX format
2) OK? Kui jah, keera View -> Show symbol -> show end of line maha

d) Annab mõne muu vea, millest paistab, et python käima ei läinud.

Sul võib olla rea alguses mingi veider sümbol, mida redaktor välja ei näita.

Kontrolli serveri poolelt vaadates, st olles serveris progega samas kataloogis, ütle 

 less test.py

ja vaata, kas esimene rida paistab ok või on seal midagi veidrat. Kui on midagi veidrat, kustuta oma redaktoris esimene rida üldse maha või tee nullist pisi-katsefail ja lae uuesti üles. Siis vaata uuesti less-ga.

less-ga vaatamisest saad välja, kui vajutad tähte q (nagu quit)


e) Annab vea, mille teksti sees on "SyntaxError: invalid syntax"

Siis ongi sinu koodis süntaksiviga. Sama veateade ütleb mh, kus viga on (mitmendal real) ja näitab lühidalt kahtlast kohta koodis, umbes nii: 


  File "./try.py", line 4
     if 1==2
         ^
  SyntaxError: invalid syntax


Süntaksiveaga programm kuvab veebist vaadates "Internal server error" (sest ta ei trüki "content-type: ..." rida)

Paranda süntaksiviga ära ja katseta käsurealt uuesti!


f) Annab sellise vea 

  File "./test3.py", line 4
  SyntaxError: Non-ASCII character '\xfc' in file ./test3.py 
  on line 4, but no encoding declared; see  
  http://www.python.org   
  /peps/pep-0263.html for details

Pythonile tuleb öelda täpitähtede kodeering:

Pane algusse nii: 

  #!/usr/bin/python
  # -*- coding: iso-8859-1 -*-

või

  #!/usr/bin/python
  # -*- coding: utf-8 -*-


g) Käsurealt läheb OK käima, Content-type: text/html on olemas, järgmine rida on tühi, aga brauseris kuvatakse programmi source!

Sel juhul oled pannud programmi otse public_html või public_html/prax3/ alla vms, aga peaks olema public_html/cgi-bin või public_html/cgi-bin/prax3/ all. Tõsta ta õigesse kataloogi!


h) Käsurealt läheb OK käima,aga brauseris kuvatakse "Internal server error"

Kui varasemad võimalikud probleemid on lahendatud (panid käsurealt käima?) siis võiboll ei trüki programm kohe esimese reana "content-type: text/html" (ilma jutumärkideta) või ei trüki selle järele tühja rida.


i) Käsurealt läks käima, aga brauserist näen viga tekstiga "Forbidden .."

Umbes nii: 

  Forbidden:
  You don't have permission to access /~Eesnimi.Perenimi/cgi-bin/test.py on this server.


Sel juhul ei ole sa - tõenäoliselt - oma programmi pannud kataloogi public_html/cgi-bin/ või on ta seal teise nimega: st, teda lihtsalt ei leita selle urli pealt. Teine variant, et sa ei ole teinud 

  chmod a+x test.py



Eelmiste aastate versioonid

Eelmiste aastate versiooni, mis on mitmes osas sarnased, kuid mitmes osas erinevad: 2013 aasta 2012 aasta ja 2011 aasta.

Pärit leheküljelt "http://lambda.ee/w/index.php?title=ITV0110_3._töö_2014:_Serverirakendus:_cgi_pythonis&oldid=12025"