http://www.lambda.ee/w/index.php?action=history&feed=atom&title=NLP_sissejuhatuse_m%C3%A4rkmed 2026-10-28T08:37:49Z Selle lehekülje redigeerimiste ajalugu MediaWiki 1.43.11 http://www.lambda.ee/w/index.php?title=NLP_sissejuhatuse_m%C3%A4rkmed&diff=19705&oldid=prev 2022-03-22T18:08:36Z

<p>Uus lehekülg: &#039;&lt;pre&gt; NLP - Natural Language Processing Sissejuhatus ------------ Masintõlge - (a) primitiivne: sõnad/fraasid otse, veidi teisendad/muudad järjekordi (b) grammatika ja ree...&#039;</p> <p><b>Uus lehekülg</b></p><div>&lt;pre&gt;<br /> NLP - Natural Language Processing<br /> <br /> <br /> Sissejuhatus<br /> ------------<br /> <br /> <br /> Masintõlge - (a) primitiivne: sõnad/fraasid otse, veidi teisendad/muudad järjekordi (b) grammatika ja reeglite põhine (c) statistika ja masinõpe<br /> paralleelkorpused (english text, estonian tekst; euroliidu dokumendid) <br /> <br /> Sentiment analysis: proovid tuvastada, kas positiivne/negatiivne tekst<br /> <br /> NER (named entity recognition) : leia üles pärisnimed, soovitavalt nende tüübid ja idid<br /> <br /> Query answering: (a) faktoloogia (b) ülesandeid . Kaks põhimeetodit: (1) andmebaasid, reeglid, kombineerimine, järeldamine <br /> (2) masinõpe ja teksti jätkuvuse ennustamine (3) hübriidmeetodid a watson<br /> <br /> Dialoogsüsteemid: (SIRI, Google assistant, natuke ka Amazon Alexa): 1) tuvastavad valdkonna 2) tuvastavad eesmärgi (Intent) 3) üritavad soovitud<br /> tegevust teha. Keerukamad süsteemid püüavad küsida juurde inimeselt puuduolevat infot.<br /> <br /> Parserid: lause -&gt; andmestruktuur<br /> <br /> subject verb objekt <br /> The president of Estonia is Alar Karis.<br /> <br /> subject verb objekt<br /> adj np <br /> John ate a red apple with a fork.<br /> <br /> <br /> I shot an elephant in my pyjamas.<br /> <br /> Kaks suuremat parsimisformalismi: süntaksipuu (consituency parsing) ja seostegraaf (dependency parsing)<br /> <br /> semantiline parsimine:<br /> <br /> lause -&gt; tähendust esitav andmestruktuur: palju väga erinevaid prototüüplahendusi <br /> <br /> Proovime parsida: John opened the door. Key opened the door. Alamtask: semantic role labelling (John on agent,<br /> võti on instrument, kuigi süntaktiliselt on identsed)<br /> <br /> Mida me &quot;tähenduse&quot; all mõtleme?<br /> <br /> N-grams<br /> ---------------------<br /> 4<br /> I shot an elephant in my pyjamas.<br /> <br /> Sobivad ülilühikeste tekstide täiendamiseks (a la mobiilis sõnade autocomplete)<br /> <br /> Ei sobi pikema teksti jätkumise ennustamiseks<br /> <br /> <br /> Vektorsemantika ja Bert/GPT tüüpi asjad: ei kasuta N-gramme, vaid vektorsemantikalist üldistust<br /> <br /> ei ole olnud: I shot an elephant <br /> aga oli: I shot a rabbit [with a gun]<br /> <br /> vektorsemantika<br /> ----------------<br /> &quot;vector in 3-space&quot; tähendab &quot;kolmese pikkusega numbrite list&quot; a la [0.9, 0.54, 0.001]<br /> <br /> &quot;Meaning as a point in multidimensional space&quot; : see numbrite list ongi tähendus<br /> <br /> I shot an elephant<br /> [0.9, 0.54, 0.001, ...] [0.5, 0.24, 0.02, ...] [...] [.....]<br /> <br /> &lt;/pre&gt;</div>

Tammet