ITV9070 2021
Code: ITV9070 "A sign is anything that can be used to tell a lie." --Umberto Eco “I’m writing a book on magic,” I explain, and I’m asked, “Real magic?” By real magic people mean miracles, thaumaturgical acts, and supernatural powers. “No,” I answer: “Conjuring tricks, not real magic.” Real magic, in other words, refers to the magic that is not real, while the magic that is real, that can actually be done, is not real magic. --Lee Siegel |
Sisukord
- 1 NB! This is an archive from 2021, not the current information / list of materials
- 2 Tulemused
- 3 9 detsembri loeng (viimane sel kursusel!) toimub plaanipäraselt teamsis.
- 4 Paar linki wikipedia dataga ja tavamõtlemise mehhaniseerimise näidetega
- 5 Eksamite kava ja ajad
- 6 Time, place, credits
- 7 Initial course plan, materials and topics
- 8 Presentations
NB! This is an archive from 2021, not the current information / list of materials
Tulemused
Eksamihinded on nüüd ÕISis. Tänan kõiki tudengeid, eksamid läksid igati hästi: neljad ja viied.
9 detsembri loeng (viimane sel kursusel!) toimub plaanipäraselt teamsis.
Teemadeks konsultatsioon eksamiks ja üks tudengi ettekanne.
See peaks olema õige loengu link: link
Paar linki wikipedia dataga ja tavamõtlemise mehhaniseerimise näidetega
Kui kellelgi peaks tekkima huvi veidi katsetada toore Wikipedia dataga, siis saab loengus vaadatud töödeldud variante siit (tarballid sisaldavad datat, selgitavat README-d ja tarkvara selle ise ehitamiseks):
- a compacted pure-text version of full wikipedia
- A lemmatized version of wikipedia texts
- Several co-occurrence matrices and lists of top-co-occurring words for wikipedia
Lisaks gk: tavamõtlemise mehhaniseerimise proge koos näidetega
Eksamite kava ja ajad
Eksamid teeme 2022 jaanuari eksamisessioonil kohapeal audikas, koos IT sissejuhatuse tudengite eksamitega. Aega eksamil on poolteist tundi.
Eksamipäevi on kolm ja eksamid toimuvad igal päeval kell 10:00, 12:00 ja 14:00 IT kolledzhi auditooriumis ICO-314. Eksamipäevad on:
- 4. jaanuar
- 7. jaanuar
- 18. jaanuar
Vali palun ise, mis päeval ja mis ajal (10, 12 või 18) eksamile tuled. Registreeruda ei ole vaja. Kokku võib eksamit teha kaks korda. Pärast 18. jaanuari enam eksameid/järeleksameid ei tule.
Time, place, credits
Credits: 6
Lectures: Thursdays at 15:45-17:15 in the room ICT-A2
Practice sessions: every second Friday starting from 10. September at 9:30-11:00 in the room ICT-A2
The contents of practice sessions are presentatins by students and their discussion. Presence in the practice sessions is accounted for in the final grade.
Course will finish with a written exam. The materials below marked with a red E will be critical for studying for the exam, while the materials marked with blue L are also used but less important. Materials without such marks will not be used for the exam questions.
In order to be allowed to take the exam, each student should give at least four presentations. Presentations are not graded, but when they are determined not to be satfisfactory, they should be re-done.
Some of the later lecture times will be used as additional practice sessions.
Initial course plan, materials and topics
We consider several topics, starting from general ones and moving to more specific.
The main goal of the lectures is to make it easier to understand the concepts and ideas in the topics, in order to better understand the reading materials..
Main and recommended materials
Obligatory:
- D. Chandler. Semiotics for beginners. first half is obligatory. E. Observe that semiotics is more part of the so called continental philosophy, not so much the
analytic philosophy.
- Tähendus, tõde, meetod. Source for the first round of presentations.
Useful readings:
- philosophy bites podcasts. Start with this episode.
- Sam Harris with David Chalmers
- brain science podcasts. Especially recommended:
*, *, *, *, *, *, *, *, *, *, *, *, *, *.
- seminar of analytic philosophy
- Endel Tulving. Memory.
- Intro to semiotics
Intro, semiotics, philosophy
Main materials:
- Semiotics for beginners. first half is obligatory. E
- Quine: Two Dogmas of Empiricism. E
- mis on analüütiline filosoofia.
- analytic/synthetic. E
- logical positivism.
- Problem of universals nominalism/realism. L
- functionalism. E
- fenomenoloogia.
- Propp.
Useful to read/listen:
- L Philosophy of Metzinger: listen as a lecture Metzingeri podcasti, background reading Self models ja lisaks tasub vaadata ka Metzinger video
- Tractatus ja Tractatus: struktureeritud täistekst. L. Wittgenstein. Read a bit, along with a commentary
- Philosophical Investigations koos kommentaaridega: read first 100.A A small summary of early vs late Wittgenstein
About the alphabet:
- http://en.wikipedia.org/wiki/Egyptian_hieroglyphs
- http://en.wikipedia.org/wiki/Written_Chinese
- võrlduspilt ja wiki ja unicode
- http://en.wikipedia.org/wiki/Phoenician_alphabet
- http://en.wikipedia.org/wiki/Egyptian_uniliteral_signs
- http://en.wikipedia.org/wiki/Cumae_alphabet
Märkmeid strukturalismist, dekonstruktsioonist ja muust:
- strukturalism L, dekonstruktivism, dekonstrueerimise kiirõpetus, Derrida lõik, hermeneutika
- insheeption
- sympathetic magic: wiki, Frazer
Märkmeid Proppi teooriast:
Märkmeid Viini ringist ja loogilisest positivismist:
- Põhiseisukohad: "First, experience is the only source of knowledge; second, logical analysis performed with the help of symbolic logic is the preferred method for solving philosophical problems."
- taust: analüütiline/sünteetiline, apriori/aposteriori
- Klassikaline positivism kui taust: pikemalt siit
- väike ülevaateloeng Viini ringist
- Vienna circle: good short overview ja põhjalik artikkel Stanfordi filosoofiaentsüklopeediast ning Viini ringi manifest
- Logical positivism: good overview
- wiki logical positivism
Evolution of brain, intelligence and society
Sociobiology, evolutionary psychology and memetics.
Main material:
- Evolution: loengumaterjal sissejuhatuseks. L
- Sociobiology in wikipedia. E.
- Evolutionary psychology in wikipedia. E. You may also want to read more details in primer ja conceptual grounds
- Memetics in wikipedia. E
- Universal grammar L theory of Chomsky
Recommended overviews:
- wiki on the theories of origin of language
- overview of Chomsky theories of language evolution
- wiki on horizontal gene transfer
Recommended books:
- The Selfish Gene
- Guns, Germs and Steel
- Sapiens: A Brief History of Humankind
- Homo Deus: A Brief History of Tomorrow
Important papers:
- BRAIN EVOLUTION AND NEUROLINGUISTIC PRECONDITIONS L
- CO-EVOLUTION OF NEOCORTEX SIZE, GROUP SIZE AND LANGUAGE IN HUMANS L
- Precis of Origins of the Modern Mind: Three Stages in the Evolution of Culture and Cognition L
- DNA seen through the eyes of a coder
- Epigenetics vt ka seda artiklit
Märkmeid: artiklid, kogumikud ja muud. Ei ole kohustuslik lugemine.
- natural language and natural selection
- Language as an Adaptation to the Cognitive Niche
- Faculty of Language: What Is It, Who Has It, and How Did It Evolve?
- Agner Fog: cultural selection
- Buss lab publications
- Changizi publications: vt allpool peatükk ARTICLES AND BOOKS ntx Economically organized hierarchies in WordNet and the Oxford English Dictionary, citybrain, colorface, xray vision
- the brain from 25000 feet
- John Eccles: Evolution of consciousness
Brain science
For exam:
- https://en.wikipedia.org/wiki/Cognitive_neuroscience L
- https://en.wikibooks.org/wiki/Cognitive_Psychology_and_Cognitive_Neuroscience/Memory L
- https://en.wikipedia.org/wiki/Computational_theory_of_mind E
Good general overviews:
- background reading for further reading or listening about brain
- https://grey.colorado.edu/CompCogNeuro/index.php/CCNBook/Main
- https://en.wikibooks.org/wiki/Cognitive_Psychology_and_Cognitive_Neuroscience
Read also:
Important:
- look at the recommended podcasts, youtube lectures and background for these
- see also http://brainsciencepodcast.com/episodes-page
General notes
- https://en.wikipedia.org/wiki/Cognitive_neuroscience
- https://en.wikipedia.org/wiki/Computational_theory_of_mind
- https://en.wikipedia.org/wiki/Global_Workspace_Theory
- https://en.wikipedia.org/wiki/Grandmother_cell
Infinity, logic and philosophy of mathematics
Esimeseks teemaks on sissejuhatus matemaatika filosoofiasse, eeskätt lõpmatuse ja lahendamatuse küsimused.
Alustuseks loe läbi eksamil kohustuslik sissejuhatav presentatsioon
- infinity, limits of computation and undecidability E
- ja paralleelselt samu teemasid toetav jutt, mille õppejõud kirjutas Gödeli teoreeme käsitleva raamatu järelsõnana.
Kui lõpmatus/Cantori teoreem jäävad segaseks, siis on abiks lugeda cardinality wikipedias. Gödeli mittetäielikkuse kohta tasub veidi täiendavalt tutvuda Gödeli mittetäielikkuse teoreemide filosoofiliste järeldustega Stanfordi filosoofia-entsüklopeediast: see on osa pikemast mittetäielikkuse-artiklist, mille esimeses pooles räägitakse pikemalt kummastki Gödeli mittetäielikkuse teoreemist: veendu, et saad enamvähem aru, mida kumbki teoreem ütleb.
Seejärel loe läbi pikem jutt: matemaatika filosoofia Stanfordi filosoofia-entsüklopeediast.
Järgmisena on teemaks mitteklassikaliste loogikatega matemaatika filosoofia taustal:
- mitteklassikalised loogikad. Siin on pealeloetud jutuga variant: E downloadi ja vaata normaalses täisekraan-vaatamisreziimis, siis kuuled slaidide juures minu juttu. Täiendavalt võib lugeda SEP intuitsionislikku loogika peatükki, aga see on väga tehniline.
- modaalsed loogikad L ja sellega paralleelselt vaata kahte pooletunnist videot: modaalsete loogikate aksioomid ja kripke semantika ehk võimalikud maailmad. Filosoofia-spetsiifilisemaid aspekte sellest vaatleb suur sari (playlist) samalt autorilt, aga seda ei jõu tervikuna keegi vaadata. Päris soovitav on vaadata täiendavalt presentatsiooni, kus filosoofilisemaid aspekte on kenasti välja toodud. SEP-s on asjakohased modaalloogika-peatükk ja SEP filosoofia sinna juurde, aga kumbki on väga tehniline.
More on nonclassical logics:
- modaalsete loogikate ülevaade wikipedias
- Modaalse loogika filosoofilised põhiideed
- Intuitsionistliku loogika filosoofilised põhiideed L
Thinking and AI
Esiteks, tehisintellekti filosoofia põhiküsimused (väga lähedased funktsionalismi küsimustele).
Alustuseks palun kuula või vaata läbi
- Steven Pinkeri episood väga heast ja populaarsest ai podcastist.
Seejärel loe läbi wikiülevaated põhiküsimustest:
Ja tehnilisemalt lisaks Graziano neuroteaduse-hüpoteesiga teadvuse osas:
Eelpool igal pool viidatud/arutletud hiina toa kohta saab lugeda detailsemat argumentatsiooni ja vastuväiteid päris heast wikiartiklist:
Järgmisena olulist lugemist ja kuulamist:
- Alustuseks Rodney Brooksi väike tehisintellekti-sari osa 1 L, osa 2 L, osa 3 L, osa 4 Lja veidi tasub lugeda ennustustest scorecard 2020
- Kuula Stuart Russell AI ohtudest ja vastupidi lugemiseks kindlasti miks mitte karta tehisintellekti
- Neurorehkenduste ja sümbolrehkenduste vaidluse teemal vaata Yoshua Bengio ja Gary Marcuse diskussiooni ja detailsemalt hübriididest Gary Marcuse episoodi AI podcastist ja vastupidi, õppimisest David Silveri episoodi Alphago, Alphazero jms teemadel.
- Praktilise AI ehitamise teemal kuula David Ferrucci ibm watsoni episoodi ja veel praktilisemalt protsessoritest Jim Kelleri episoodi "Moore’s Law, Microprocessors, Abstractions, and First Principles"
Täiendavalt kuula paari-kolme (ideaalis kõiki) järmistest suuremate klassikute episoodidest omal valikul:
- https://lexfridman.com/tomaso-poggio/
- https://lexfridman.com/richard-dawkins/
- https://lexfridman.com/noam-chomsky/
- https://lexfridman.com/nick-bostrom/
- https://lexfridman.com/jeff-hawkins/
- https://lexfridman.com/judea-pearl
Semantics in the semantic web
Selle nädala fookus on suhteliselt spetsiifilisel ja praktilist laadi küsimusel, mida URI tähendab ja kuidas nendega toimetada, mis on veidi sarnane klassikalise semiootika-kolmnurgaga, aga praktilises/tehnilises kontekstis.
- Sissejuhatuseks loe URI wikipedias ja sellega paralleelselt
- URI alamvariant URN L ja
- namespace ja konkreetselt XML namespace: URI-de namespacede süsteem on ehitatud koos viimasega
- Seejärel loe David Boothi juttu uride tähenduse probleemist E. Booth on samal teemal veel hulgem kirjutanud, näiteks siin, siin ja siin.
- Siis H. Halpini Identity, Reference, and Meaning on the Web sarnastel teemadel, kui eelmine artikkel. Halpin on samuti palju kirjutanud, vaata näiteks tema kirjutist anonüümsusest.
- Seejärel loe omal valikul mõni artikkel workshopist Identity, Reference, and the Web. Eelmine Halpini artikkel on selle sissejuhatus.
- Lõpuks loe omal valikul mõni artikkel kogumikust "Toward a Philosophy of the Web" (tasuta download, regada pole vaja) 4. Suhteliselt hea artikkel sealt on Chapter 3. The Web as Ontology. Web architecture between REST Resources and Rules
Dialoog, pragmaatika, ebakindlad teadmised
Esimeseks teemaks on pragmaatika dialoogis. Siin on mitu omavahel seotud haru (vaata korra neile artiklitele peale, aga ära väga põhjalikult loe, kui sügavamat huvi ei teki):
- Speech acts L ehk laused, mis teevad midagi, mitte ei kanna ainult lihtsalt informatsiooni
- Implicature L mille põhiosa on Grice maksiimid, nende järgimine ja eiramine: ehk, mida loetakse välja dialoogi käigus
- Relevance theory ehk Grice maksiimide edasiarendused
Alustuseks kindlasti vaata/kuula hoopis neid lühiloenguid
- Jutu pragmaatika ja speech acts 11 minutit sissejuhatust kogu teemasse
- Grice's Maxims, Implicature, Presupposition: eriti tore 12 minutine detailsem loeng Grice maksiimide teemal
- Deceiving with words kui sa kursuse algul seda juba ei kuulanud, tee seda nüüd
Kui sul on huvi Grice originaali vaadata (ei ole kohustuslik), siis
- Logic and conversation: Grice originaal-põhiartikkel maksiimidest
- täiendavaid näiteid, mis põhjalikult analüüsitud
Kindlasti vaata seejärel läbi
- presentatsioon kogu teemast E (loe aeglaselt) teatud fookusega automatiseerimisele
- Relevance theory ehk edasiarendus: 32 lehekülge selle alamvaldkonna põhiautoritelt, päris süvenemisega ei jõua
- Jurafsky & Martin chapter 26 Dialogue Systems and Chatbots praktiliste süsteemide peatükk nende silmapaistavast NLP õpikust: sirvi läbi ja vali ise kohad, mida süvenemisega lugeda.
Täiendavalt head vabatahtlikku kuulamist ja lugemist:
- NLP podcasti episood 89 dialoogsüsteemidest
- Implicature Calculation, Pragmatics or Syntax, or both: täpsem implikatuuri analüüs
- Implikatuur eksperimentidega
- Väga põhjalik jutt teatud fookusega automatiseerimisele
- Dialoogipragmaatika Stanfordi filosoofia-entsüklopeedias
- Implikatuur Stanfordi filosoofia-entsüklopeedias
Järgmine teema on ebakindlad teadmised ja tõenäosus: kuidas sellest aru saada, kirja panna ja järeldusi teha.
Sissejuhatus teemasse on ühine sama nädala materjalides teadmiste formaliseerimise kursuses.
Loe hoolega detailset sissejuhatust teemasse: Numeric uncertainty (L järgneva esimese punkti suuniste järgi):
- Kindlasti loe kuni peatükini "Different ways to encode confidences in logic"ja vaata kiirelt peale kõigi viidatud wikilehtedele.
- Vaata lühidalt läbi järgmised peatükid ja süvene ainult siis, kui asi paistab huvi pakkuvat.
Seejärel loe algusotsad ja sirvi veidi edasi neid pikemaid Stanfordi filosoofia-entsüklopeedia artikleid:
Presentations
Schedule
- 10 sept: Voites: Putnam: tähendus ja osutus. (Meaning and reference)
- 10 sept: Lips: Tarski: semantiline tõekontseptsioon.
- 10 sept: Igor: Ramsey subjektiivne tõenäosusteooria.
- 24 sept: Javier: Dummett: Truth.
- 24 sept: Joonas: Strawson: Tähendus ja tõde.
- 24 sept: Svetlana: Dennett: quining qualia
- 8. okt: Lips: How do bacteria and simple organisms communicate
- 8. okt: Igor: Frame problem in A.I.
- 8. okt: Voites: ...
- 22. okt: Voites: Steve Grand & creatures ntx https://stevegrand.wordpress.com/2011/03/06/introduction-to-an-artificial-mind/
- 22. okt: Javier: AI responsibility and morals
- 22. okt: Svetlana: Intuitsionistlik loogika: näited teoreemidest, mis kehtivad klassikaliselt, kuid mitte intuitsionistlikult. Näiteid tõestustest, millel lihtne klassikaline, kuid keeruline konstruktiivne ehk intuitsionistlikult OK tõestus. Põhinäiteks sobib klassikaline tõestus, et eksisteerivad irratsionaalarvud a ja b, nii et a astmel b on ratsionaalarv. Oluline lugemine tagapõhjaks constructive proof, konstruktivism ja [1] Taustaks veel: ruutjuur kahest ise on irratsionaalarv ja viimase konstruktiivne tõestus
- 5 nov: Igor: modal logic S4 and S5, statistical principles in machine translation
- 5 nov: Javier: AI responsibility and morals
- 5 nov: Voites: Boström simulation argument
- 19. nov: Igor: google translation
- 19. nov: Silvia: Antroopsusprintsiip ja boltzmanni aju
- 19. nov: Javier: GPT-2 ja GPT-3
Themes for selection
Ideas for the first rounds from this book (search originals from the web):
- Putnam: tähendus ja osutus. (Meaning and reference)
- Quine: empirismi kaks dogmat. (Two dogmas of empiricism)
- Dummett: Truth.
- Tarski: semantiline tõekontseptsioon.
- Strawson: Tähendus ja tõde.
- Ramsey subjektiivne tõenäosusteooria.
Further:
- Nick Boström "are we living in simulation". http://www.simulation-argument.com/ and http://www.nickbostrom.com/
- Paul Grice: "meaning" and overview of other important parts of Grice claims and theory.
- Evolution of morals. alusta siit ja otsi ise edasi.
- Frege: Frege tähendusest ja osutusest.
- Dennett: kvaalide kvainimine (quining qualia).
- Chomsky keeleteooria põhipunktid
- Mirror Neurons mh alustuseks brain science podcast 35 Mirror Neurons ja podcast 39 (Discusses the role of mirror neurons in imitation and language) pluss googelda veidi juurde.
- Frame problem in AI. Start with http://en.wikipedia.org/wiki/Frame_problem and continue to find additional materials and examples.
- How do bacteria and simple organisms communicate. Start with this TED lecture.
- infinity: cardinals and ordinals.
- Overview of pragmatism as a philosophical school: main ideas, development etc.
- example of a proof which is classically easy but intuitionistically hard: irrationality around square root of two.
- Anthropic principle and the Boltzmann brain.
- modal logics S4 ja S5 and possible worlds (Kripke semantics).
- neurons.
- Research and give an overview of the state of the art in machine translation: top systems, their capacity and the main principles of how they work.
- Statistical principles in machine translation a la Google
- Confirmation bias, start with this article
- How do bacteria and simple organisms communicate. Start with this TED lecture
- Evolution of morals. alusta siit
- How do bacteria and simple organisms communicate. Start with this TED lecture
- Frame problem in AI. Start with http://en.wikipedia.org/wiki/Frame_problem and continue to find additional materials and examples.
- Intuitsionistlik loogika: näited teoreemidest, mis kehtivad klassikaliselt, kuid mitte intuitsionistlikult. Näiteid tõestustest, millel lihtne klassikaline, kuid keeruline intuitsionistlik tõestus.
- Ordinaalid ja kardinaalid.
- Neuroimaging, auditory hallucinations, and the bicameral mind.pdf start here and download pdf
- Neurons are more complex than we thought, see here and here for starters.
- Could a Neuroscientist Understand a Microprocessor?
- The Hyperbolic Geometry of DMT Experiences and see this for some background.
- Perception Without Representation
- Brain Computation Is Organized via Power-of-Two-Based Permutation Logic