Hübriidsüsteemid: loengu käigus tehtud sissjeuhatavad märkmed

Hübriidsüsteemid AI-s 

Neurosymbolic AI

1) Masinõpe, kõige rohkem närvivõrgud
   - klassikaline statistika a la n-grams
   - nö vanemad õppimismeetodid
   - närvivõrgud:
      - BERT ja selle derivaadid
      - transformerid a la GPT      

2) Symbolic reasoning, ntx 
   - automated theorem proving (võimsam keel)
     keeruline implementeerida
   - RDFS ja sõbrad, semantic web: triplets (piiratud keel)
     lihtne implementeerida 
   - modaalsed/kõrgemat järku/eksootilised loogikad
     üldiselt ei implementeeritagi
   - tõenäosused ja erandid (default jne)
     väga vähe implementatsioone

--------------   

masinõppel plussid ja miinused:
   
+ ...
- hallutsineerimine (valetab) 
- ei suuda edukalt ette mõelda / otsingut teha / planeerida
  - ei ole otsingumootorit sees
  - lihtsamaid rehkendusi a la kalkulaator ei ole sees
  - andmebaasimootorit ei ole sees
- kontrollitavus: et saaksime suunata, mida teeb/kuidas vastab
  (sh ennustatavus)
- seletatavus

---------------

1) teoreemitõestajatele lisatud masinõpe
   
   S. Schulz (E) 90-datel ei andnud edu
   
   2010-l ja praegu:
   
   Tshehhide punt (Josef Urban): teoreemitõestajad kui
   masinõppijad pundis T. Mikolov (word2vec fame)

   õppida teoreemitõestuse otsingut suunama, õppides
   edukatest leitud tõestustest: suunata ja piirata
   otsingut. Mizar-i nimeline aksiomaatika matemaatika
   jaoks: päris kõvasti abiks
   
   
2) Laine: lisame närvivõrkude commonsense reasoningule
   a la bert ja gpt sümbolmeetodeid
   
   - päris palju artikleid ja päris palju süsteeme
     eriliselt suurt ei ole siiani olnud
     
   - tüüpiliselt: lisame RDF tüüpi faktikolmikuid õpitavasse
    materjali. Kuidas lisada?? Igaüks katsetab erimoodi.
    
3) Laine - hüpoteetiline ehk algamas:

   Kuidas reeglitega otsingut integreerida keelemudelitega?
   
   - Semantic parsing: keele lausetest saada sümbolkujul
     nö maailmaga seostuv mudel (ntx loogikavalemid vms)
     
     Õppida ära, kuidas lausest saada sümbolkujul esitus?
     
     Mille pealt õpiks? 
     
     1) 
     Lause1 -> sümbolkuju1
     Lause2 -> sümbolkuju1
     ...
     peaks olema sees kõikvõimalikud keerulised
     ericased
     
     üritusi veidi on, aga mitte eriti suures mahus
     Johan Bos, Lasha Abzianidze
     
     2)
     Hübriidina, a la osaline
     semantiline parser, ja sellele liidame lihtsama
     masinõppe osa
     
     Optsioon:
     * kasutame transformerit a la gpt lausete lihtsustamiseks
     * siis saaks ka piiratud semantiline parser
       edukalt hakkama
       
     * ütled gptle: "Reformulate with simple short sentences:
       John....."
       
     * teeme lihtsustamise-tekstikorpuse ja teeme nö
       transformeri üleõppimine (fine-tuning), ehk
       lisaõppimine sisend-väljund-paaride pealt
       
       - kuidas teha lihtsustamise-teksti-näite-korpust?
         sisend/väljund paarid
       - kuidas täpselt fine-tuningut teha
       
    - Tööriistade kasutamise õppimine (toolbox)
    
      Õpetame transformeri koostama proget, mis ülesande
      lahendaks, ja siis jooksutame seda proget, ja siis
      teeme vastusest inimkeelse vastuse / jutu.
      
      SQL tabelite struktuuri kirjeldus +
      Inimkeelsest küsimusest -> SQL päring
      
      Veebiotsingu komponente
      
      Kalkulaatori komponente
      
      Otsingu/planeerimise/tõestusteotsimise komponente
      
      Promovad: Facebook/Meta AI, Yann LeCun
      
    - Otsingu parem suunamine commonsense info pealt,
      kasutades masinõppe värke
      
      Eelistad otsingus reegleid, mis on seotud sõnadega
      küsimuses.
      Auto -> ratas, liiklus, ....
      Piim -> klaas, toit, ...
      
      Siiani on kaks punti hästi natuke teinud
      
      Ei õpi mitte ainult tõestustest, vaid lihtsalt
      sõnade co-occurrencest + sarnasustest + populaarsustest +
      tõenäosused + ...
      
      Kuidas lisaks transformereid selle juures
      kasutada??
      
    - Commonsense sümbolreeglite automaatne ehitamine       
      tekstide pealt
      (knowledge graafi pealt)
      
      Natuke tööd eri puntide poolt tehtud, aga suhteliselt
      vähe ja algusjärgus
      
    - Spekulatiivsemad mõtted: teistuguse arhitektuuriga
      võrgud

      võrgusõlmed oleks reeglid/faktid koos muutujatega