Difference between revisions of "Talk:Opasnet base structure"

Resolution: Accepted.

(A stable resolution, when found, should be updated to the main page.)

←# : Everyone agrees on this. --Jouni 06:28, 25 March 2011 (EET)

Resolution: Accepted

(A stable resolution, when found, should be updated to the main page.)

←# : Loccell makes the database flexible enough for any kind of data. --Jouni 06:28, 25 March 2011 (EET)

⇤# : Large objects' performance will suffer if indices, whose locations are often filtered, are implemented in loccell. --Teemu R 16:05, 28 March 2011 (EEST)

Resolution: Under discussion (to be changed when a conclusion is found)

(A stable resolution, when found, should be updated to the main page.)

←# : Slicing wouldn't require a tedious subquery. --Teemu R 16:05, 28 March 2011 (EEST)

←# : Enables fast and easy intelligent array operation on the database level. (It is possible with the current structure also, but it requires extremely heavy subquerying and is very memory intensive for the server.) --Teemu R 16:05, 28 March 2011 (EEST)

←# : Reduces number of joins used in data fetching queries -> faster. --Teemu R 16:05, 28 March 2011 (EEST)

--# : I still support 100 as the value of X. I would trade simplicity for functionality and efficiency any day... though in my opinion the current structure is actually more complex than what I'm proposing (think about the difficulty of explaining it to an outsider; if all objects had their own table it would be a lot more intuitive). --Teemu R 16:05, 28 March 2011 (EEST)

--# : If separate tables are created, they should be specific to actobj. They should be named as actobj_id or alternatively (if humans need to operate manually with tables) as obj_identifier+act.id. If found useful, tables could be located in folders named as obj_identifier. --Jouni 06:28, 25 March 2011 (EET)

Resolution: Under discussion (to be changed when a conclusion is found)

(A stable resolution, when found, should be updated to the main page.)

←# : Some of the same as above (slicing, intelligent arrays, less joins for most tables). --Teemu R 16:05, 28 March 2011 (EEST)

←# : If n is large enough to hold all of the indices that are going to be sliced, the rest of the indices can be put into loccell where slicing is costly, but never done. --Teemu R 16:12, 28 March 2011 (EEST)

⇤# : But sometime at some point there just might be a situation where more than n sliceable indices would be required... --Teemu R 16:12, 28 March 2011 (EEST)

--# : This could also be achieved by a locations_string column in the cell table, where its value would be of the form 'Age:1;Sex:Male' or ind_id1:loc_id1;ind_id2:loc_id2 or similar. Then use MySQL pattern match functionalities for filtering: i.e. "... AND(/OR) locstring LIKE '%;ind_id:loc_id;%' AND(/OR) ...". Intelligent array operations would become impossible however. --Teemu R 16:05, 28 March 2011 (EEST)

Resolution: Resolution not yet found.

(A stable resolution, when found, should be updated to the main page.)

←1 Nykyisen rakenteen suorituskyvyn rajat alkaa tosissaan tuntua. Isoilla datoilla latailu on hidasta vaikka kuinka sitä leikkaisi. Vajaa puoli tuntia meni ladata 11 000 riviä 44 000 000 rivin datasta (Op_en2778) R downloadilla, opasnetin käyttöliittymä crashaa ennen kuin mitään pääsee näkemäänkään, joka johtunee rivien laskemisesta, mikä kesti 95s MySQL Query Browserissa.

Ladattavan datan leikkaaminen lokaatioiden perusteella on nykyrakenteen kriittisin heikko kohta. Se on pakko hoitaa erillisellä queryllä, joka tunnistaa haluttuun dataan kuuluvat ja/tai kuulumattomat solut.

Toinen hieman pienempi ongelma on joinien suurehko määrä. En teknisistä yksityiskohdista mitään tiedä, mutta jos oletetaan että yhdessä joinissa tulee ekasta taulukosta poimittujen kriteerien määrä + tokan taulukon osumien määrä ylimääräisiä operaatioita verrattuna ideaalitapaukseen jossa data on valmiina sopivassa muodossa eikä näitä operaatioita tarvita. Joineja nykyrakenteella tulee ainakin 7 yhtä latausta kohden (obj -> actobj -> act l-> cell -> res l-> loccell -> loc -> obj); alkupään joinit ovat kuitenkin hyvin nopeita eli ei niillä väliä, mutta laskeskelin että ylimääräisiä operaatioita tulisi yhteensä noin 5 + ncell * (2 + nres + 5nloc/nind). Tämän kuvittelisin olevan mahdollinen pullonkaula datanlatauksen nopeudessa: Windowsin tehtävienhallinnasta network activity graphia katsomalla olen pannut merkille eri maksimilatausnopeudet isoilla ja hyvin isoilla datoilla.

Vaihtoehtoisesti kannan voisi järjestellä niin että kutakin objektia kohti tulisi oma taulukko kantaan; Muutettaisiin nykyiset virtuaaliset taulukot oikeiksi taulukoiksi. Taulut olisivat jo valmiiksi samassa muodossa kuin nykyinen lopputulos:

cell_id   (series_id)         (obs)     ind1      ind2      ind3      res/SIP

1          (1)                    (0)        1          1          1          0

Näin tuumasin. Oliko järkeä? --Teemu R 12:42, 19 November 2010 (UTC)

⇤2 : En innostu yhtään ajatuksesta, että kantaan pitäisi tehdä rakenteellisia muutoksia (eli lisää tauluja) muuttujien lisääntyessä. Kannan hienous on juuri siinä, että siinä on yksinkertainen mutta älyttömän joustava taulurakenne. Se että onko tämä vain fiilistelyä vai onko tässä jotain kovempaa tietoteoreettista pointtia onkin toinen juttu. --Jouni 12:42, 19 November 2010 (UTC)

⇤3 : Vaihtoehtoisena ajatuksena esitän, että tosi isoille datoille perustetaan jokin eri kanta. Tämä ajatus on ollut ennenkin esillä, kun Kopra-datojen kohtaloa on mietitty (15 GB tavaraa). Järjestelmänhän pitäisi olla sillä tavalla joustava, että wikejä voi olla useita ja kantoja voi olla useita, ja kun nämä on esitelty toisilleen, mihin tahansa wikiin voi rakentaa muuttujan, jonka data voidaan ladata mihin tahansa näistä kannoista (suojausten puitteissa tietysti). --Jouni 12:42, 19 November 2010 (UTC)

⇤4 : Minäkään en innostu ajatuksesta, jossa jokaisella objektilla olisi oma taulu. Parempi olla simppeli ja eheä rakenne, jota on siten helpompi hallita ja ylläpitää. Yritetään löytää ongelmiin muita ratkaisuja? Tuon UI:n osalta auttaisi paljon se, että pistettäisiin esim. ACT-tauluun uusia kenttiä, joihin on etukäteen laskettu esim. seuraavat tiedot koko datalle (actille): mean, result-rivien määrä, cell-rivien määrä. Noiden perusjuttujen selvittäminen isosta datasta on hidasta ja jos nuo lasketaan uploadin yhteydessä, niin saavutetaan jo erittäin merkittäviä hyötyjä nopeudessa. En nää uploadaamisen hitautta suurena ongelmana, jos nyt ei sentään päiviä kestä se lataaminen. Olennaista lie valmistella data kunnolla ja testata ensin pienemmällä otoksella, jotta vältytään lopulta turhalta työltä ja ajan haaskaukselta? --Einari 9:36, 22 November 2010 (UTC)

⇤# : Mielestäni ehdottamani rakenne olisi yksinkertaisempi juurikin hallinnan ja ylläpidon kannalta, kun vanhoja huonoja uploadeja ei tarvitse poistaa monipolvisilla queryillä keskeltä erinäisiä tauluja, riittäisi että dropataan yksi taulu ja korjataan uploadin tiedot toisesta; Kuvittelisin että näin jää vähemmän jälkiä kantaan ja olisi vähemmän päänsärkyä tarpeettomien rivien löytämisessä. Metadataa uploadeille olisi kyllä hyvä laittaa enemmän valmiiksi; Tosin count ainakin optimoitu niin että kokonaisista taulukoista se löytyy heti. Uploadi on kyllä ihan tarpeeksi nopeaa jo nyt, vähän aikaa sitten tuuppasin 45M solua dataa parin tunnin sisään (josta tulikin taas mieleeni että loccell on hitain taulu uploadissa, ehdottamassani rakenteessa sitä ei tarvittaisi), mutta pienen osan lataaminen samasta datasta kestikin sitten myös melkein 30 minuuttia. Jossain vaiheessa kun meillä on monta isoa aineistoa, joista kustakin tarvitaan jotain mallia varten vain pieni siivu, 30 minuuttia per osa alkaa tuntua aika paljolta jos ne joudutaan monta kertaa ajamaan läpi. Tosin on mahdollista että silloin luodaan pienempi muuttuja jossa on vain ne tiedot joita jotakin mallia varten tarvitaan, mutta eikös databasejen koko pointti ole että isosta datasta saataisiin helposti se haluttu siivu. --Teemu R 11:29, 22 November 2010 (UTC)

←5 : Hienoa ajattelua ja perehtymistä tärkeään asiaan. Ensi lukemalla en ymmärtänyt kaikkia pointteja. Olen samaa mieltä, että pitkä joinien ketju on ongelma. --Jouni 12:42, 19 November 2010 (UTC)

←6 : Kannatan siirtymistä SIPs and SLURPseihin. --Jouni 12:42, 19 November 2010 (UTC)

←7 : Suurin ongelma mielestäni oli siis tuo datan leikkaamisen monimutkaisuus: Lopullinen query jolla data haetaan kannasta tuottaa taulukon jossa sarakkeet id, obs, loc, ind, res; lokaatiot ovat kaikki samassa sarakkeessa. Jos queryyn lisätään suorilta käsin where loc.id (not) in(), niin rivejä poistetaan sokeasti huomoimatta sitä että oikeasti pitää jättää matchaavien solujen lokaatiot kaikkiin objektin indekseihin ehjäksi/poistaa loputkin indeksit. Tätä pitää kiertää tunnistamalla erikseen solut, joilla on jossakin indeksissä jokin lokaatio joka halutaan mukaan/pois. Ja tämä kiertotie aiheuttaa isoilla datoilla usean minuutin queryn ennen varsinaista datan lataamista. --Teemu R 13:36, 19 November 2010 (UTC)

⇤# Totta on, että leikkaaminen on nyt työlästä. Mutta en silti luovu periaatteesta, että tauluja on vähän ja taulurakenteeseen ei tarvitse koskea dataa lisätessä. Kaksi ehdotusta helpottamaan tuota leikkaamisen työläyttä:

1. Haettavassa taulussa pitää olla myös cell_id, ja jos loc_id:n perusteella jokin rivi tulee poistettavaksi/mukaan otettavaksi, tämä pätee kaikkiin riveihin, joilla on sama cell_id. Kysehän on loppujen lopuksi siitä, että haussa on tarkoitus löytää lista cell_id:tä, joihin liittyvät resultit ja locationit haetaan.
2. Olisiko teknisesti tolkullista rakentaa favorites-taulu, joka sisältäisi sellaiset actobj_id-loc_id-parit, joita on haettu aiemmin. Taulun tuottama lisäarvo olisi siinä, että siihen olisi listattu kaikki hakuehdot täyttävät cell_id:t, jolloin niitä ei tarvitse hakea loccell-taulusta lainkaan. Vain siinä tapauksessa, että kyseistä hakua ei löydy favoritesista, pitää katsoa loccell:stä. --Jouni 06:28, 25 March 2011 (EET)

⇤# : Olisi ehkä pitänyt tarkentaa että kyseessä oli subquery varsinaisen queryn sisällä, eli ehdotus 1 on periaatteessa käytössä. Tämä toimenpide tarvitsee ylimääräisen operaation (subqueryn), joka on riippuvainen koko datan koosta. Ehdotus 2 nopeuttaa kyllä kannan toimintaa, jos se toteutetaan niin että on fiksatut ennalta määritellyt näkymät, jotka ovat nopeita; muuten ei ole mitään lisäarvoa verrattuna nykyiseen loccell tauluun, jos niitä yritetään matchata hakuehtoihin (lokaatioihin). Ja millä perusteella nuo favoritet sitten luotaisiin? Jotenkin epämääräinen kiertotie, joka ei mielestäni ole tyydyttävä ratkaisu. --Teemu R 14:37, 16 March 2011 (EET)

←8 : Loccell on itse asiassa reippaasti suurikokoisin taulukko kannassa (Data length = 3.4GB; Index length = 9.2GB). Eli tällä uudella rakenteella säästyisi aika paljon tilaa... --Teemu R 07:50, 22 November 2010 (UTC)

⇤# : Uusi vaihtoehtoinen ratkaisu, joka ei vaadi röykkiöittäin tauluja ja pääasiassa ratkaisee loccellin paisumisen (mutta säilyttää joustavuuden lisätä indeksejä myös jälkikäteen jos tämä on tärkeää): cell-tauluun lisätään sarakkeet ind1, ind2,...indn (esim. n=8). Näiden sisältö on lod_id:t muuttujan indekseille 1..n ja jos indeksejä on vähemmän kuin n niin tietysti loput kentät jäävät tyhjiksi. Näin loccell-taulua ei tarvita lainkaan, paitsi kahdessa tilanteessa: 1) Jos indeksejä on yli n tai 2) jos jälkikäteen muuttujaan lisätään täsmentäviä indeksejä, koska käyttäjän ei ehkä haluta pääsevän muuttelemaan olemassaolevien rivien sisältöä cell-taulussa. Jotta kohta 2 toimisi, actobj-tauluun (tai jonnekin) pitäisi lisätä tieto, että onko tästä actobj.id:stä loccell-taulussa jotain vai ei. Haitat: SQL:stä tulee vähän monimutkaisempaa, koska pitää varautua lukemaan sekä ind1..indn-sarakkeet että loccell-taulu ja yhdistämään tulokset. Toisaalta ajettavat queryt yleensä ovat selvästi nopeampia, koska n voidaan asettaa semmoiseksi että 95 % muuttujista pärjää n indeksillä. --Jouni 06:17, 24 March 2011 (EET)

⇤# : Ongelma painottuu nimenomaan noihin isoihin monen indeksin tauluihin, eli mikään indeksien ylärajan sisältävä ratkaisu ei oikeasti ratkaise ongelmiamme. Tulin tässä ajatelleeksi taas vaihtoehtoista systeemiä:

• Kaikki lokaatiot ja indeksit muutetaan yhdeksi stringiksi muotoa esim. 'Age:1;Sex:Male' tai ind_id1:loc_id1;ind_id2:loc_id2. Näin loccell jää pois ja kaikki lokaatiot saadaan cell tauluun ilman indeksien määrän rajoituksia.
• Näistä stringeistä voi sitten matchailla MySQL:n pattern match funktioilla sopivat rivit.
• Downsidena paljon leikkaavista queryistä tulee pitkiä kun jokainen kriteeri pitää erikseen määritellä. Kukin lokaatio joka samasta indeksistä halutaan ulos/mukaan vaatii oman "... AND(/OR) locstring LIKE '%;ind_id:loc_id;%' AND(/OR) ..." --Teemu R 14:52, 24 March 2011 (EET)

←9 : Yksi olennainen johtopäätös, olkoonkin vajaasta analyysistä, on että datan latausaika ~ a*ncell^b, jossa b on vähän yli 1 (koska nind on jollain tasolla riippuvainen solujen määrästä + muita tekijöitä esim. joinien ylimääräiset operaatiot); Dataa leikatessa a:ta kasvattaa ylimääräinen query (aika ~ 1*y*ncell^x, eri query eri operaatiot: oletetaan x = b, y on queryjen verrannollinen tehokkuus (nopeus)) samalla kun pienempi ladattavien solujen määrä pienentää sitä (aika ~ k*ncell^b, jossa k on ladattavien solujen määrä verrattuna solujen yhteismäärään). Nykyrakenne lisää siis yhden kokonaisen termin a:han, joka ei ole myöskään ihan pieni ja se riippuu suoraan datan koosta, eikä sitä voi pienentää tai välttää leikatessa. Eli iso data on hidasta, ei pelkästään ladattavasta datasta riippuen vaan myös suoraan koosta rippuen. Useamman taulun rakenne poistaisi koko termin ja samalla pienentäisi b:tä. --Teemu R 09:12, 22 November 2010 (UTC)

←10 : Entäpä ajatus uudesta näkökulmasta: Loccell-taulu paisuu erityisesti siksi, että joka ikisessä uploadissa luodaan uudet solut ja näille uudet loccellit. Kuitenkin jos muuttuja alkaa olla vakiintunut muodoltaan, on epätodennäköistä että indeksit ja lokaatiot muuttuisivat uploadista toiseen; ainoastaan solujen sisältö vakiona pysyvässä rakenteessa päivittyy. Jos näin on, silloin kannattaisi pikemminkin rakentaa systeemi niin, että act-taulu kytkettäisiinkin res-tauluun eikä actobj:iin, ja yhdellä cell.id:llä voisi olla useita uploadattuja tuloksia (mutta act.id+res.id+res.obs olisi aina uniikki). Tästä olisi muutamia seurannaisvaikutuksia:

• Sip-kenttä pitäisi siirtää cell-taulusta res:iin.
• Cell.mean, cell.sd ja cell.n eivät enää olisi pysyviä tietoja, vaan ne laskettaisiin ja päivitettäisiin aina uusiksi kun tehdään uusi upload. Vanhoista uploadeista nämä pitäisi siis laskea raakadatasta lähtien siinä vaiheessa, kun joku niitä kysyy.
• Parasta olisi, jos vanha toiminnallisuus säilyisi (eli muuttujan rakennetta voisi muuttaa uudessa uploadissa) mutta myös olisi mahdollista käyttää uutta toiminnallisuutta eli käyttää vanhoja cell.id:tä mutta uuteen act.id:hen kytkettyjä res:ejä.
• Tätä ajatusta voi pohtia myös pitemmälle siten, että tietty indeksien ja lokaatioiden yhdistelmä voisi olla sama jopa eri muuttujilla. Tämän toteuttamiseen en kyllä käyttäisi samaa cell.id:tä vaan miettisin asiaa niinpäin, että olisi mahdollista luoda yhdistelmäindeksejä: yhdellä lokaatiolla tässä yhdistelmäindeksissä kuvattaisiin sitä, että kyseinen solu sijaitsee indeksien Ind_i lokaatioissa Loc_i (i = 1, 2, ...n). --Jouni 18:21, 1 December 2010 (UTC)

⇤11 : Mahdollinen ratkaisu loccellin kokoon, mutta kannan tehokkuuden kannalta toissijainen. Datan leikkaamisen ongelma säilyy niin kauan kuin cell ja loccell taulujen tiedot pidetään eri taluissa (yhtä objektia kohti); ja joustavuudessa mahdollisesti kärsitään. --Teemu R 13:04, 7 December 2010 (UTC)

Resolution: Not accepted.

(A stable resolution, when found, should be updated to the main page.)

←1P There should be two levels of variables: 1) The results of important variables are uploaded in the result database, and they should be coherent with each other. 2) Other variables that are less important are used in case-specific assessments. They don't need to be coherent with all variables in the result database, only with those within the same assessment. --Jouni 23:52, 20 August 2007 (EEST)

--2P: How do you define an important variable? I see variable importance as a varying aspect, not absolute and often case-specific. --Anna Karjalainen 14:17, 7 May 2008 (EEST)

⇤3: There is no separation to important and less important variables. There are only variables, and they are described in Opasnet. All these also go to the Opasnet Base. Some variables are in an early developmental stage and there is nothing to put to the Base yet, but this does not change the principle. However, there are also intermediate nodes in models that are not described as variables. They do not go into the Base. --Jouni 08:22, 21 February 2009 (EET)

Resolution: Tables will be merged

(A stable resolution, when found, should be updated to the main page.)

←1: Merging these tables makes some queries faster because we can get rid of at least one join-query --Juha Villman 12:51, 7 September 2009 (EEST)

--2: Merging makes Res-table slightly larger (approx. 2 %) because Restext, Who and When -fields require some amount of space even if they are empty (10 bits). --Juha Villman 12:51, 7 September 2009 (EEST)