Tutkimusdatan säilytyspalvelu IDAn esittely, osa 1/2
Linkki ensimmäisen osan videoversioon.
Yleisesittely
- Tämä tutoriaali tutustuttaa tutkimusdatan säilytyspalvelu IDAn keskeisimpiin toiminnallisuuksiin. IDA on opetus- ja kulttuuriministeriön järjestämä turvallinen ja jatkuva Fairdata-kokonaisuuteen kuuluva palvelu.
- IDA on tarkoitettu tutkimusaineistoihin liittyvän datan säilytykseen ja julkaisemiseen. IDAan tallennettu data voidaan kuvailla, julkaista ja avata muiden ladattavaksi muilla Fairdata-kokonaisuuteen kuuluvilla palveluilla. Lisätietoa löydät osoitteesta fairdata.fi.
- IDAn käyttöliittymät ovat uudistuneet ja IDAa voi käyttää selainkäyttöliittymän lisäksi komentorivityökaluin, joita ei käsitellä tässä tutoriaalissa. Uusi selainkäyttöliittymä on helppokäyttöinen ja sisältää ohjeita palvelun käyttöön. Palvelun verkkosivuilta löytyy myös kattava palvelun käyttöopas.
- IDAn käyttäjä kuuluu aina johonkin IDA-projektiin. Projektilla on vastuuhenkilö, joka vastaa jäsenten projektiin liittämisestä ja poistamisesta. Projektin aineistoista ja niiden käytöstä on tärkeä sopia jo projektia perustettaessa.
- Kaikilla projektin jäsenillä on yhtäläiset tekniset oikeudet lisätä, poistaa ja tehdä toimenpiteitä kaikelle sille projektin datalle, joka on tallennettu projektin IDA-tilaan.
- Samassa IDAa käyttävässä projektissa voi olla jäseniä useista eri korkeakouluista tai tutkimusorganisaatioista.
- Palvelu soveltuu käyttäväksi myös silloin, kun dataa vielä aktiivisesti kerätään ja sitä mahdollisesti halutaan vielä järjestellä tai ylikirjoittaa palvelussa. Palvelun tärkein toiminto on kuitenkin jäädytetyksi merkityn datan säilyttäminen muuttumattomassa tilassa ja mahdollisuus julkaista data.
- Huomaa, että et voi muokata IDAssa olevien tiedostojen sisältöä niiden ollessa palvelun sisällä. Palvelu ei siis sovellu tiedostojen aktiiviseen käsittelyyn vaan niiden säilytykseen.
- IDA ei myöskään sovellu salassapidettävän datan säilytykseen. IDAan ei tule tallentaa esimerkiksi yleisen tietosuoja-asetuksen 9. artiklassa lueteltuja erityisiä henkilötietoryhmiä.
- Huomaa myös, että tutkimusaineistojen pitkäaikaissäilytys Fairdata PAS (https://www.fairdata.fi/fairdata-pas/) on erillinen palvelu, vaikka IDAlla on monia samoja ominaisuuksia. IDA tarjoaa bittitason säilytystä. Pitkäaikaissäilytys taas tähtää datan säilyttämiseen periaatteessa ikuisesti ja voi tehdä myös teknologisia muutoksia, jotta datan ymmärrettävyys säilyy.
- Videon toinen osa tutustuttaa IDAn käyttöön.
Tutkimusdatan säilytyspalvelu IDAn esittely, osa 2/2
Linkki toisen osan videoversioon.
Tässä videossa tutustumme tarkemmin Fairdata-kokonaisuuteen kuuluvan IDAn käyttöönottoon ja selainkäyttöliittymään.
Käyttöönotto ja kirjautuminen
- Kun tutkimusryhmä on sopinut kuka on projektin vastuuhenkilö, vastuuhenkilö luo itselleen CSC-tunnuksen ja projektin CSC:n asiakasportaalissa.
- Tilaa haetaan sähköisellä hakemuksella, joka löytyy myös CSC:n asiakasportaalista. Hakemuksen käsittelee ja tilan myöntää oma organisaatio tai sen voi saada Suomen Akatemian rahoituspäätökseen perustuen. Projektin vastuuhenkilö voi kutsua IDA-projektiinsa muita jäseniä, ja myös heidän on luotava itselleen CSC-tunnus.
- IDAn selainkäyttöliittymä löytyy osoitteesta ida.fairdata.fi.
- Voit kirjautua IDAan CSC-tunnuksellasi tai Hakalla.
Datan tallennus
- Kirjauduttuasi palveluun näet projektikansiot niille projekteille, joiden jäsen olet. Jokaisella projektilla on kaksi kansiota, toinen tiedostojen palveluun tuomiseen ja järjestelyyn ja toinen datan säilyttämiseen muuttumattomassa tilassa.
- Dataa lisätään AINA siihen kansioon joka päättyy +merkkiin. Se on projektisi valmistelualue. Sen jälkeen kun tuon kansion on napsauttanut auki, voi dataa lisätä joko yläreunan plus-ikonin kautta tai yksinkertaisesti pudottamalla dataa selainikkunaan drag and drop -toiminnolla. Näin palveluun voi siirtää kokonaisia kansioita sisältöineen.
- Toinen tapa siirtää palveluun koko kansion sisältö on luoda + merkin takaa uusi kansio ja valita tiedostoselailunäkymästä esimerkiksi kaikki tiedostot painamalla crtl+a
Datan järjestely
- Tiedostot kannattaa järjestää palvelussa kansioiden sisään, datan ymmärrettävyydelle mielekkäällä tavalla. Käytä tarkoituksenmukaisia ja uniikkeja tiedostonnimiä. Miettikää yhdessä aineistojen ja kansioiden nimeämiskäytäntöjä. Huomaa, että kun aineistot julkaistaan, tiedostojen nimistä tulee aina julkisia.
- Jos projektin data koostuu esimerkiksi tuhansista pienistä tiedostoista, kannattaa ne paketoida eli zipata isommiksi tiedostoiksi ennen palveluun siirtämistä. Toisaalta kymmenien tai satojen gigojen kokoisten tiedostopakettien tekeminen voi myös hankaloittaa aineistojen palveluun siirtoa ja niiden käyttöä. Kannattaa miettiä minkä kokoista dataa on kätevää ladata palvelusta ulos ja muutenkin käyttää.
Datan jäädytys
- Kun data on mielestäsi valmista säilytettäväksi palvelussa read-only-tilassa, voit jäädyttää sen valitsemalla lumihiutale-ikonin halutun tiedoston tai kansion kohdalta ja valitsemalla oikeasta reunasta ”Freeze” tai ”Jäädytä”. Näin valittu data siirtyy toiseen projektikansioosi, jonka nimi on vain projektin tunniste ilman + merkkiä. Tämän jälkeen tiedostoa ei voi enää esimerkiksi ylikirjoittaa tai siirtää toiseen kansioon.
- Samalla palvelu tekee tiedostoille säilytystoimenpiteitä, eli mm. datasta replikan toiselle tallennusmedialle ja laskee tiedostoille tarkistussummat, joilla tiedostojen eheys ja säilyvyys voidaan varmistaa. Tämä taustaoperaatio saattaa vielä pitkään riippuen jäädytetyn datan määrästä. Prosessin etenemistä voi seurata ”Toiminnot” tai ”Actions” välilehdellä.
- Jäädytetty data voidaan kuvailla Qvaimella ja julkaista Etsimessä, jolloin aineisto saa pysyvän tunnisteen. Julkaistu data voidaan asettaa avoimesti tai käyttöluvalla ladattavaksi, tai julkaista siitä vain metatiedot. Muista aina että pysyvä tunniste on lupaus muille tutkijoille että aineistoa ei enää muuteta vaan siihen voi turvallisesti viitata.
Väliaikaiset jakolinkit
- Tiedostoja voi jakaa myös väliaikaisesti palvelun ulkopuolelle. Jakolinkki on voimassa määräajan, korkeintaan 30 päivää. Jakolinkki on henkilökohtainen eli muut projektin jäsenet eivät näe muiden tekemiä jakolinkkejä.
- Jos haluat pysyvän linkin dataasi, sinun tulee kuvailla se Qvaimella ja julkaista Etsimessä, jolloin määrittelemäsi datasetin pysyvään tunnisteeseen voidaan viitata.
Lisätietoa jäädyttämisestä
- Huomaa, että tiedostot ovat varsinaisessa säilytyksessä IDAssa vasta kun ne on jäädytetty. Tällöin niille tehdään toimenpiteitä niiden säilyvyyden varmistamiseksi. Muilla palvelukokonaisuuteen kuuluvlla palveluilla on tieto jäädytetyistä IDA-tiedostoista ja ne voidaan siksi kuvailla kuvailutyökalulla tutkimusaineistoiksi.
- Jos palautat jäädytettyä dataa projektisi IDA-tilan valmistelualueelle, niin se peruu palvelussa tehdyt jäädytykseen liittyvät toimenpiteet. Tämä tarkoittaa myös sitä, että jos olet kuvaillut ja julkaissut jäädytettyä dataa, niin kun data palautetaan valmistelualueelle, tekemäsi aineistokuvailu menee rikki. Sille annettu pysyvä tunniste vanhenee pysyvästi ja mahdolliset aineistoon tehdyt viittaukset eivät ole enää täydellisiä, koska aineiston data ei ole enää saatavilla. Jos siis olet saanut Qvaimella kuvaillulle aineistokuvailullesi esim. URN-tunnisteen, älä tee muutoksia siihen kuuluvalle datalle IDAssa, koska aineiston hajoaminen on aina peruuttamatonta.
- Huomaathan dataa poistaessasi, että poistettu data ei mene roskakoriin vaan poistuu palvelusta pysyvästi.