Sisältö
- Yleisiä kysymyksiä Fairdata-palveluista
- IDA – Tutkimusdatan säilytyspalvelu
- Etsin– Tutkimusaineistojen hakupalvelu
- Qvain – Tutkimusaineistojen kuvailutyökalu
- Metax – Metatietovaranto
- Fairdata PAS – Tutkimusaineistojen pitkäaikaissäilytyspalvelu
1. Yleisiä kysymyksiä Fairdata-palveluista
Hyvään tieteelliseen käytäntöön kuuluu tutkimuksessa tuotetuista tietoaineistoista huolehtiminen. Fairdata-palvelukokonaisuus helpottaa tätä tehtävää.
Fairdata-palvelut ovat yhteentoimiva palvelukokonaisuus tutkimusaineistojen säilytykseen, kuvailuun ja avaamiseen. Fairdata-palvelukomponentit ovat IDA tutkimusdatan tallentamiseen, Qvain tutkimusaineistojen kuvailuun, tutkimusaineistojen metatietovaranto Metax, tutkimusaineistojen hakupalvelu Etsin, avointen tutkimusaineistojen julkaisualusta AVAA ja Fairdata PAS-palvelu eli tutkimusaineistojen pitkäaikaissäilytyspalvelu. Palveluja tarjotaan maksuttomasti Suomen yliopistoille, ammattikorkeakouluille ja valtion tutkimuslaitoksille. Fairdata PAS-palvelun hyödyntäminen perustuu sopimukseen.
Palvelut eivät ole sidottuja tiettyyn tieteenalaan. Datan säilytystila IDAssa on mahdollista jakaa projektiryhmän kesken. Näin useamman organisaation välisessä yhteistyöprojektissa on mahdollista käyttää yhteistä tallennustilaa. IDAssa säilytettävä data liitetään tutkimusaineistokuvailuun käyttämällä Qvain-työkalua tai Metaxin rajapintaa. Kuvailtu tutkimusaineisto julkaistaan ja avataan Etsin-palveluun. Etsimeen julkaistu tutkimusaineisto on muiden löydettävissä ja siihen voidaan viitata esim. siihen liittyvistä julkaisuista sen pysyvän tunnisteen avulla. Lue lisää Fairdatan hyödyistä.
Palveluihin tallennettu data ja tieto säilytetään Suomessa. Fairdata-palvelut ovat opetus- ja kulttuuriministeriön järjestämiä. Palvelut tuottaa CSC – Tieteen tietotekniikan keskus Oy.
Koko palvelukokonaisuus on loppukäyttäjien käytettävissä. Uudistunut IDA, Metax ja Etsin siirtyivät tuotantoon 2018, Qvain-työkalu heinäkuussa 2019 ja Qvaimen kevytversio Qvain Light elokuussa 2019. Marraskuussa 2020 kuvailutyökalut yhdistyivät yhdeksi Qvain-työkaluksi. Edistyneet käyttäjät voivat luoda tutkimusaineistokuvailuja myös Metaxin rajapinnan avulla.
Palvelujen kehityksestä tiedotetaan Fairdata.fi-verkkosivuston ajankohtaista-osiossa ja Fairdata.fi-Twitterissä.
Palvelut ovat kaikkien suomalaisten korkeakoulujen ja valtion tutkimuslaitosten tutkijoiden ja muiden toimijoiden käytettävissä. Palveluja tarjotaan maksuttomasti niiden käyttäjille ja ne ovat tarkoitettu tutkimuskäyttöön. Lue lisää palvelujen käyttöpolitiikoista.
Hyödyntävien organisaatioiden yhteyshenkilöiksi nimetyt tarjoavat tukea organisaationsa loppukäyttäjille ja ovat yhteyshenkilöitä CSC:n Fairdata-asiakastuen suuntaan.
IDA-palvelun käyttöönotto edellyttää, että käyttäjä kuuluu CSC-projektiin, jolle on myönnetty IDA-tallennustilaa. Tutkijan kotiorganisaation IDA-yhteyshenkilö myöntää projektille IDA-tallennustilan. Lue lisää IDAn käyttäjäksi tulemisesta.
Fairdata PAS –palvelu on tarkoitettu tutkimusaineistojen (datan, julkaisujen, koodin, opetusmateriaalien jne.) pitkäaikaissäilyttämiseen. Ole yhteydessä opetus- ja kulttuuriministeriöön PAS-palvelun käyttöoikeuden saamiseksi. Lue lisää PAS-palvelun käyttöönotosta.
Lyhyesti: CSC-asiakastunnuksen luominen riittää, jos haluat käyttää vain Qvainta tai Metaxin rajapintaa kuvailutietojen luomiseen. Voit rekisteröidä tunnuksen verkossa muutamassa minuutissa CSC:n MyCSC-asiakasportaalissa. IDAn käyttö vaatii CSC-asiakastunnuksen rekisteröimisen lisäksi CSC-projektin luomisen tai valmiiseen projektiin liittymisen sekä IDA-tilan hakemisen verkossa. Etsin on kaikille avoin ilman rekisteröitymistä.
Pidemmin: Tarvitset CSC-asiakastunnuksen, jotta voit käyttää IDAa, Qvainta tai Metaxin rajapintaa. Jos sinulla on kotiorganisaatiosi kautta Haka- tai Virtu-tunnus, voit rekisteröityä CSC-asiakkaaksi CSC:n MyCSC-asiakasportaalissa käyttäen omaa Haka- tai Virtu tunnustasi. Jos sinulla ei ole Haka- tai Virtu-tunnusta, voit pyytää CSC:tä luomaan itsellesi CSC-tunnuksen ottamalla yhteyttä asiakaspalvelu@csc.fi. Rekisteröitymisen jälkeen voit kirjautua sisään palveluihin omalla Haka- tai Virtu-tunnuksellasi tai CSC:n asiakastunnuksella.
Käyttääksesi IDA-palvelua tutkimusdatan (tiedostojen) säilytykseen tai avaamiseen, sinulla tulee olla CSC-asiakastunnus, kuten yllä on kuvattu. Tämän lisäksi sinut pitää joko kutsua olemassa olevan CSC-projektin jäseneksi tai sinun pitää perustaa CSC-projekti, jolle tulee anoa IDA-säilytystilaa. Kaiken tämän voi tehdä verkossa CSC:n asiakasportaalissa ja haettu säilytystila on käytössäsi heti kun kotiorganisaatiosi IDA-yhteyshenkilö on käsitellyt hakemuksesi (yleensä muutaman arkipäivän sisällä). Lue tarkat ohjeet IDA-säilytystilan hakemiseen. Jos kotiorganisaatiollasi ei ole vielä nimettyä IDA-yhteyshenkilöä, ole yhteydessä organisaatiosi tutkimuksen palveluihin ennen IDA-tilan hakemista.
Etsimessä julkaistut tutkimusaineistokuvailut ovat kaikkien selailtavissa ja haettavissa ilman rekisteröitymistä. Jos olet kiinnostunut Fairdata PAS-palvelusta, ole yhteydessä kotiorganisaatiosi tutkimuksen palveluihin.
Jokaisella IDAa käyttävällä projektilla on projektin vastuuhenkilö, joka voi anoa projektijäsenyyttä ulkomailla työskentelevälle yhteistyökumppanille. Lue ohjeet siihen, miten ulkomailla työskentelevälle tutkijalle voi hakea jäsenyyden CSC-projektiin. Kaikki IDA-palvelua käyttävän projektin jäsenet voivat luoda tutkimusaineistokuvailuja Qvaimella tai Metaxin rajapinnan avulla.
Pysyvä tunniste eli PID on uniikki ja yksiselitteinen koneluettava nimi objektille, tässä tapaukselle tietylle tutkimusaineistolle. Se on myös pysyvä linkki, joka vie aina tutkimusaineiston kuvailusivulle, joka puolestaan sisältää tutkimusaineiston kuvauksen ja esimerkiksi lisenssin. Yleensä pysyvä tunniste on DOI tai URN. Nämä tunnisteet ovat kahden eri järjestelmän tarjoamia ja ne voidaan tunnistaa tunnisteen ensimmäisten kirjaimien perustella.
Kun tutkimusaineistollasi on Fairdata-palvelujen tarjoama PID, voit käyttää sitä dataan viitattaessa. Kaikki viittaukset voidaan yhdistää sinuun ja ja pysyvä tunniste vie aina tutkimusaineiston kuvailusivulle, vaikka itse data ei enää olisi saatavilla tai palvelut olisivat muuttuneet ajan kuluessa. Pysyvien tunnisteiden käyttö on yksi FAIR-periaatteiden kulmakivistä.
Jos datasi on julkaistu jossakin muualla kuin Fairdata-palveluissa, voit saada aineistollesi URN-tunnisteen ja kuvailusivun Etsimeen kuvailemalla sen Qvaimella. Kun datasi on tallennettu Fairdata-palvelujen ulkopuolelle, olet itse vastuussa tutkimusaineistoon linkittämäsi datan eheydestä.
Qvaimella jo julkaistun tutkimusaineiston metatietojen muokkaaminen ei luo tutkimusaineistollesi uutta pysyvää tunnistetta. Sen sijaan siihen liitettyjen IDAssa säilytettävien tiedostojen muuttaminen Qvaimella ei ole mahdollista ilman, että luot tutkimusaineistosta uuden version, joka saa uuden pysyvän tunnisteen. Poikkeuksena tähän ovat kasvavat aineistot, joihin voi lisätä tiedostoja. Kun tutkimusaineistoon liitettyjä tiedostoja muutetaan, tulee aineistolle antaa uusi PID, jotta voidaan varmistua aineistoon linkitetyn datan eheydestä. PID on lupaus pysyvyydestä ja sen pitäisi aina antaa käyttäjälle mahdollisuus vähintään löytää tietoa tietystä tutkimusaineistosta. Pidä aina mielelläsi tutkimuksen toistettavuus.
Jos poistat (tai palautat valmistelualueelle) julkaistuun aineistoosi linkitettyjä tiedostoja IDAssa, tutkimusaineistosi kuvailusivulle tulee merkintä, että aineisto on käytöstä poistettu, sillä julkaistuun aineistoon linkitetyt tiedostot eivät ole enää saatavilla. Voit halutessasi luoda samasta aineistosta uuden version ja linkittää siihen uudelleen tiedostoja. Tällöin uuden version kuvailusivu ja aineiston tiedostot näkyvät Etsimessä normaaliin tapaan.
Tarjoamme tukea ja koulutusta aineistonhallintaan ja Fairdata-palveluihin liittyen sekä tutkijoille että datanhallinnan asiantuntijoille. Palvelukohtaisilta sivuiltamme löydät käyttöoppaita sekä tutoriaalivideoita ohjeistamaan palveluiden käytössä. Järjestämme webinaareja sekä koulutustilaisuuksia, joista löydät ennakkotietoa täältä. Myös tallenteet aikaisemmin järjestetyistä koulutuksista ovat hyödynnettävissä. Datanhallinnan muistilistasta löydät tukea aineistonhallinnnan eri vaiheisiin. Pitkäaikaissäilytykseen liittyen voit löytää materiaaleja ja tietoa koulutuksista digitalpreservation.fi-sivustolta.
Fairdata-demoympäristö on saatavilla Fairdata-kokonaisuuteen kuuluvien palvelujen käytön väliaikaiseen testaamiseen ja demoamiseen. Lisätietoja Fairdata-demoympäristöstä.
Voit halutessasi myös osallistua Fairdata-verkoston toimintaan. Osallistumisesta on hyötyä etenkin sellaisten organisaatioiden edustajille, jotka jo käyttävät Fairdata-palveluita tai ovat pian ottamassa niitä käyttöön. Fairdata-verkoston tavoitteena on parantaa yhteistyötä ja tiedonkulkua Fairdata-palvelukokonaisuutta hyödyntävien organisaatioiden sekä CSC:n välillä. Verkosto järjestää neljästä viiteen kokousta vuodessa, joissa organisaatioiden edustajat voivat keskustella ja vaikuttaa päätöksentekoon Fairdata-palvelujen käyttöä ja kehitystyötä koskevissa asioissa. Liity myös verkoston sähköpostilistalle, jossa tiedotetaan Fairdata-palvelujen tulevista kokouksista.
Voit aina kysyä apua CSC:n asiakaspalvelusta arkipäivisin 8.30-16.00 välillä; asiakaspalvelu@csc.fi
Riippuu siitä, kenelle haluat datan jakaa:
- Jos haluat jakaa datan vain oman projektisi jäsenten kanssa, riittää, että data on IDAssa ko. projektissa. Projektin data on IDAssa kaikille projektin jäsenille yhteistä.
- Jos haluat sallia dataasi lyhytkestoisen (välikaisen) pääsyn rajatulle joukolle henkilöitä, voit tehdä haluamiisi tiedostoihin välikaiset jakolinkit, ja jakaa linkit haluamillesi tahoille. Lisätietoa väliaikaisista jakolinkeistä löytyy täältä: https://www.fairdata.fi/ida/kayttoopas/#valiaikaiset-jakolinkit
- Jos haluat julkaista datasi julkisesti ja saada sille pysyvän tunnisteen (DOI), ja pystyä näin vittaamaan aineistoosi, on Qvain oikea työkalu sinulle. Varmista, että haluamasi data on jäädytetty IDAssa, minkä jälkeen pystyt linkittämään sen aineistokuvailuun Qvain -työkalulla: Lisää mahdollisimman kattavat kuvailutiedot, valitse haluamasi tiedostot IDAsta ja julkaise. Julkaisun jälkeen aineistosi on löydettävissä tutkimusaineistojen hakupalvelu Etsimessä (etsin.fairdata.fi) ja sillä on pysyvä kuvailusivu ja tunniste. Etsimen kautta käyttäjä pääsee myös lataamaan tiedostot omalle koneelleen. Voit halutessasi rajata tiedostojen latausoikeuden vain kirjautuneille käyttäjille tai estää latauksen kokonaan. Qvaimen käyttöohjeet: https://www.fairdata.fi/qvain/qvaimen-kayttoopas/
2. IDA – Tutkimusdatan säilytyspalvelu
2.1 Yleisiä kysymyksiä IDA-palvelusta
IDA on jatkuva palvelu, jossa data säilytetään käyttöehtojen mukaan toimittaessa toistaiseksi. Käyttöehtoihin kuuluu mm. datan kuvailu tutkimusaineistoksi Etsin-palveluun ja se, että IDAa käyttävällä CSC-projektilla on oltava vastuuhenkilö. Vastuuhenkilö voi olla tutkijan sijaan myös esimerkiksi organisaation tutkimuksen palveluiden tukihenkilö.
Data voidaan siirtää IDAsta pitkäaikaissäilytykseen Fairdata PAS-palveluun, joka on tarkoitettu siihen, että aineistojen käytettävyys ja ymmärrettävyys säilyy useiden kymmenien ja jopa satojen vuosien ajan, vaikka esimerkiksi laitteet, ohjelmistot ja tiedostomuodot tänä aikana vanhenevat ja muuttuvat.
CSC – Tietotekniikan keskus Oy (CSC) ei poista käyttäjien palveluun käyttöehtojen mukaisesti lisäämää dataa palvelusta neuvottelematta asiasta projektin vastuuhenkilön tai IDA-tilan myöntäneen organisaation kanssa.
Lisätietoa:
Jos tutkimuksenne kuuluu suomalaisen korkeakoulun tai valtion tutkimuslaitoksen piiriin, voitte hakea IDA-käyttöoikeutta ja tarvittavaa määrää IDA-kapasiteettia omalta organisaatioltanne. Palvelun käyttö ja IDA-tilan haku edellyttää CSC-asiakastunnuksen luomista. Tunnus luodaan ja IDA-tilaa haetaan verkossa CSC:n MyCSC-asiakasportaalissa. Hakemuksesi käsittelee oman kotiorganisaatiosi IDA-yhteyshenkilö. Kun IDA-käyttöoikeus on myönnetty, voi IDAan kirjautua sisään Hakalla, Virtulla tai CSC-tunnuksella. Lue lisää IDAn käyttöpolitiikasta ja IDA-tilan hakemisesta.
Projektin vastuuhenkilö voi hakea säilytystilaa IDA-palvelussa CSC:n asiakasportaalissa.
- Luo CSC-asiakastunnus
- Luo CSC-projekti
- Hae IDA-säilytystilaa hakemuslomakkeella CSC:n asiakasportaalissa.
Haettu säilytystila on käytössänne heti kun oman organisaation IDA-yhteyshenkilö on käsitellyt hakemuksen. Projektin vastuuhenkilö voi lisätä projektiin muita jäseniä. Projektiin lisättävillä jäsenillä tulee myös olla CSC-asiakastunnus. Lue tarkat ohjeet IDA-tilan hakemiseen.
CSC-projekti on ryhmä käyttäjiä, joilla on oikeus käyttää palvelua ja jotka käyttävät yhteistä jaettua säilytystilaa IDA-palvelussa. CSC-projektissa tulee olla yksi nimetty käyttäjä – projektin vastuuhenkilö – joka vastaa projektin jäsenten pääsystä palveluun, palveluun tallennetusta datasta ja palvelun käytöstä (teknisesti nimitys on CSC-projektin vastuuhenkilö, lue lisää edellytyksistä ja velvollisuuksista). Projektin vastuuhenkilö hakee IDA-tilaa ja se myönnetään projektille CSC:n MyCSC-asiakasportaalin kautta. Samaa projektiryhmä voidaan käyttää muissa CSC:n tuottamissa palveluissa. Lue lisää CSC-projektista.
IDAn käyttö ei ole rajattu yhteen oikean elämän tutkimusprojektiin tai tiettyyn rahoituspäätökseen. Yksi IDAssa oleva projekti voi tuottaa ja julkaista useita tutkimusaineistoja Etsimeen, mutta kuhunkin aineistoon voidaan linkittää tiedostoja vain yhdestä projektista.
Projektin vastuuhenkilöllä on tiettyjä velvollisuuksia: hän voi esimerkiksi lisätä ja poista projektin jäseniä. Projektin vastuuhenkilö toimii myös yhteyshenkilönä projektin ja CSC:n välillä. Tämän takia projektin vastuuhenkilöllä tulee aina olla aktiivinen CSC-tunnus. CSC-projektia luovan henkilön tulee vahvistaa, että hän voi toimia projektin vastuuhenkilönä. Hänen on siis oltava projektiin osallistuva kokenut tutkija (kuten post doc, ryhmän vetäjä, tutkimusjohtaja tai professori) tai esimerkiksi organisaation tutkimuksen palvelujen tukihenkilö. Jos sinulla on aiheesta kysyttävää, ota yhteyttä asiakaspalvelu@csc.fi
Lue lisää projektin vastuuhenkilönä toimimisen edellytyksistä ja velvollisuuksista CSC:n tutkimuksen palvelujen yleisistä käyttöehdoista ja IDA-säilytyspalvelun käyttöehdoista.
Projektin vastuuhenkilö voi lisätä tai poistaa jäseniä CSC:n MyCSC-asiakasportaalissa. Lue tarkemmat ohjeet jäsenten lisäämiseen ja poistamiseen.
Todennäköisesti kyllä, mutta lue tarkemmin alta. Jos kotiorganisaatiosi vaihtuu, ole yhteydessä asiakaspalvelu@csc.fi. Päivitämme asiakastunnuksesi tiedot tai neuvomme uuden tunnuksen luomisessa.
Jos projektin vastuuhenkilön kotiorganisaatio muuttuu:
IDA-palvelua käyttävällä projektilla tulee olla vastuuhenkilö, joka kuuluu organisaatioon jolla on IDA-käyttöoikeus. Jos projektin vastuuhenkilön kotiorganisaatio muuttuu on mahdollista vaihtaa projektin vastuuhenkilöä tai harkita projektin siirtämistä toisen organisaation alaisuuteen IDAssa. Ota kummassakin tapauksessa yhteys asiakaspalvelu@csc.fi.
Jos palvelujen käyttäjän kotiorganisaatio vaihtuu:
Projektin vastuuhenkilö määrittelee ketkä ovat projektin jäseniä. Kaikki IDAn käyttäjät tarvitsevat CSC:n asiakastunnuksen. IDAa käyttävän projektin säilytystila ei ole sidottu yhteen organisaatioon eli projektin vastuuhenkilö voi kutsua projektiin jäseniä useista organisaatioista. Kotiorganisaation vaihtuessa käyttäjän tulee kuitenkin olla yhteydessä asiakaspalvelu@csc.fi, jotta voimme päivittää tunnuksen tiedot tai neuvoa uuden tunnuksen luomisessa.
Suomalaisessa tutkimusjärjestelmässä toimiva ulkomainen yhteistyökumppani voidaan lisätä IDAa käyttävän projektin jäseneksi, mikäli projekti kuuluu suomalaisen korkeakoulun, valtion tutkimuslaitoksen tai muun IDA-käyttöön oikeutetun hankkeen piiriin. Kunkin IDAa käyttävän projektin vastuuhenkilö päättää keillä on pääsy projektin IDA-tilaan. Lue lisää CSC-asiakastunnusten myöntämisestä ulkomaalaisille yhteistyökumppaneille.
IDA on tarkoitettu tutkimusdatalle. Opiskelija voi olla IDAa käyttävän projektin jäsen, jos hän tuottaa tutkimusdataa tai tarvitsee pääsyä tutkimusdataan. IDAa käyttävällä projektilla tulee olla vastuuhenkilö, joka on kokenut tutkija (kuten post doc, ryhmän vetäjä, tutkimusjohtaja tai professori) tai esimerkiksi projektipäällikkö tai yhteistyöprojektin tekninen koordinaattori. IDA ei ole tarkoitettu opiskelijoille, jotka tuottavat ja tallentavat dataa vain opinnäytetyötä varten.
Uudella vastuuhenkilöllä tulee olla CSC asiakastunnus ja heidän tulee olla projektin jäsen.
Uuden ja vanhan vastuuhenkilön tulee yhdessä ottaa yhteyttä CSC:n asiakaspalveluun (asiakaspalvelu@csc.fi) ja pyytää vastuuhenkilön vaihtoa.
Aineiston omistaja määrittää käyttöoikeudet eikä IDAn käyttö muuta aineistojen omistajuutta. Vaikka IDA-säilytystilan myöntää hakijan kotiorganisaatio, tulee datan omistajuudesta sopia erikseen eikä säilytystilan myöntäneellä organisaatiolla ole automaattisesti oikeuksia säilytettävään dataan. Projektin alkuvaiheessa on hyvä sopia aineistoon kohdistuvista oikeuksista, jotka määrittävät sen, miten toimitaan esimerkiksi silloin kun joku poistuu projektista.
2.2 Kysymyksiä IDAn käytöstä ja IDAan tallennettavasta datasta
IDAan voi tallentaa kaikenlaista tutkimusdataa: uutta tutkimusdataa, sekä jo julkaistua dataa. IDA on tarkoitettu stabiilille, tutkimukseen liittyvälle datalle, joka voidaan koostaa kuvailluiksi tutkimusaineistoiksi. Palvelua ei ole tarkoitettu raskaassa käytössä oleva datalle (esim. laskentadata, verkkosovelluksissa käytettävä data). IDAa ei myöskään esimerkiksi kannata laittaa suoraan kiinni instrumenttiin, joka puskee jatkuvasti dataa levylle. Oleellista on siis miten IDAa käyttää, ei se millaista dataa tallettaa. IDA ei kuitenkaan sovi arkaluonteiselle datalle.
IDA ei sovellu arkaluonteisia henkilötietoja tai biometrisiä tunnistetietoja sisältävälle tutkimusaineistolle. Oikein anonymisoitua dataa voidaan kuitenkin tallentaa IDA-palveluun. Lue lisää aineistojen tunnisteellisuudesta ja anonymisoinnista Yhteiskuntatieteellisen Tietoarkiston sivuilta http://www.fsd.uta.fi/aineistonhallinta/fi/tunnisteellisuus-ja-anonymisointi.html.
Sopiva käyttöliittymä riippuu taidoistasi, tarpeistasi ja käyttämistäsi tietokoneista. Selainkäyttöliittymä (https://ida.fairdata.fi/) on helppokäyttöinen eikä vaadi ohjelmistojen asentamista.
Linux/Mac-käyttäjät voivat käyttää komentorivityökaluja, jotka soveltuvat erityisesti suurien tiedostojen siirtämiseen. Huomaathan, että tiedostojen jäädyttäminen ei ole mahdollista komentorivityökalujen avulla. Lue lisää IDAn komentorivityökaluista.
Lue lisää käyttöliittymien ominaisuuksista IDAn käyttöoppaasta.
Qvain-työkalun avulla voit kuvailla IDAan tallennettua dataa tutkimusaineistoksi, asettaa aineiston avoimesti ladattavaksi ja julkaista luomasi tutkimusaineiston, jolloin tutkimusaineisto ja siihen liittyvät tiedostolatauslinkit löytyvät Etsimestä. Julkaistu tutkimusaineisto saa pysyvän tunnisteen ja kuvailusivun, jolloin tutkimusaineistoon on mahdollista viitata.
Yhteen tutkimusaineistoon on mahdollista linkittää useita IDAssa olevia tiedostoja ja kansioita. Yhden tutkimusaineiston data voi kuitenkin kuulua vain yhteen IDAssa olevaan projektiin: et siis voi tehdä aineistoa jossa on latauslinkkejä useiden projektien tiedostoihin, vaikka olisit niiden kaikkien jäsen.
Voit myös luoda väliaikaisia latauslinkkejä IDAssa oleviin tiedostoihin/kansioihin. Lue tarkemmat ohjeet väliaikaisten latauslinkkien tekemiseen IDAn käyttöoppaasta.
Tämä kuva antaa esimerkin siitä, miten tiedostojen koot vaikuttavat tiedostonsiirtojen nopeuksiin.
IDAn komentorivityökalut ovat saatavilla Puhdissa ja Mahdissa. Niiden avulla voi siirtää, muokata ja ladata tiedostoja projektin valmistelualueelta sekä ladata tiedostoja projektin jäädytetyltä alueelta.
Esimerkki: Haluat ladata tietyn tiedoston projektin 2001234 valmistelualueelta. Tiedostolla on IDAssa polku ’/somefolder/somefile.txt’ ja haluat siirtää sen Puhtiin siihen hakemistoon, jossa olet Puhdissa. Haluat että tiedoston nimeksi Puhdissa tulee ’file_on_puhti.txt’. Käytä siirtoon Puhdilla komentoa:
ida download -p 2001234 /somefolder/somefile.txt file_on_puhti.txt
IDAn komentorivityökalut kysyvät sinulta tunnusta ja salasanaasi (jos et ole jo määrittänyt niitä aiemmin esim. .netrc-tiedostoon)
Esimerkki: Haluat ladata tietyn tiedoston projektin 2001234 jäädytetyltä alueelta. Tiedostolla on IDAssa polku ’/somefolder/somefile.txt’ ja haluat siirtää sen Puhtiin siihen hakemistoon, jossa olet Puhdissa. Haluat että tiedoston nimeksi Puhdissa tulee ’file_on_puhti.txt’. Käytä siirtoon Puhdissa komentoa, jossa parametri ’-f’ ilmaisee, että polku viittaa projektin jäädytettyyn alueeseen:
ida download -p 2001234 -f /somefolder/somefile.txt file_on_puhti.txt
Katso lisää esimerkkejä ja ohjeita IDAn komentorivityökalujen oppaasta.
IDA on tutkimusdatan turvalliseen säilytykseen erikoistunut säilytyspalvelu, eikä vain yksinkertaista tallennuskapasiteettia pilvessä. IDAn komentorivityökalujen tarkoitus on tehdä datansiirrosta yksinkertaisempaa palvelun käyttäjälle, mutta varmistaa samalla että siirtoihin liittyvät palvelunsisäiset varmistukset ja muut toimenpiteet suoritetaan onnistuneesti.
IDA suorittaa useita tarkistuksia ja taustaoperaatioita samalla kun dataa siirretään palveluun tai käsitellään palvelun sisällä. Näitä ei voitaisi tehdä, jos palvelu käyttäytyisi vain tiedostojärjestelmäksi liitettynä pilvitallennusratkaisuna.
Voit kysyä IDAn komentorivityökalujen (https://www.fairdata.fi/kayttooppaat/kayttoopas/#komentorivityokalut) info-komennolla tiedoston tietoja: https://github.com/CSCfi/ida2-command-line-tools#info-and-listing-output
Info-komento antaa muun muassa tiedoston tarkistussumman. Vertaamalla tiedoston tarkistussummaa IDAssa paikallisen tiedoston tarkistussummaan, voit varmistua siitä, että tiedosto on siirtynyt IDAan kokonaisena ja eheänä. IDAn tarkistussummien luomisessa käytetään SHA256-algoritmia, ja ne esitetään URI-muodossa ”sha256:”-prefiksillä heksadesimaalimuodossa. Lisätietoa tarkistussummista käyttöoppaassa: https://www.fairdata.fi/kayttooppaat/kayttoopas/#jaadytetyn-tiedoston-tiedot IDAn komentorivikomennot tarjoavat tavan paikallisen tiedostokopion tarkistussumman laskemiseen.
Voit myös halutessasi verrata paikallisen ja IDAssa olevan tiedoston kokoa. Tiedostokoon saat myös IDAn komentorivityökalujen info-komennolla. IDAn selainkäyttöliittymässä (https://ida.fairdata.fi/) näet tarkan tiedostokoon niin, että painat tiedoston kohdalta kolmea pistettä ja valitset ”Details” (tai ”Tiedot”). Sivulle aukeaa näkymä, jossa on pyöristetty tiedostokoko. Kun hiiren vie tämän tiedostokoon päälle, näyttää selainkäyttöliittymä tiedostokoon tavuissa.
Näet jäädytettyjen tiedostojen tarkistussumman ja koon myös selainkäyttöliittymästä. Katsellaksesi tietyn tiedoston tarkempia tietoja navigoi tiedostoselailunäkymässä siihen sijaintiin, jossa tiedosto tai kansio sijaitsee. Klikkaa lumihiutale-ikonia tiedosto- tai kansionimen oikealla puolella. Jäädyetyn tiedoston tiedot näytetään avautuvan valikon yläreunassa.
3. Etsin– Tutkimusaineistojen hakupalvelu
Julkaistut aineistojen kuvailutiedot ovat kaikille avoimia (etsin.fairdata.fi), vaikka kehitystyössä onkin huomioitu erityisesti tutkijoiden tarpeita. Aineiston omistaja päättää miten ja kuka itse tutkimusaineistoon pääsee käsiksi.
Etsimen aineistot koostuvat vanhan Etsimen kuvailutyökalulla tai Fairdata kuvailutyökalun, Qvaimen, avulla tehdyistä aineistokuvailuista. Etsimessä on myös muualta kopioituja (haravoituja) aineistonkuvailuja (mm. Tietoarkistosta, Kielipankista ja SYKEstä). Tällöin Etsin näyttää linkin aineiston alkuperäiselle kuvailusivulle, josta löydät myös täydelliset kuvailutiedot aineistosta.
Kaikki Etsimen aineistot on tallennettu Metaxiin, joka toimii yhteisenä metatietovarastona Fairdata-palveluille.
Etsin haravoi aineistoja erilaisista ulkoisista lähteistä. Haravoitu aineisto on siis tallennettu johonkin toiseen palveluun tai tietovarastoon, joka tarjoaa aineistolle ns. kuvailusivun ja pysyvän tunnisteen. Etsimen haravointi-toiminnolla näitä muualle tallennettuja aineistokuvailuja kopioidaan Etsimen tietovarastoon (Metax), josta ne ovat Etsimen löydettävissä. Etsin näyttää aineistosta ne tiedot, mitä haravoinnissa on sovittu Etsimeen tuotaviksi, ja näyttää linkin aineiston alkuperäiseen sivuun, jossa usein kattavampaa tietoa aineistosta.
Sen lisäksi, että Etsin haravoi aineistoja ulkoisista lähteistä, voivat organisaatiot myös itse tuoda aineistojaan Metaxin kautta Etsimeen. Tällöin organisaatio hyödyntää Metaxin tarjoamaa API-rajapintaa. Lisätietoja: Metax-integraatio organisaatiolle.
Jotta aineistoja voidaan haravoida tai tuoda API-rajapintaa hyödyntäen, pitää vähintään seuraavat asiat ottaa huomioon:
- Asiakkaalla oltava oikeus jakaa haravoitavia aineistoja (mm. lisenssit, henkilötiedot huomioitava) sekä vastuu aineistojen sisällöstä (myös laadullisesti)
- Haravoinnissa käytettävä protokolla (suositus OAI-PMH) ja rajapinnat oltava kunnossa (tai ne rakennetaan projektin aikana)
- Haravoitavilla aineistoilla oltava pysyvät tunnisteet lähdejärjestelmässä
- Lähdejärjestelmän aineistojen tietorakenne on ”mäpättävä” Etsimen tietovaraston, Metaxin, tietorakenteiden kanssa
Aineistojen haravointi tai tuonto API-rajapintaa käyttäen suunnitellaan ja toteutetaan aina erillisenä projektina CSC:n ja asiakkaan kanssa. Lisätietoja CSC:n asiakaspalvelusta (asiakaspalvelu@csc.fi).
4. Qvain – Tutkimusaineistojen kuvailutyökalu
4.1 Yleisiä kysymyksiä Qvain-työkalusta
Qvaimen avulla aineistot on helppo kuvailla ja julkaista. Aineistoon voi liittää tiedostoja IDAsta tai linkittää ulkopuolisista lähteistä. Tutkimusaineiston metatiedot eli kuvailutiedot tekevät tutkimusaineistosta näkyvää: metatiedon avulla aineisto löytyy ja siitä saa helposti yleiskuvan. Kun aineisto on laadukkaasti ja kattavasti kuvailtu, se on helppo löytää Etsimellä, siihen voi viitata ja näin aineiston uudelleenkäyttö mahdollistuu.
Qvainta voi käyttää, jos olet rekisteröitynyt CSC:n asiakkaaksi (sinulla on CSC tunnus).
Jos sinulla on kotiorganisaatiosi kautta Haka- tai Virtu-tunnus, voit rekisteröityä CSC-asiakkaaksi CSC:n MyCSC-asiakasportaalissa käyttäen omaa Haka-tunnustasi. Jos sinulla ei ole organisaatiosi tarjoamaa Haka- tai Virtu-tunnusta, voit pyytää luomaan itsellesi CSC-tunnuksen ottamalla yhteyttä asiakaspalvelu@csc.fi. Rekisteröitymisen jälkeen voit kirjautua sisään palveluihin omalla Haka- tai Virtu-tunnuksellasi tai CSC:n asiakastunnuksella.
4.2 Kysymyksiä Qvaimen käytöstä ja tutkimusaineistojen kuvailusta
CSC on siirtänyt kaikki vanhan Etsimen aineistot Metaxiin siten, että ne näkyvät uudessa Etsimessä ja ovat tarvittaessa muokattavissa Qvaimella.
Huom! Vain julkaistut aineistot on siirretty.
Fairdata-palvelut tarjoavat mahdollisuuden julkaista tutkimusdataa niin, että se on löydettävää, saavutettavaa, yhteentoimivaa ja uudelleenkäytettävää. Näiden toteutuminen vaatii myös datan kuraattorilta ja tutkijalta hieman paneutumista. Huomioi ainakin seuraavat seikat ennen tutkimusaineiston julkaisemista:
- Julkaistaessa dataa Fairdata-kokonaisuudessa, se pitää lisensoida. Lisensointi on suositeltavaa aina muutoinkin. Lisenssi ei ole sama asia kuin datan saatavuus, vaan se kertoo miten dataa voidaan käyttää. Tarkista lisenssiä valitessasi rahoittajasi ja tutkimusorganisaatiosi linjaukset ja muut olennaiset dokumentit. Ideaalitilanteessa lisenssin valintaan vaikuttavat seikat tulisi olla dokumentoituna aineistonhallintasuunnitelmaan ja sopimukseen. Yleisesti tutkimusaineistoille suositellaan lisenssiä CC-BY 4.0. Kaikki metatieto on avointa dataa ja lisensoitu CC0-lisenssillä. Jos olet epävarma lisenssin valinnasta, ota yhteyttä organisaatiosi datatukeen tai kirjastopalveluihin.
- Ota selvää ja/tai sovi, ketkä toimivat dokumentoidaan tutkimusaineiston luojiksi, julkaisijoiksi ja kuraattoreiksi. Julkaisijoita voi olla vain yksi ja sen on suositeltavaa olla organisaatio. Kuraattori on se osapuoli, joka on vastuussa metadatan ja datan päivittämisestä ja voi antaa lisätietoa datasta tai vastata kysymyksiin datan saatavuudesta ja lisensoinnista. Nämä tiedot tulee aina pitää ajantasaisina!
- Jos sinulla ei ole vielä ORCID-tutkijatunnistetta, rekisteröi itsellesi sellainen. Käytä sitä aina, jotta viittaukset kohdentuvat oikeaan henkilöön.
- Muita huomioitavia palkollisia tietoja ovat datan saatavuus sekä löydettävyyden ja uudelleenkäytön kannalta tärkeät seikat, kuten:
- tutkimusaineiston otsikko tulisi olla uniikki ja kuvaava
- tutkimusaineiston kuvauksen tulisi olla tarpeeksi kattava, jotta datan uudelleenkäyttö on mahdollista
- avainsanat (keywords) ovat tärkeitä aineiston löydettävyyden kannalta. Käytä olennaista tieteenalaasi liittyvää terminologiaa.
- tutkimusaineistoon voidaan lisätä useita tieteenaloja
- Järjestele tiedostosi ja kansiosi huolellisesti. Käytä uniikkeja nimiä tiedostoille ja kansioille. Jos datasi on IDAssa, jäädytä se. Tarkista huolella, että et lisää tutkimusaineistoon vahingossa dataa, jota ei tulisi julkaista. Huomaa, että esim. tiedostonimissä ei tule olla henkilötietoa.
Ei. Qvaimella voidaan kuvailla aineistoja, joiden tiedostot ovat IDAssa, mutta myös ihan yhtä hyvin aineistoja, joiden tiedostot ovat muualla. Kuvailu on mahdollista myös täysin ilman tiedostoja.
- Aineisto voidaan julkaista kokonaan ilman tiedostoja. Tällöin on huomioitava se, että tiedostoja voi lisätä VAIN KERRAN ilman, että aineistosta syntyy uusi versio. Jos tiedostoja poistaa tai lisää, aineistosta syntyy automaattisesti aina uusi versio. (Metatietoja saa aina muokata vapaasti, eli rajoite koskee vain tiedostoja.)
- Jos olet IDAn käyttäjä, aineistoon voidaan linkittää IDAssa jäädytettyjä tiedostoja ja hakemistoja. Yhteen aineistoon voi linkittää tiedostoja / hakemistoja vain yhdestä IDAa käyttävästä projektista. Etsin näyttää tiedostot niiden hakemistorakenteen mukaisesti. Kuka tahansa voi ladata julkaistuun aineistoon liittyvät tiedostot Etsimen kautta omalle koneelle (olettaen, että aineiston kuvailija on tämän sallinut tehdessään aineistokuvailua).
- Jos käytössä ei ole IDA-palvelua, tai tiedostoja ei haluta linkittää sitä kautta, voi Qvaimessa kertoa palvelun ulkopuolisten aineistojen osoitteet (URL). Tällöin Etsin näyttää tiedostosta linkin ko. ulkoiseen osoitteeseen.
Qvain näyttää vain ne aineistot, jotka olet itse luonut tai joihin sinulla on muokkausoikeudet. Qvaimen pitäisi osata näyttää aineistosi myös, jos olet luonut aineiston vanhan Etsimen aineistoeditorilla tai Metax -rajapinnan kautta. Jos kohtaat ongelman, ota yhteyttä asiakaspalveluun (asiakaspalvelu@csc.fi).
Kun tallennat aineiston Qvaimessa, muutokset eivät vielä näy Etsimessä. Tallentamisen jälkeen sinun pitää vielä julkaista aineisto uudelleen.
Kun muutat jo julkaistua aineistoasi, huomioithan, että dokumentoit muutokset tarkasti. Aineiston omistaja on vastuussa siitä, että aineiston toistettavuus ja uudelleenkäytettävyys eivät muutosten myötä kärsi. Huomioi myös, että tiedostojen lisääminen tai poistaminen aiheuttaa uuden version syntymisen aineistosta. Tällöin Etsin näyttää aineiston uusimman version hakutuloksissa (vanhemmat versiot saa avattua uusimman version kautta suorat viittauksen vanhempiin versioihin toimivat yhä). Qvaimessa kukin versio näkyy omana aineistonaan (vanhemmissa versioissa näkyy tieto, että ko. aineisto on vanha versio).
Jos julkaistuun aineistoon lisätään tiedostoja tai siitä poistetaan tiedostoja, on aineistosta luotava uusi versio. Tämä siitä syystä, että aineiston toistettavuus ja uudelleenkäytettävyys säilyy (mahdollisten viittausten pitää osoittaa nimenomaan siihen versioon, missä tiedostot vastaavat alun perin viitattua aineistoa).
Jos muokkaat pelkästään aineiston metadataa, uutta versiota ei tarvitse luoda synny. Myöskään ns. kasvavaksi aineistoksi määritettyyn aineistoon voi lisätä tiedostoja luomatta ensin uutta versiota. Pidäthän kuitenkin huolta siitä, että muutokset on selkeästi dokumentoitu aineistossa.
Kyllä. Kuvailun voi julkaista ilman dataa, ja näin saada sille pysyvän tunnisteen.
On tärkeää muistaa, että silloinkin tulee valita datalähteeksi joko ”Remote” tai ”IDA”, jotta Qvain osaa valmistautua siihen mahdollisuuteen, että myöhemmin kuvailuun lisätään dataa. Datalähdettä ei voi myöhemmin vaihtaa. Jos siis aineistosta halutaan ensin julkaista pelkät kuvailutiedot ja myöhemmin lisätä siihen IDAan tallennetut tiedostot, tulee jo aluksi valita datan säilytyspaikaksi ”IDA”.
Kuvailutietojen julkaisun jälkeen (eli kun kuvailu on saanut pysyvän tunnisteen), voi dataa lisätä KERRAN IDAsta ilman, että pitää luoda uusi versio uudella pysyvällä tunnisteella.
Jos datalähteenä on ”Remote”, voi kuvailutietoihin linkitettyjä datalinkkejä lisätä ja muokata ilman uuden version luomista.
5. Metax – Metatietovaranto
Metaxilla ei ole graafista käyttöliittymää, eikä sitä voi käyttää samaan tapaan kuin muita Fairdata-palveluja. Metax on tietovarasto Fairdata-palveluiden metadatoille. Metaxin tietomallin pohjana on DCAT ja se on Datacite-yhteensopiva.
- Metax tietosisältö (only in Finnish)
Useimmat Metaxin tarjoamat rajapinnat ovat muiden Fairdata-palveluiden käytössä, eikä niitä ole tarkoitettu loppukäyttäjille.
Edistyneille käyttäjille on kuitenkin tarjolla ns. loppukäyttäjä-rajapinta. Lisätietoa End User Access -dokumentaatiosta.
6. Fairdata PAS – Tutkimusaineistojen pitkäaikaissäilytyspalvelu
Pitkäaikaissäilytys (PAS) tarkoittaa digitaalisen informaation luotettavaa säilyttämistä useiden kymmenien tai jopa satojen vuosien ajan. Laitteet, ohjelmistot ja tiedostomuodot vanhenevat, mutta informaation täytyy säilyä. Luotettava pitkäaikaissäilyttäminen edellyttää sisällön eheyden aktiivista valvontaa ja monenlaisiin riskeihin varautumista. Tässä ovat keskeisessä asemassa metatiedot, jotka kuvailevat mm. aineiston sisällön, historian ja alkuperän sekä tiedot siitä, miten informaatiota voidaan käyttää.
Tutkimusaineistoja (dataa, julkaisuja, koodia, opetusmateriaalia jne.) voidaan pitkäaikaissäilyttää, jos ne ovat joko organisaatiolle merkittäviä tai kansallisesti merkittäviä. Kumpikin pohjautuu organisaation arvioon.
Yhteiset pitkäaikaissäilytyspalvelut, mukaan lukien Fairdata PAS-palvelu, tarjoaa ja omistaa opetus- ja kulttuuriministeriö (OKM) ja niiden toteutuksesta vastaa CSC – Tieteen tietotekniikan keskus Oy.
Monet luotettavat säilytyspalvelut tarjoavat pitkää säilytysaikaa ja huolehtivat aineistojen eheydestä bittitasolla juuri siinä muodossa, missä ne tallennetaan palveluun. Tällainen säilytysmenetelmä ei voi taata aineiston käytettävyyttä pitkillä ajanjaksoilla, sillä ohjelmistot ja tiedostomuodot vanhenevat. Pitkäaikaissäilytyksen (digital preservation) tavoite on taata erittäin merkittävien aineistojen jatkokäytettävyys myös tuleville sukupolville. Pitkäaikaissäilytys vaatii paljon resursseja: se edellyttää aktiivista ylläpitoa ja toimenpiteitä, joilla pidennetään aineistojen elinikää niin, että ne pysyvät käytettävänä useiden kymmenien tai jopa satojen vuosien ajan. Tällaisia toimenpiteitä ovat esimerkiksi vanhentuneiden tiedostomuotojen muuntaminen, tai erilaiset toimenpiteet, joilla varmistetaan datan eheyttä ja laatua, luettavuutta ja käytettävyyttä, ja suojellaan sitä vahingoittumiselta pidemmällä aikavälillä.
Fairdata PAS-palvelua hyödyntäville organisaatioille on lisätietoa osoitteessa https://www.fairdata.fi/hyodyntaminen/kayttoonotto/.
Pitkäaikaissäilytykseen siirretään aineistoja, joilla on pitkällä aikavälillä arvoa organisaatiolle tai kansallisesti. Organisaatiot arvioivat itse aineistonsa pitkäaikaissäilytystarpeen. Näkökulmana arviossa voi olla esimerkiksi:
- Aineiston jatkokäyttömahdollisuudet
- Aineistontuottamiseen on käytetty paljon resursseja
- Aineisto on syntynyt osana tutkimusta, jota olisi vaikeaa, kallista tai mahdotonta toistaa
- Aineisto on muutoin kansallisesti tai organisaation kannalta merkittävä.
Onnistuakseen pitkäaikaissäilytyspalvelut määrittelevät aineistojen säilyttämiseen liittyviä edellytyksiä. Tällöin on huolehdittava mm. seuraavista asioista:
- Metatiedot ovat riittäviä ja takaavat ymmärrettävyyden
- Säilytys- ja siirtokelpoiset tiedostomuodot -määritys varmistaa, että käytetyt tiedostomuodot riittävän avoimia, jotta tietosisällön säilyminen ja ymmärrettävyys voidaan taata pitkällä aikavälillä
- Tutkimusaineistoon ei liity eettisiä tai oikeudellisia ongelmia, kuten ratkaisemattomat tekijänoikeuksiin tai tunnisteellisuuteen liittyvät seikat.
Hyödyntävä organisaatio ehdottaa tutkimusaineistoa säilytettäväksi opetus- ja kulttuuriministeriölle, joka puolestaan myöntää tutkimusaineistolle käyttöoikeuden PAS-palveluun.
Tähän on useita vaihtoehtoja. Lue lisää: https://digitalpreservation.fi/user_guide/packaging.
Lisätietoa löydät osoitteesta: http://digitalpreservation.fi/.
Jos sinulla on kysyttävää Fairdata-palveluista, ole hyvä ja ota yhteyttä Fairdata-käyttäjätukeen osoitteessa asiakaspalvelu@csc.fi.