Idea: Objektipohjainen tallennuspalvelu, jota voi hyödyntää on-premise tallennuslaitteiden pilvikapasiteettina

Kuvaus: Usealla suomalaisella yliopistolla on käytössä on-premise tallennusjärjestelmiä, jotka tukevat pilvikapasiteetin liittämistä osaksi paikallista tallennuskapasiteettia. Kaupalliset tallennusjärjestelmät eivät kuitenkaan tue opensource pohjaisia objektitallennuspalveluita. Siksi pyydämme CSC:tä rakentamaan sellaisen keskitetyn objektipohjaisen tallennuspalvelun, joka soveltuu kaupallisten tallennusjärjestelmien kanssa käytettäväksi. Palvelun tulisi perustua sellaiseen teknologiaan että se on tuki- ja lisenssimielessä soveltuva yliopistojen käyttöön.

2020-11-19 Ideatoimikunnan päätös arkistoinnista

• Arkistoitu ei toteutuneena.
  CSC:n esiselvityksen tulos ei tarjoa mahdollisuutta jatkoon

 2020-02-20 ideatoimikunnan kokous - CSC:n esiselvityksen tulos

• Use casen tarkennus tarvitaan korkeakouluilta, sillä ehdotettu ratkaisu (Dell Isilon -pohjainen):
  • on uusi tallennusjärjestelmä, joka olisi erillinen ja rinnakkainen geneerisen, objektipohjaisen Allas-tallennusjärjestelmän kanssa, joka on hankittu mm. korkeakoulujen käyttöön
  • ei tarjoa synergioita muuhun CSC:n toimintaan
• Ratkaisun toteuttamiseen liittyviä haasteita CSC:n kannalta:
  • CSC:llä ei ole tällä hetkellä hankintateknistä keinoa hankkia Isilon-tallennusjärjestelmää
  • CSC:llä ei ole tällä hetkellä sopivia henkilöresursseja ylläpitämään Isilon-pohjaista infraa
• Ratkaisun toteuttamiseen liittyviä vaatimuksia korkeakouluille:
  • Korkeakouluilta vaaditaan pitkäaikainen sitoutuminen järjestelmään (huomioitava korkeakoulujen Dell -hankintojen erilaiset elinkaaret)
  • Hyvin karkea kustannusarvio: 0,5 FTE (hankintatyö) + 3 FTE / vuosi (luominen ja ylläpito) --> henkilötyö ~500k€ / vuosi + konesalikustannus + laitteisto
• Vaihtoehtona Isilon-pohjaisen keskitetyn infrastruktuurin luomiseksi voisi olla, että korkeakoulut hankkivat laitteiston omista hankintasopimuksistaan ja organisoivat ylläpidon omilla admineillaan. CSC voisi tarvittaessa hostata palvelun konesalissamme.
• CSC ehdottama ratkaisu korkeakoulujen tarpeeseen on ollut integraatio Altaaseen on-premise tallennuslaitteiden (Dell) lisäkapasiteettina ("pilvikapasiteettina"), koska
  • Korkeakoulut ovat pitäneet kaupallisia pilvipalveluita laajennusvarana yhtenä vaihtoehtona, ja Allas tarjoaa samanlaiset standardirajapinnat integraatiota varten kuin kaupalliset palveluntarjoajat.
  • CSC ylläpitää Allas-palvelua osana geneeristä palvelutarjontaansa. Uusia järjestelmiä tai palveluita ei pystytettäisi.
  • Allas olisi todennäköisesti edullisin tallennuspalvelu korkeakouluille. Jos tehdäään tämä pilvimäisesti, yliopistot ostavat billing unitteja, ja näitä kuluu käytön mukaan.
    • Normlilistahinta: 1 BU/ TiBh -> ~185€ / TiBvuosi. Konsultoinnista erillishinta.
    • Vertailun vuoksi Amazonin hinta on tämän mukaan ~260$ / TiB vuosi + siirtokulut https://aws.amazon.com/s3/pricing/
  • Allas -integraation toimivuuden testaaminen on mahdollista heti ja kustannus per korkeakoulu olisi ~1k€ (CSC:n testausta tukeva työ, TBD).

2019-11-22 Ideatoimikunnan kokous

Tiketille päivitetty alustavat systeemikyselyn tulokset. 

Dell Isilon käyttäjiksi on tunnistettu nyt OY, JY, UEF, VY, LUT, TAU, TY sekä HY kansalliskirjasto osalta.

Ideatoimikunnassa on aiemmin keskustelu vaihtoehdoista: 1) hankkia paikallisia laitteita lisää omaan saliin, 2) hankkia varakapasiteettia esim. CSC:lle, 3) hankkia Googlen AWS:ää tai muuta kaupallista pilveä. Korkeakoulun laajentaessa itse on hankittava noin 200teraa, jotta hankinta olisi kustannuksiltaan järkevää. Toiveena keskittämisellä saatu kustannussäästö - mutta tämä selvinnee vasta kun tiedetään hinnat.

Etenemisen vaihtoehdot: korkeakoulut pohtivat asiaa yhdessä ja muodostavat mielikuvan tai idea jää tarkennettavaksi CSC:n selvittäessä, olisiko mahdollisuutta edistää asiaa nostamalle idea CSC:n palvelukehityslinjalle. 

Todettiin, että CSC pohtii olisiko tätä mahdollista ehdottaa CSC:n palvelukehityskaistalla edistettäväksi.

2019-11-07 Systeemikyselyn esitulos

Systeemikyselyn osalta levyjärjestelmästä EMC vastasivat: HAMK EMC, HY EMC, LAMK EMC, LUT EMC, OY EMC Isilon, Saimia EMC Isilon, SeAMK Dell, EMC Unity, TAMK EMC Isilon, VAMK Dell EMC Unity

2019-10-25 Ideatoimikunnan kokous

• Todettiin tilannekuva. Juha Nisso (TUNI) on tavoittanut teknisiä osaajia LUT:in, OY:n, UEF:n, VY:n ja TY:n osalta. Kaikilla tunnistetuilla korkeakouluille on yhtenevä tarve; paikallisesta datamäärästä osa halutaan CSC:lle tallennettavaksi. Tämän ratkaisun tulisi olla edullisempaa kuin muutoin hankittuna.
• AAPA-FUCIOn toteuttaman systeemikyselyn vastausten määräaika on lokakuun loppu (mahdollisesti venynee hieman). Tämän sen kautta saattaa löytyä vielä muitakin korkeakouluja, jotka käyttävät Dell Isilon palvelua. Todettiin, että odotetaan systeemikyselyn tuloksia ja palataan ideaan tulosten valmistuttua.
• Dell Isilonia käyttäviä korkeakouluja kannustetaan pohtimaan, miten tätä voisi esiselvittää, lisäksi;
  • Ehdotettiin kyselyä AAPAn ja FUCIOn jäsenille asian selvittämisestä ja sen kustannuksista
  • Asiaa voidaan työstää Digisfäärissä: kuka voisi lähteä edistämään ja olisiko toteutus kaikkien vai tietyn osajoukon maksamana.

Idea jätettiin tilaan 'Tarkennettavana'

2019-10-11 Ideatoimikunnan kokous

• Objektipohjaisena, open source tekniikoilla toteutettuna tallennusratkaisuna tuotannossa ja jatkokehityksessä Allas: https://jira.eduuni.fi/browse/CSCIDEAPANKKI-70
• Tämän idean aiheena kuitenkin kaupallisiin teknologioihin perustuva tai muutoin kaupallisten tallennusjärjestelmien kanssa yhteentoimivan pilvikapasiteetin tarve. Käytännössä kyseessä on useammalla korkeakoululla käytössä oleva Dell Isilon, joka tukee integraatiota ainoastaan kaupallisiin pilviin, vaikka sinällään myös CSC:n Altaan kanssa voisi käyttää samaa avointa standardia. Vaihtoehtona on käytännössä laitevalmistajan tarjoamat ratkaisut, jotka ovat 1) uusien paikallisten laitteiden hankita Dell'ltä, 2) mahdollinen yhteisen laajennusvarakapasiteetin hankinta CSC:lle Dell'iltä taikka 3) kaupallisen pilven, kuten Googlen tai AWS:n käyttäminen laajennusvarana.
• Korkeakoulun omien tallennusresurssien loppumisen myötä dataa pitäisi pystyä siirtämään joustavasti pilveen, riippumatta pilven sijainnista (datan sensitiviisyys huomioon ottaen). Ratkaisun tulee olla kustannustehokas. Tällä hetkellä on edullisempaa laajentaa omaa kapasiteettia kuin hankkia palvelu pilvestä.
• OCRE-kilpailutus liittyy asiaan ja tarjoaa mahdollisesti tukea päätösten tueksi
• Ratkaisuvaihtoja voitaisiin selvittää ja vertailla Dell Isilon ratkaisua käyttävien korkeakoulujen kesken. Palataan asiaan 25.10. Ideatoimikunnan kokouksessa tai myöhemmin, kun ollaan valmiita keskustelemaan siitä, että edistetäänkö asiaa yhdessä.

2019-10-11 Ideatoimikunnalle - Statuspäivitys (maili)keskustelusta idean ehdottajan kanssa
CSC:n puolelta ymmärrettiin, että objektitallennusta halutaan tallennuksen ylivuotokapasiteettiin Esim. tallennusratkaisu kuten eräänä mainittu Dell Isilon pystyisi heittämään dataa objektitallennukseen

Jos näin on, niin integraatio voisi tapahtua objektitallennus-apin kautta (yleensä S3 tai SWIFT). CSCn Allas palvelu tarjoaa nämä kummatkin API:t. Mikäli asiakas konfiguroi on-premise tallennusratkaisunsa käyttämään näitä standardirajapintoja, tästä ei tule asiakkaalle lisäjärjestelmiä ylläpidettäväksi tai päivitettäväksi, vaan CSC ylläpitää Allas-palvelua. Suurin kysymys toimivuuden kannalta lienee miten hyvin API määrittelyt on toteutettu kummallakin puolella. Tämän testaaminen olisi luultavasti suhteellisen helppoa. Ensimmäisenä vaiheena asiakas testaisi suoraan yhteensopivuutta Altaan kanssa.

Yleensä tallennusrakaisujen objektitallennusintegraation ideana on, että on-premise (esim. tuo mainittu Dell Isilon) kapasiteettia voisi jatkaa jollain muulla, mahdollisesti edullisemmalla/skaalautuvammalla/jne.) tuotteella, kunhan se tarjoaa rajapinnat siihen.

Riippuen käyttötarkoituksesta Altaan käyttö on maksutonta (tutkimus- ja opetuskäyttö), tai sitten tämän käytöstä voi tehdä sopimuksen.

2019-09-13 Ideatoimikunnan kokous

Tiedoksi uusi idea. Alustus (CSCIDEAPANKKI-67 alustus Sami Kinnunen.m4a) Sami Kinnunen, Vaasan yliopisto.

• Vaihtoehtoina esitettiin pilvikapasiteetti on-premisepalveluna tai palvelu CSC:n brokeroimana
• Keskusteltiin CSC:n uudesta Allas-palvelusta
• Keskusteltiin ehdotetun idean tavoitteista ja taustoista. Todettiin, että tarvitaan lisätietoja ehdotuksen tekijältä
• Asia otetaan uudelleen käsittelyyn seuraavassa Ideatoimikunnassa 27.9.