In seguito ad una intensa progettazione nel corso dello scorso anno, che ha visto l’INFN e in particolare il CNAF in prima linea, nuovi progetti approvati dalla comunità europea sono in fase di partenza. Di seguito qualche dettaglio.
eXtreme-DataCloud (XDC): questo progetto ha lo scopo di sviluppare tecnologie scalabili per la federazione di risorse di storage e la gestione di dati in ambienti distribuiti. I servizi sviluppati saranno in grado di funzionare a scale mai raggiunte in precedenza, come richiesto dagli esperimenti di ricerca con la maggior produzione di dati d’Europa e del mondo. XDC partirà da tool esistenti (TRL8+) che verranno arricchiti di nuove funzionalità e plugin, attualmente disponibili come prototipi (TRL6). Le piattaforme che potranno usare questi prodotti sono le attuali e le future e-Infrastructures europee, come European Open Science Cloud (EOSC), European Grid
Infrastructure (EGI), Worldwide LHC Computing Grid (WLCG) e le infrastrutture di calcolo che saranno finanziate dalle prossime call H2020 EINFRA-12.
I principali argomenti che saranno affrontati dal progetto sono: federazione di risorse di storage attraverso protocolli standard, soluzioni di smart caching, gestione dati basata su policy su Quality of Service, gestione del ciclo di vita dei dati, gestione e manipolazione di metadati, pre-processamento e criptazione di dati, gestione ottimizzata ai dati sulla base di pattern di accesso.
Tutti gli sviluppi saranno effettuati e testati sulla base di casi d’uso reali forniti dai partner del consorzio, rappresentanti comunità di ricerca appartenenti a diverse discipline scientifiche: Life Science, Astrofisica, Fisica della alte energie, Photon Science e ricerca clinica. Il software XDC verrà rilasciato in modalità Open Source, disponibile a chiunque.
- Data di inizio: 1 november 2017
- Call: EINFRA-21-2017 (Platform-driven e-infrastructure innovation), topic b: Computing e-infrastructure with extreme large datasets
- Budget: 3 M€
- Coordinatore: INFN
- Participanti: 8 enti da 7 paesi
- Durata: 27 mesi
DEEP Hybrid DataCloud: Designing and Enabling E-infrastructures for intensive Processing in a Hybrid DataCloud
The key concept proposed in the DEEP Hybrid DataCloud project is the need to support intensive computing techniques that require specialized HPC hardware, like GPUs or low latency interconnects, to explore very large datasets. A Hybrid Cloud approach enables the access to such resources that are not easily reachable by the researchers at the scale needed in the current EU e-infrastructure.
We also propose to deploy under the common label of “DEEP as a Service” a set of building blocks that enable the easy development of applications requiring these techniques: deep learning using neural networks, parallel post-processing of very large data, and analysis of massive online data streams.
Three pilot applications exploiting very large datasets in Biology, Physics and Network Security are proposed, and further pilots for dissemination into other areas like Medicine, Earth Observation, Astrophysics, and Citizen Science will be supported in a testbed with significant HPC resources, including latest generation GPUs, to evaluate the performance and scalability of the solutions.
A DevOps approach will be implemented to provide the chain to ensure the quality of the software and services released, that will also be offered to the developers of research applications.
The project will evolve to TRL8 existing services and technologies at TRL6+, including relevant contributions to the EOSC by the INDIGO-DataCloud H2020 project, that the project will enrich with new functionalities already available as prototypes, notably the support for GPUs and low latency interconnects. These services will be deployed in the project testbed, offered to the research communities linked to the project through pilot applications, and integrated under the EOSC framework, where they can be further scaled up in the future.
- Data di inizio: 1 november 2017
- Call: EINFRA-21-2017 (Platform-driven e-infrastructure innovation), topic b: Computing e-infrastructure with extreme large datasets
- Budget: 3 M€
- Coordinatore: Agencia Estatal Consejo Superior de Investigaciones Cientificas (CSIC)
- Participanti: 10 enti da 9 paesi
- Durata: 30 mesi
EOSC-Hub: Integrazione e gestione di servizi per European Open Science Cloud.
L’obiettivo di EOSC-hub è di contribuire ad EOSC rendendo disponibile continuità e accesso libero a un sistema di dati di ricerca provenienti da diversi paesi e nell’ambito di discipline varie. Il progetto offrirà queste risorse attraverso un Hub – un sistema di integrazione e gestione di EOSC, che sia un punto di accesso a livello europeo per gli utenti. Questo verrà conseguito attraverso 3 azioni.
Governance and funding. Essere un integratore e federatore di servizi di EOSC. Sviluppare know-how e un framework di approvvigionamento e acquisto che possa essere usato da organizzazioni interessate ad acquisire servizi digitali sia da infrastrutture finanziate con denaro pubblico, sia da provider commerciali.
Data culture and FAIR data. Fornire dati FAIR e servizi a livello di produzione basandosi sulle attuali e future linee guida sviluppate dalle comunità scientifiche, e-Infrastructures a altri attori importanti. Far si che i dati sia fruibili nella maniera più ampia possibile tra diverse discipline scientifiche e tra settore pubblico e prvato attraverso: fornitura di dati pubblici/privati as a service, resa delle risorse di dati individuabili e accessibili e connessione tra le esistenti infrastrutture di dati in Europa.
Research data services and architecture. Creare un sistema aperto per integrazione e gestione (Hub) per il futuro EOSC che fornisca un catalogo di servizi in evoluzione, software e dati open source e aggregazione di servizi richiesti dalle comunità scientifiche europee da e-Infrastructures locali, regionali e nazionali. L’Hub sarà un punto di contatto per ricercatori e innovatori per scoprire, accedere, usare un ampio spettro di risorse per ricerca avanzata. Migliorare le conoscenze di ricercatori e operatori di servizi attraverso formazione specialistica e la creazione di centri di competenza per creare soluzioni.
- Data di inizio: 1 gennaio 2018
- Call: EINFRA-12-2017 (Data and Distributed Computing e-infrastructures for Open Science), topic a: Secure and agile data and distributed computing e-infrastructure
- Budget: 30 M€
- Coordinatore: EGI Foundation (EGI.eu)
- Participanti: 74 enti (più 20 soggetti collegati) da 36 paesi
- Durata: 36 mesi