Harvestácia LKODu DataCube Štatistického úradu

[miroslavliska]

Adresa SPARQL Endpointu, kde sa nachádza LKOD je
https://datacubet.statistics.sk/rdf4j-workbench/repositories/NONE/server

Tu je jeho definícia v portáli:
https://data.slovensko.sk/lokalne-katalogy/7024d4ba-c2e5-4276-8b82-1fc134b28450

Pri kontrole pipelines, to vyzerá, že problém nastáva v loaderi SPARQL Endpoint List To Graph

Vstup je tento súbor, kde je možné vidieť dva SPARQL Endpointy, v tomto prípade je dôležitý ten druhý, tj. https://data.gov.sk/set/lkod/7024d4ba-c2e5-4276-8b82-1fc134b28450

<https://data.gov.sk/set/catalog/knowledgegraph> a <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#Task>;
  <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#query> """PREFIX dcat: <http://www.w3.org/ns/dcat#>
PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>

CONSTRUCT {
<https://data.gov.sk/set/catalog/knowledgegraph> dcat:endpointURL \"https://znalosti.gov.sk/sparql\"^^xsd:anyURI ;
dcat:dataset ?dataset .
} WHERE {
?dataset a dcat:Dataset .
}""";
  <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#group> "https://znalosti.gov.sk/sparql";
  <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#endpoint> "https://znalosti.gov.sk/sparql" .

<https://data.gov.sk/set/lkod/7024d4ba-c2e5-4276-8b82-1fc134b28450> a <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#Task>;
  <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#query> """PREFIX dcat: <http://www.w3.org/ns/dcat#>
PREFIX xsd: <http://www.w3.org/2001/XMLSchema#>

CONSTRUCT {
<https://data.gov.sk/set/lkod/7024d4ba-c2e5-4276-8b82-1fc134b28450> dcat:endpointURL \"https://statdatatest.statistics.sk/rdf4j-server/repositories/SUSR\"^^xsd:anyURI ;
dcat:dataset ?dataset .
} WHERE {
?dataset a dcat:Dataset .
}""";
  <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#group> "https://statdatatest.statistics.sk/rdf4j-server/repositories/SUSR";
  <http://plugins.linkedpipes.com/ontology/e-sparqlEndpointList#endpoint> "https://statdatatest.statistics.sk/rdf4j-server/repositories/SUSR" .

Výstup je už prázdny.

[jakubklimek]

Na tom linku se SPARQLem nedá ptát, viz https://api.triplydb.com/s/IsCxUmFr4 - Unknown repository: SUSR. Proto je výstup prázdný. Je to také jiný link než https://datacubet.statistics.sk/rdf4j-workbench/repositories/NONE/server, na který se ovšem také nedá ptát. Je tedy třeba zaregistrovat takový endpoint, na který se dá ptát SPARQLem.

[miroslavliska]

Na tom linku se SPARQLem nedá ptát, viz https://api.triplydb.com/s/IsCxUmFr4 - Unknown repository: SUSR. Proto je výstup prázdný. Je to také jiný link než https://datacubet.statistics.sk/rdf4j-workbench/repositories/NONE/server, na který se ovšem také nedá ptát. Je tedy třeba zaregistrovat takový endpoint, na který se dá ptát SPARQLem.

Ďakujem za info, máš pravdu. Z uvedeného RDF4J Servra (Workbenchu) zmizla uvedená databáza. Je potrebné to setupnúť tak, aby to nemôhol urobiť hocikto (mazanie).

[miroslavliska]

Na tom linku se SPARQLem nedá ptát, viz https://api.triplydb.com/s/IsCxUmFr4 - Unknown repository: SUSR. Proto je výstup prázdný. Je to také jiný link než https://datacubet.statistics.sk/rdf4j-workbench/repositories/NONE/server, na který se ovšem také nedá ptát. Je tedy třeba zaregistrovat takový endpoint, na který se dá ptát SPARQLem.

OK, vidím posun. LKOD na SPARQL Endpointe som aktualizoval na správny URL odkaz.
Má to byť: https://statdatatest.statistics.sk/rdf4j-server/repositories/SUSR

Keď sa pozriem do pipelines, vidím tam testovacích 10 datasetov:

Druhá vec je, že metadáta týchto datasetov sú chybné, a je ich potrebné opraviť. Urobím ich analýzu, a prepošlem to na dodávateľa.

[miroslavliska]

Po analýze dát v LKODe, na testovaciom datasete boli nájdené tieto chyby:
Testovací dataset:
https://statdatatest.statistics.sk/api/dc/opendata/cube/dataset/00000001-0000-0000-0000-000000000010
a jeho vlastnosti:

• hodnota vlastnosti dct:description nemôže byť pomlčka. Keď ho nemáte, tak použite rovnaký text ako názov datasetu.
• vlastnosť dcat:Distribution musí začínať na malé d, tj. dcat:distribution
• nesprávny typ datasetu. Hodnota musí byť použitá odtiaľto: https://wiki.vicepremier.gov.sk/pages/viewpage.action?pageId=82023334
• namiesto vlastnosti dq:structure je potrebné použiť dct:conformsTo, viď https://htmlpreview.github.io/?https://github.com/slovak-egov/centralny-model-udajov/blob/develop/tbox/national/dcat-ap-sk/index.html#dataset-%C5%A1pecifik%C3%A1cia
• dct:spatial musí mať hodnotu URI, a to Slovensko https://data.gov.sk/id/nuts1/SK0
• chýba povinná vlastnosť periodicita: https://htmlpreview.github.io/?https://github.com/slovak-egov/centralny-model-udajov/blob/develop/tbox/national/dcat-ap-sk/index.html#dataset-periodicita-aktualiz%C3%A1cie

Čo sa týka správnosti údajov distribúcie horeuvedeného datasetu,

tu sú niektoré chyby:

• chýba špecifikácia podmienok použitia: https://htmlpreview.github.io/?https://github.com/slovak-egov/centralny-model-udajov/blob/develop/tbox/national/dcat-ap-sk/index.html#%C5%A1pecifik%C3%A1cia-podmienok-pou%C5%BEitia
• distribúcia sa nedá stiahnúť. Ani vlastnosť dcat:downloadURL, ani dcat:accessURL neobsahuje taký link, že po jeho zadaní sa mi rovno stiahne dataset! Ak chcete evidovať aj linku na dataset, kde sa zobrazí detail datasetu vo vašom portáli, to je vlastnosť datasetu dcat:landingPage, viď https://htmlpreview.github.io/?https://github.com/slovak-egov/centralny-model-udajov/blob/develop/tbox/national/dcat-ap-sk/index.html#dataset-webov%C3%A1-str%C3%A1nka

Uvedený zoznam chýb je len prvotný. Tu je presne ako má vyzerať dataset ktorý nie je HVD
https://htmlpreview.github.io/?https://github.com/slovak-egov/centralny-model-udajov/blob/develop/tbox/national/dcat-ap-sk/index.html#rozhranie-dcat-ap-dataset

a tu zas ktorý HVD je:
https://htmlpreview.github.io/?https://github.com/slovak-egov/centralny-model-udajov/blob/develop/tbox/national/dcat-ap-sk/index.html#rozhranie-dcat-ap-dataset-hvd

Prosíme o zapracovanie uvedených zmien.