Skip to content

Commit

Permalink
Merge pull request #6 from statisticsnorway/desc-transfer-service
Browse files Browse the repository at this point in the history
Added faq
  • Loading branch information
skars82 authored Oct 30, 2023
2 parents 13c0f6f + aa3fc8a commit 24ae8e7
Show file tree
Hide file tree
Showing 4 changed files with 77 additions and 25 deletions.
3 changes: 3 additions & 0 deletions dapla-manual/_quarto.yml
Original file line number Diff line number Diff line change
Expand Up @@ -47,6 +47,9 @@ website:
- text: Kundeservice
icon: send-fill
href: https://ssb.pureservice.com/#/new/7
- text: FAQ
icon: question-circle-fill
href: faq.qmd
right:
- text: "Logg inn"
icon: person-circle
Expand Down
20 changes: 20 additions & 0 deletions dapla-manual/faq.css
Original file line number Diff line number Diff line change
@@ -0,0 +1,20 @@
#TOC ul {
padding-left: 0.5rem;
}

#TOC ul li {
padding-bottom: 0.5rem;
}

#TOC ul li a {
text-decoration: none;
}

#toc-title,
.toc-actions {
display: none;
}

.comparison ul {
padding-left: 1.1em;
}
10 changes: 10 additions & 0 deletions dapla-manual/faq.qmd
Original file line number Diff line number Diff line change
@@ -0,0 +1,10 @@
---
title: "Spørsmål og svar"
toc-location: body
css: faq.css
---


### Hvordan løser jeg feilmeldinger knyttet til at **data rate exceeded** i Jupyter?

Johnny skriver en forklaring.
69 changes: 44 additions & 25 deletions dapla-manual/statistikkere/kildomaten.ipynb
Original file line number Diff line number Diff line change
Expand Up @@ -16,7 +16,7 @@
"source": [
"# Kildomaten\n",
"\n",
"*Kildomaten* er tjeneste som er tilgjenglig for alle Dapla-team. Den lar **data-admins** automatisere prosesseringen av **kildedata** til **inndata**. Det skjer ved brukeren skriver et python-skript som skal prosessere alle filer som kommer inn i en gitt mappe i kildedata-bøtta. Brukeren bestemmer selv hvilken mappe tjenesten skal trigge på.\n",
"*Kildomaten* er tjeneste som er tilgjenglig for alle Dapla-team. Den lar **data-admins** automatisere prosesseringen fra **kildedata** til **inndata**. Det skjer ved brukeren skriver et python-skript som skal prosessere alle filer som kommer inn i en gitt mappe i kildedata-bøtta. Brukeren bestemmer selv hvilken undermappe i bøtta som tjenesten skal trigge på.\n",
"\n",
"Prosessering som skal skje i overgangen fra kildedata til inndata har SSB definert som:\n",
"\n",
Expand All @@ -29,57 +29,76 @@
"- **Standardisering**: \n",
"Tegnsett, datoformat, etc. endres til SSBs standardformat.\n",
"\n",
"Under forklarer vi nærmere hvordan man bruker tjenesten. \n",
"\n",
"## Forberedelser\n",
"\n",
"Før et Dapla-team kan ta i bruk *Kildomaten* må man koble teamets GitHub-IaC-repo til kildeprosjektet [slik som beskrevet her](./github-app-integrasjon.html). Det er en engangsjobb som må gjøre av teamets **data-admin**.\n",
"\n",
"## Sette opp tjenesten\n",
"\n",
"I denne delen bryter vi ned prosessen med å sette *kildomaten* i de stegene vi mener det er hensiktsmessig å gjøre det når den settes opp for første gang.\n",
"I denne delen bryter vi ned prosessen med å sette opp *kildomaten* i de stegene vi mener det er hensiktsmessig å gjøre det når den settes opp for første gang.\n",
"\n",
"### Forbered IaC-repoet\n",
"### Klone IaC-repoet\n",
"\n",
"For å sette opp tjenesten for en kildeteamet legge inn to filer i teamets IaC-repo^[*Infrastructure-as-Code (IaC)*-repoet til hvert Dapla-team holder koden som ruller ut ressursene til teamet på SSB sin GCP-organisasjon. Les mer om IaC-repoer her.].:\n",
"Siden vi skal endre på teamets IaC-repo såvi først klone ned repoet. Man finner teamets IaC-repo ved gå inn på [SSBs GitHub-organisasjon](https://github.com/statisticsnorway) og søke etter repoet som heter `<teamnavn>-iac`. Når du har funnet repoet så kan du gjøre følgende:\n",
"\n",
"1. Et python-skript prosesserer filene.\n",
"1. Klon ned ditt teams Iac-repo `git clone <repo-url>`\n",
"2. Opprett en ny branch: `git checkout -b add-kildomaten-source`\n",
"\n",
"2. En konfigurasjonsfil som angir hvilken mappe skriptet skal trigges på. \n",
"### Opprett mappestruktur\n",
"\n",
"Man finner teamets IaC-repo ved gå inn på [SSBs GitHub-organisasjon](https://github.com/statisticsnorway) og søke etter repoet som heter `<teamnavn>-iac`. Det gjøres på følgende måte:\n",
"For at *Kildomaten* skal fungere så må vi følge en bestemt mappestruktur i IaC-repoet. Denne strukturen er nødvendig for at tjenesten skal vite hvor den skal hente kildedata fra, og hvor den skal legge inndata. Denne strukturen blir ikke laget ved opprettelsen av teamet, siden ikke alle team kommer til å bruke tjenesten. Vi kan derfor starte med å opprette denne strukturen. Den skal se slik ut:\n",
"\n",
"1. Klon ned ditt teams Iac-repo.\n",
"2. Opprett en ny branch som f.eks. heter `add-source`.\n",
"```{.yaml filename=\"github.com/statisticsnorway/<teamnavn>-iac\"}\n",
"dapla-example-iac\n",
"├── automation/\n",
"│ └── source_data/\n",
"│ ├── prod/\n",
"│ │ \n",
"│ └── test/\n",
"│... \n",
"```\n",
"\n",
"::: {.grid}\n",
"Husk at du kun skal opprette mappen som heter `automation` og dets undermapper. Resten av mappene skal allerede være opprettet og du skal ikke endre de.\n",
"\n",
"::: {.g-col-4}\n",
"3. Opprett en mappe som heter `automation` i rotmappen til IaC-repoet, med tilhørende undermapper slik som vist i mappestrukren til høyre.\n",
"### Velg trigger-mappe\n",
"\n",
":::\n",
"Siden tjenesten kan trigges på filer som skrives til undermapper i en bøtte, og ulike undermapper kan trigge ulike python-skript, så er det viktig å tenke gjennom hvordan man organiserer filer i bøtta. \n",
"\n",
"::: {.g-col-8}\n",
":::: {.columns}\n",
"\n",
"```{.yaml filename=\"github.com/statisticsnorway/dapla-example-iac\"}\n",
"::: {.column width=\"47%\"}\n",
"```{.yaml filename=\"bøtte\"}\n",
"dapla-example-iac\n",
"├── automation\n",
"│ └── source_data\n",
"│ ├── prod\n",
"├── automation/\n",
"│ └── source_data/\n",
"│ ├── prod/\n",
"│ │ \n",
"│ └── test\n",
"\n",
"│ └── test/\n",
"... \n",
"```\n",
"\n",
":::\n",
"\n",
":::\n",
"\n",
"::: {.column width=\"6%\"}\n",
"\n",
":::\n",
"\n",
"Som vist i mappestrukturen over så kan man sette opp *kildomaten* i både test- og prod-miljøet på Dapla. I de neste stegene så følger du instruksene for det miljøet du ønsker å sette opp tjenesten for. I eksemplet under setter vi det opp for prod-miljøet, og derfor opererer vi `automation/source_data/prod/`-mappen. \n",
"::: {.column width=\"47%\"}\n",
"\n",
"4. \n",
"```{.yaml filename=\"repo\"}\n",
"dapla-example-iac\n",
"├── automation/\n",
"│ └── source_data/\n",
"│ ├── prod/\n",
"│ │ \n",
"│ └── test/\n",
"│... \n",
"```\n",
":::\n",
"\n",
"\n",
"::::\n",
"\n",
"## Vedlikehold\n",
"\n",
Expand Down

0 comments on commit 24ae8e7

Please sign in to comment.