From aa3fc8af26dcf3a46b7a31367f982b2ad2241411 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=C3=98yvind=20Bruer-Skarsb=C3=B8?= Date: Mon, 30 Oct 2023 15:03:10 +0100 Subject: [PATCH] Added faq --- dapla-manual/_quarto.yml | 3 + dapla-manual/faq.css | 20 ++++++ dapla-manual/faq.qmd | 10 +++ dapla-manual/statistikkere/kildomaten.ipynb | 69 +++++++++++++-------- 4 files changed, 77 insertions(+), 25 deletions(-) create mode 100644 dapla-manual/faq.css create mode 100644 dapla-manual/faq.qmd diff --git a/dapla-manual/_quarto.yml b/dapla-manual/_quarto.yml index 199defb4..59a1e453 100644 --- a/dapla-manual/_quarto.yml +++ b/dapla-manual/_quarto.yml @@ -47,6 +47,9 @@ website: - text: Kundeservice icon: send-fill href: https://ssb.pureservice.com/#/new/7 + - text: FAQ + icon: question-circle-fill + href: faq.qmd right: - text: "Logg inn" icon: person-circle diff --git a/dapla-manual/faq.css b/dapla-manual/faq.css new file mode 100644 index 00000000..aab6cdb7 --- /dev/null +++ b/dapla-manual/faq.css @@ -0,0 +1,20 @@ +#TOC ul { + padding-left: 0.5rem; + } + + #TOC ul li { + padding-bottom: 0.5rem; + } + + #TOC ul li a { + text-decoration: none; + } + + #toc-title, + .toc-actions { + display: none; + } + + .comparison ul { + padding-left: 1.1em; + } \ No newline at end of file diff --git a/dapla-manual/faq.qmd b/dapla-manual/faq.qmd new file mode 100644 index 00000000..625b6d75 --- /dev/null +++ b/dapla-manual/faq.qmd @@ -0,0 +1,10 @@ +--- +title: "Spørsmål og svar" +toc-location: body +css: faq.css +--- + + +### Hvordan løser jeg feilmeldinger knyttet til at **data rate exceeded** i Jupyter? + +Johnny skriver en forklaring. \ No newline at end of file diff --git a/dapla-manual/statistikkere/kildomaten.ipynb b/dapla-manual/statistikkere/kildomaten.ipynb index 1af9bf13..db700b74 100644 --- a/dapla-manual/statistikkere/kildomaten.ipynb +++ b/dapla-manual/statistikkere/kildomaten.ipynb @@ -16,7 +16,7 @@ "source": [ "# Kildomaten\n", "\n", - "*Kildomaten* er tjeneste som er tilgjenglig for alle Dapla-team. Den lar **data-admins** automatisere prosesseringen av **kildedata** til **inndata**. Det skjer ved brukeren skriver et python-skript som skal prosessere alle filer som kommer inn i en gitt mappe i kildedata-bøtta. Brukeren bestemmer selv hvilken mappe tjenesten skal trigge på.\n", + "*Kildomaten* er tjeneste som er tilgjenglig for alle Dapla-team. Den lar **data-admins** automatisere prosesseringen fra **kildedata** til **inndata**. Det skjer ved brukeren skriver et python-skript som skal prosessere alle filer som kommer inn i en gitt mappe i kildedata-bøtta. Brukeren bestemmer selv hvilken undermappe i bøtta som tjenesten skal trigge på.\n", "\n", "Prosessering som skal skje i overgangen fra kildedata til inndata har SSB definert som:\n", "\n", @@ -29,57 +29,76 @@ "- **Standardisering**: \n", "Tegnsett, datoformat, etc. endres til SSBs standardformat.\n", "\n", + "Under forklarer vi nærmere hvordan man bruker tjenesten. \n", + "\n", "## Forberedelser\n", "\n", "Før et Dapla-team kan ta i bruk *Kildomaten* må man koble teamets GitHub-IaC-repo til kildeprosjektet [slik som beskrevet her](./github-app-integrasjon.html). Det er en engangsjobb som må gjøre av teamets **data-admin**.\n", "\n", "## Sette opp tjenesten\n", "\n", - "I denne delen bryter vi ned prosessen med å sette *kildomaten* i de stegene vi mener det er hensiktsmessig å gjøre det når den settes opp for første gang.\n", + "I denne delen bryter vi ned prosessen med å sette opp *kildomaten* i de stegene vi mener det er hensiktsmessig å gjøre det når den settes opp for første gang.\n", "\n", - "### Forbered IaC-repoet\n", + "### Klone IaC-repoet\n", "\n", - "For å sette opp tjenesten for en kilde må teamet legge inn to filer i teamets IaC-repo^[*Infrastructure-as-Code (IaC)*-repoet til hvert Dapla-team holder koden som ruller ut ressursene til teamet på SSB sin GCP-organisasjon. Les mer om IaC-repoer her.].:\n", + "Siden vi skal endre på teamets IaC-repo så må vi først klone ned repoet. Man finner teamets IaC-repo ved gå inn på [SSBs GitHub-organisasjon](https://github.com/statisticsnorway) og søke etter repoet som heter `-iac`. Når du har funnet repoet så kan du gjøre følgende:\n", "\n", - "1. Et python-skript prosesserer filene.\n", + "1. Klon ned ditt teams Iac-repo `git clone `\n", + "2. Opprett en ny branch: `git checkout -b add-kildomaten-source`\n", "\n", - "2. En konfigurasjonsfil som angir hvilken mappe skriptet skal trigges på. \n", + "### Opprett mappestruktur\n", "\n", - "Man finner teamets IaC-repo ved gå inn på [SSBs GitHub-organisasjon](https://github.com/statisticsnorway) og søke etter repoet som heter `-iac`. Det gjøres på følgende måte:\n", + "For at *Kildomaten* skal fungere så må vi følge en bestemt mappestruktur i IaC-repoet. Denne strukturen er nødvendig for at tjenesten skal vite hvor den skal hente kildedata fra, og hvor den skal legge inndata. Denne strukturen blir ikke laget ved opprettelsen av teamet, siden ikke alle team kommer til å bruke tjenesten. Vi kan derfor starte med å opprette denne strukturen. Den skal se slik ut:\n", "\n", - "1. Klon ned ditt teams Iac-repo.\n", - "2. Opprett en ny branch som f.eks. heter `add-source`.\n", + "```{.yaml filename=\"github.com/statisticsnorway/-iac\"}\n", + "dapla-example-iac\n", + "├── automation/\n", + "│ └── source_data/\n", + "│ ├── prod/\n", + "│ │ \n", + "│ └── test/\n", + "│... \n", + "```\n", "\n", - "::: {.grid}\n", + "Husk at du kun skal opprette mappen som heter `automation` og dets undermapper. Resten av mappene skal allerede være opprettet og du skal ikke endre de.\n", "\n", - "::: {.g-col-4}\n", - "3. Opprett en mappe som heter `automation` i rotmappen til IaC-repoet, med tilhørende undermapper slik som vist i mappestrukren til høyre.\n", + "### Velg trigger-mappe\n", "\n", - ":::\n", + "Siden tjenesten kan trigges på filer som skrives til undermapper i en bøtte, og ulike undermapper kan trigge ulike python-skript, så er det viktig å tenke gjennom hvordan man organiserer filer i bøtta. \n", "\n", - "::: {.g-col-8}\n", + ":::: {.columns}\n", "\n", - "```{.yaml filename=\"github.com/statisticsnorway/dapla-example-iac\"}\n", + "::: {.column width=\"47%\"}\n", + "```{.yaml filename=\"bøtte\"}\n", "dapla-example-iac\n", - "├── automation\n", - "│ └── source_data\n", - "│ ├── prod\n", + "├── automation/\n", + "│ └── source_data/\n", + "│ ├── prod/\n", "│ │ \n", - "│ └── test\n", - "│ \n", + "│ └── test/\n", + "│... \n", "```\n", - "\n", - ":::\n", - "\n", ":::\n", "\n", + "::: {.column width=\"6%\"}\n", "\n", + ":::\n", "\n", - "Som vist i mappestrukturen over så kan man sette opp *kildomaten* i både test- og prod-miljøet på Dapla. I de neste stegene så følger du instruksene for det miljøet du ønsker å sette opp tjenesten for. I eksemplet under setter vi det opp for prod-miljøet, og derfor opererer vi `automation/source_data/prod/`-mappen. \n", + "::: {.column width=\"47%\"}\n", "\n", - "4. \n", + "```{.yaml filename=\"repo\"}\n", + "dapla-example-iac\n", + "├── automation/\n", + "│ └── source_data/\n", + "│ ├── prod/\n", + "│ │ \n", + "│ └── test/\n", + "│... \n", + "```\n", + ":::\n", "\n", "\n", + "::::\n", "\n", "## Vedlikehold\n", "\n",