Skip to content

Commit

Permalink
Merge pull request #15 from statisticsnorway/modify-team-page
Browse files Browse the repository at this point in the history
Added new content to chapter about Dapla-teams
  • Loading branch information
skars82 authored Dec 17, 2023
2 parents 4253007 + d2dac6b commit 9c3c86a
Show file tree
Hide file tree
Showing 9 changed files with 229 additions and 173 deletions.
2 changes: 1 addition & 1 deletion dapla-manual/_quarto.yml
Original file line number Diff line number Diff line change
Expand Up @@ -78,7 +78,7 @@ website:
- href: statistikkere/hurtigstart.qmd
- section: statistikkere/dapla-team-overview.qmd
contents:
- statistikkere/hva-er-dapla-team.qmd
- statistikkere/hva-er-dapla-team.ipynb
- statistikkere/administrasjon-av-team.qmd
- statistikkere/features.qmd
- section: statistikkere/datalagring-overview.qmd
Expand Down
Binary file added dapla-manual/images/dapla-team-cropped.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added dapla-manual/images/dapla-team.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
File renamed without changes
File renamed without changes
3 changes: 2 additions & 1 deletion dapla-manual/statistikkere/features.qmd
Original file line number Diff line number Diff line change
Expand Up @@ -65,7 +65,8 @@ projects:

![Sjekker av PR-er i teamets IaC-repo.](../images/atlantis-pr-approved.png){ fig-alt="Bilde av testene som Atlantis gjør i en PR mot et IaC-repo i SSB." #fig-atlantis-pr-approved }

7. Når den er godkjent så skriver du `atlantis apply` i kommentarfeltet til PR-en. Da vil endringen bli gjennomført i GCP.
7. Når PR er godkjent av en kollega, og `atlantis plan` ikke viser noen feilmeldinger, så kan du effektuere endringene ved å `atlantis apply` i kommentarfeltet til PR-en. Kommentareren vil trigge en kjøring som effektuerer alle endringer på plattformen.

8. Etter at `atlantis apply` er kjørt, så kan du merge inn branchen til *main*.
9. Til slutt kan du slette branchen.

Expand Down
200 changes: 148 additions & 52 deletions dapla-manual/statistikkere/hva-er-dapla-team.ipynb

Large diffs are not rendered by default.

115 changes: 0 additions & 115 deletions dapla-manual/statistikkere/hva-er-dapla-team.qmd

This file was deleted.

82 changes: 78 additions & 4 deletions dapla-manual/statistikkere/transfer-service.ipynb
Original file line number Diff line number Diff line change
Expand Up @@ -118,7 +118,7 @@
},
{
"cell_type": "code",
"execution_count": 1,
"execution_count": 2,
"metadata": {},
"outputs": [],
"source": [
Expand All @@ -145,7 +145,7 @@
"}\n",
"\n",
"with Diagram(\n",
" \"\", show=False, filename=\"ts-kilde\", graph_attr={}, direction=\"TB\"\n",
" \"\", show=False, filename=\"../images/ts-kilde\", graph_attr={}, direction=\"TB\"\n",
"):\n",
" with Cluster(\"DAPLA\", graph_attr={\"fontsize\": \"20\"}):\n",
" Blank(\"\")\n",
Expand Down Expand Up @@ -190,7 +190,7 @@
"from PIL import Image\n",
"\n",
"# Open the image\n",
"img = Image.open(\"ts-kilde.png\")\n",
"img = Image.open(\"../images/ts-kilde.png\")\n",
"\n",
"# Define the coordinates for the cropping box\n",
"# The box is defined as (left, upper, right, lower)\n",
Expand All @@ -204,7 +204,81 @@
"cropped_img = img.crop(cropping_box)\n",
"\n",
"# Save the cropped image\n",
"cropped_img.save(\"ts-kilde-cropped.png\")"
"cropped_img.save(\"../images/ts-kilde-cropped.png\")"
]
},
{
"attachments": {},
"cell_type": "markdown",
"metadata": {},
"source": [
"### Prodsonen og Dapla\n",
"\n",
"Overføring mellom bakke og sky er en overføring av data mellom en bøtte på Dapla og en mappe i prodsonen. Siden tilgangsstyring til kildedata er strengere enn tilgangsstyring til annen data, så er det det to litt fremgangsmåter for å sette opp overføringsjobber for disse. \n",
"\n",
"Siden stegene er litt forskjellig avhengig av om man skal flytte kildedata eller annen data, så deler vi denne delen i to. @fig-ts-bakke-sky viser hvordan dette er satt opp. Kildeprosjektet på Dapla har en **synk-opp**-bøtte for å flytting av data fra prodsonen til Dapla, og den har en **synk-ned**-bøtte for å flytte data fra Dapla til prodsonen. Standardprosjektet på Dapla har også en **synk-opp**-bøtte for å flytte data fra prodsonen til Dapla, og den har en **synk-ned**-bøtte for å flytte data fra Dapla til prodsonen.\n",
"\n",
"![Overføring av data mellom prodsonen og Dapla.](../images/ts-kilde-cropped.png){fig-alt=\"Diagram av mapper i prodsonen og bøtter på Dapla, og hvordan overføringene kan skje mellom de.\" #fig-ts-bakke-sky}\n",
"\n",
"Videre viser vi hvordan man overfører fra Dapla til prodsonen. Overføring motsatt vei innebærer bare at man bytter om på **Source type** og **Destination type**. \n",
"\n",
"6. I fanen **Get started** velger du:\n",
" - Source type: **Google Cloud Storage**\n",
" - Destination type: **POSIX filesystem**\n",
"7. I fanen **Choose a source** trykker du på **Browse**, velger hvilken bøtte eller \"*undermappe*\" i en bøtte du skal overføre fra, og trykker **Select**^[Når du skal velge en undermappe i en bøtte så er grensesnittet litt lite intuitivt. Du kan ikke trykke på navnet, men du på trykke på {{< fa greater-than >}}-tegnet for å se undermappene.].\n",
"8. I fanen **Choose a destination** velger du **transfer_service_default** under **Agent pool**. Under **Destination directory path** velger du hvilken undermappe av som filen skal overføres til. Tjenesten vet allerede om du er i kilde- eller standardprosjektet, så du trenger kun å skrive inn `frasky/` eller `tilsky/` her, og evt. undermappenavn hvis det er aktuelt (f.eks. `frasky/data/`^[Når du skal synkronisere fra Dapla til en undermappe i prodsonen, så må mappen i prodsonen allerede eksisterere. Hvis den ikke gjør det vil jobben feile. Ved synkronsiering fra prodsonen til Dapla trenger ikke undermappen eksistere, siden bøtter egentlig ikke har undermapper og filstien fra prodsonen bare blir til filnavnet i bøtta.]). Trykk **Next step**.\n",
"9. I fanen **Choose when to run job** velger du hvor ofte og hvordan jobber skal kjøre. @tbl-ts-frekvens viser hvilke valg du kan ta. Trykk **Next step**. \n",
"\n",
"| Valg | Frekvens |\n",
"| ------------------------- | ------------------------------------------- |\n",
"| Run once | Engangoverføringer |\n",
"| Run every day | Synkroniser hver dag |\n",
"| Run every week | Synkroniser hver uke |\n",
"| Run with custom frequency | Synkroniser inntill hver time |\n",
"| Run on demand | Synkroniserer når du manuelt trigger jobben |\n",
": Valg under *Choose when to run job* {#tbl-ts-frekvens}\n",
"\n",
"10. I fanen **Choose settings** kan du velge hvordan detaljer knyttet til overføringen skal håndteres. @tbl-ts-settings viser hvilke valg du kan ta.\n",
"\n",
"| Valg | Undervalg | Handling |\n",
"| --------------------------------------------- | ----------------- | ------------------------------------ |\n",
"| Identify your job | | Beskriv jobben kort. |\n",
"| Manifest file | | Ikke relevant. Bruk default valg. |\n",
"| Choose how to handle your data | Metatdata options | Ikke relevant. Bruk default valg. |\n",
"| | When to overwrite | Tenk nøye gjennom hva du velger her. |\n",
"| | When to delete | Tenk nøye gjennom hva du velger her. |\n",
"| Choose how to keep track of transfer progress | Logging options | Skru på logging. |\n",
": Valg under *Choose settings* {#tbl-ts-settings}\n",
"\n",
"Valgene **When to overwrite** og **When to delete** er det viktig at tenkes nøye gjennom, spesielt ved automatiske synkroniseringer. **When to overwrite** er spesielt siden det kan føre til data blir overskrevet eller tapt. \n",
"\n",
"11. Trykk på den blå **Create**-knappen for å opprette overføringsjobben. Du vil kunne se kjørende jobber under menyen `Transfer jobs`.\n",
"\n",
"\n",
"#### Mappestrukturen i prodsonen\n",
"\n",
"Mappestrukturen for overføringer med Transfer Service mellom bakke og sky har en fast struktur som er likt for alle team. Hvis du logger deg inn i terminalen på en av Linux-serverne i prodsonen, åpner du mappen ved å skrive `cd /ssb/cloud_sync`. Under denne mappen finner du en mappe for hvert team som har aktivert Transfer Service. Hvis et team for eksempel heter **dapla-example** så vil det være en mappe som heter `dapla-example-p`. Her kan teamet hente og levere data som skal synkroniseres mellom bakke og sky. Videre er det undermapper for kilde- og standardprosjektet til teamet. Det er kun **data-admins** som har tilgang til kildeprosjektet, og det er kun **developers** som har tilgang til standardprosjektet. Under finner du en oversikt over hvordan mappene ser ut for et team som heter **dapla-example**. \n",
"\n",
"\n",
"```{.yaml filename=\"/ssb/cloud_sync/dapla-example-p/\"}\n",
"dapla-example-p\n",
"\n",
"├── kilde\n",
"│ │\n",
"│ │── tilsky\n",
"│ │\n",
"│ └── frasky\n",
"\n",
"└── standard\n",
"\n",
" │── tilsky\n",
"\n",
" └── frasky\n",
"```\n",
"\n",
"### Bøtte til bøtte\n",
"\n",
"Overføring mellom bøtter er en overføring av data mellom to bøtter på Dapla. Fremgangsmåten er helt likt som beskrevet tidligere, men at du nå velger **Google Cloud Storage** som både kilde og destinasjon. Igjen er vi avhengig av at systembrukeren som utfører jobben har tilgang til begge bøttene som er involvert i overføringen. Default er at et team kan overføre mellom bøtter i kildeprosjektet, og at de kan overføre mellom bøtter i standardprosjektet, men aldri mellom de to. Hvis du ønsker å overføre mellom bøtter i ditt prosjekt og et annet teams prosjekt, så må du be det andre teamet om å gi din systembruker tilgang til dette."
]
},
{
Expand Down

0 comments on commit 9c3c86a

Please sign in to comment.