Build API-Json Fetcher (first manual)

[wellemut]

Userstory

As Platformadmin I want to regularly pull updates of other plattforms automatically via their APIs without having to manually download their json file, convert it to csv, match their json fiels to our csv colums and finally upload it to FairSync.

Solution

• 1. Alle Einträge von wechange/Gemeinschaftswerk holen. (via REST-API als Json)

  • Gemeinschaftswerk Nachhaltigkeit: Import entries and updates #5
  • WECHANGE: Sync Spaces (Projects, Groups, Initiatives) openfairdb#88
  • Initialen fetch manuell starten
  • Dann Täglichen fetch von allen neuen Einträgen und von Änderungen bekannter Einträge (last edited datum prüfen) (Falls Täglich zu viele Ressourcen frisst, wäre es auch ausreichend, wenn neue Änderungen erst geholt werden, wenn man sich in die Plattform einloggt oder dort auf ein Button "Abgleich starten" klickt)

• 2. Auf das Format von fairSync bringen. Build a Mapper-Editor, where we can set easily the definitions of each attribute of the incomming api

  • we need to be able to translate categories from different colums into hashtags
  • we need to map several other fields into on field of our db
  • Das muss einmalig für jede API manuell definiert, welches welche Felder zueinander gehören, und wie unpassende Felder übersetzt und ggf. zusammengeführt werden. Datenbankfelder müssen in Hashtags übersetzt werden, dazu werden Übersetzungsdatein erstellt.
  • Die "Mapper" können alle in simplen config-Datein definiert werden. Ein visueller Editor, wie im Mai vorgeschlagen Project Goal FairSync #15 (comment), ist erstmal nicht nötig)

• 4. In FairSync alle neuen Einträge und Änderungen anzeigen, sodass Moderator mergen kann. (ähnlich, wie bisher csv-Datein angezeigt werden)

  • Bekannte Einträge, die beim letzten Mal einfach von A nach B importiert wurden, einfach wieder updaten, wenn es in A Änderungen gibt, in B aber zwischendurch nichts verändert wurde
  • Bekannte Einträge, die beim letzten Mal ignoriert wurden, auch wieder ignorieren
  • Dafür in die LogDatei schreiben, wenn Aggregate erstellt werden (also wenn ich ein Eintrag von A nach B kopiere, erstelle ich ja willentlich eine Duplette erstellt worden, was hier festgehalten werden muss. https://logs.fairsync.de/. Genauso muss dort festgehalten werden, wenn in B Bereits der Eintrag aus A existiert.)

• 5. Am Ende in kvm rein speichern (macht FairSync)

  • Zu klären: Braucht es ein FairSync eigenes Format oder ist das FairSync Format bereits das ofDB-Format?

• 7. Wöchentlich prüfen, ob es an bekannten Einträgen aktualisierungen gibt, und diese automatisch in kvm übernehmen?

Ressourcen

Prototype-Code of Mapper
https://codeberg.org/fairsync/importer-prototype

Übersetzung
Hier ein Beispiel einer Stichwort-Übersetzungsdatei für das Gemeinschaftswerk:

Docs

@qknight @flosse do I understand correctly, that the red container is to be build?

https://structurizr.com/share/98635

Task defined in call: #6 (comment)

Similar Issue:

• JSON to CSV converter #36

[wellemut]

April - Juni neue Mitarbeiter Reiner