Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[TECH] Réécriture du database builder pour accélérer les seeds #11428

Merged
merged 2 commits into from
Feb 18, 2025

Conversation

nlepage
Copy link
Member

@nlepage nlepage commented Feb 14, 2025

🥞 Problème

Le database builder fait les insertions une par une, ce n’est pas optimal.

🥓 Proposition

Faire des insertions par batchs.

🧃 Remarques

On ne peut pas utiliser knex.batchInsert car celui-ci ne fonctionne pas quand des fakeTimers sinon sont utilisés.

😋 Pour tester

Faire un npm run db:reload ou bien time npm run db:reload pour voir la différence.

Vérifier que la RA est bien seedée.

@nlepage nlepage added 👀 Tech Review Needed cross-team Toutes les équipes de dev labels Feb 14, 2025
@nlepage nlepage self-assigned this Feb 14, 2025
@pix-bot-github
Copy link

Une fois les applications déployées, elles seront accessibles via les liens suivants :

Les variables d'environnement seront accessibles via les liens suivants :

@nlepage nlepage marked this pull request as draft February 14, 2025 17:26
@nlepage nlepage force-pushed the tech-speed-up-seeds branch from 390fc45 to 4fac1a8 Compare February 14, 2025 17:40
@nlepage nlepage marked this pull request as ready for review February 14, 2025 17:41
@nlepage nlepage force-pushed the tech-speed-up-seeds branch 6 times, most recently from dbcd524 to b473eac Compare February 17, 2025 14:38
Copy link
Contributor

@theotime2005 theotime2005 left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

On gagne 4s!

@laura-bergoens laura-bergoens changed the title [TECH] Récriture du database builder pour accélérer les seeds [TECH] Réécriture du database builder pour accélérer les seeds Feb 17, 2025
@nlepage
Copy link
Member Author

nlepage commented Feb 18, 2025

On gagne 4s!

Chez moi c’est beaucoup plus 😅
Même avec des seeds réduites je passe de 24s à 13s...
Avec les seeds par défaut je passe de 48s à 25s.

Je dédie cette PR à tous les utilisateurs de puces Intel.

@fael-b
Copy link
Contributor

fael-b commented Feb 18, 2025

Je passe de 11 secondes à 11 secondes 🥰🎉

@HEYGUL
Copy link
Contributor

HEYGUL commented Feb 18, 2025

Avant

npm run db:reload  14,31s user 1,29s system 46% cpu 33,297 total

Après

npm run db:reload  12,32s user 0,42s system 78% cpu 16,176 total

Alors certes on ne gagne que 2 secondes (sur une puce M3) mais on voit qu'on utilise le CPU de manière plus optimale, et c'est mieux pour tout le monde :-)

@nlepage
Copy link
Member Author

nlepage commented Feb 18, 2025

Un jour j’aurai de l’ARM 😢

@pix-service-auto-merge pix-service-auto-merge merged commit 5f36561 into dev Feb 18, 2025
8 of 11 checks passed
@pix-service-auto-merge pix-service-auto-merge deleted the tech-speed-up-seeds branch February 18, 2025 09:36
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

Successfully merging this pull request may close these issues.

7 participants