Skip to content

Video to Text Translation + VTT Subtitle Generation + WebService

License

Notifications You must be signed in to change notification settings

clusterzx/pr0lator

Repository files navigation

pr0lator - Intro

GitHub last commit CodeFactor Grade Scrutinizer code quality (GitHub/Bitbucket) MIT License

Beschreibung

pr0lator ist ein Nutzer-Bot für ein deutsches Imageboard. Er wurde entwickelt um Videos in anderen Sprachen ins Englische zu übersetzen. Er kann auf Kommentare reagieren in denen er markiert/getagged wurde.

Wurde pr0lator erwähnt nimmt er sich die Daten zu dem dazugehörigen Post, prüft ob es sich um ein Video handelt und übersetzt gesprochene Sprache ins Englische.

Die Technik hinter dem übersetzen basiert auf dem von OpenAI erstellten ASR Model "Whisper". Hierbei handelt es sich um ein Custom Model mit SRT Conversion.

Hat pr0lator nun erfolgreich das Video übersetzt, postet er einen Antwortkommentar an den Tagger/Nutzer mit einem Link zum Webservice in dem sich das konvertierte Video anschauen lässt.

Ansicht des Webservices: Dashboard

Installation

Folgende Abhängigkeiten werden vorausgesetzt:

Für den Bot:

  1. NodeJS (>= 18.6.6)
  2. NPM

Für den Converter:

  1. Python (>= 3.10)
  2. ffmpeg
  3. torch
  4. whisper_timestamped
  5. OpenAI

Für den Webservice:

  1. NodeJS (>= 18.6.6)

Einfach die Dependencies installieren und los gehts.

Thanks to

holzmaster (node-pr0gramm-api ❤️) https://github.com/holzmaster/node-pr0gramm-api

FFmpeg https://ffmpeg.org/

OpenAI (für so vieles und noch mehr ❤️) https://openai.com/

About

Video to Text Translation + VTT Subtitle Generation + WebService

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published