Skip to content

Latest commit

 

History

History
279 lines (237 loc) · 37.1 KB

README_DE.md

File metadata and controls

279 lines (237 loc) · 37.1 KB
Raw

Bild

Comfyui_llm_party beabsichtigt, basierend auf comfyui, einer äußerst minimalistischen Benutzeroberfläche, eine vollständige Bibliothek von Knoten für den Aufbau von LLM-Workflows zu entwickeln. Dies ermöglicht es den Benutzern, ihre eigenen LLM-Workflows schneller und einfacher zu erstellen und diese nahtlos in ihre Bild-Workflows zu integrieren.

Effektpräsentation

EN.mp4

Projektübersicht

ComfyUI LLM Party bietet Ihnen von den grundlegendsten LLM-Multitoolaufrufen und der schnellen Einrichtung Ihres eigenen AI-Assistenten bis hin zu branchenspezifischen Lösungen wie Wortvektor-RAG und GraphRAG zur lokalen Verwaltung von Wissensdatenbanken eine umfassende Palette. Von einfachen Agenten-Pipelines bis hin zu komplexen Interaktionsmodellen zwischen Agenten, wie radialen und zirkulären Interaktionen; von den Anforderungen individueller Nutzer, ihre sozialen Apps (QQ, Feishu, Discord) anzubinden, bis hin zu den Bedürfnissen von Streamern nach einem One-Stop-LLM+TTS+ComfyUI-Workflow; von den einfachen Einstiegsmöglichkeiten für gewöhnliche Studierende bis zu den verschiedenen Parametereinstellungs-Interfaces, die von Forschenden häufig genutzt werden, und der Modellanpassung – all dies finden Sie in der ComfyUI LLM Party.

Schnellstart

  1. Ziehen Sie die folgenden Workflows in Ihr comfyui und verwenden Sie dann comfyui-Manager, um die fehlenden Knoten zu installieren.
  1. Wenn Sie die API verwenden, füllen Sie im API LLM-Ladeknoten Ihre base_url (es kann eine Relay-API sein, stellen Sie sicher, dass sie mit /v1/ endet) und api_key aus. Beispiel: https://api.openai.com/v1/
  2. Wenn Sie ollama verwenden, aktivieren Sie die Option is_ollama im API LLM-Ladeknoten, ohne base_url und api_key auszufüllen.
  3. Wenn Sie ein lokales Modell verwenden, geben Sie im lokalen Modell-Ladeknoten Ihren Modellpfad ein, z.B.: E:\model\Llama-3.2-1B-Instruct. Sie können auch die Huggingface Modell-Repo-ID im lokalen Modell-Ladeknoten eingeben, z.B.: lllyasviel/omost-llama-3-8b-4bits.
  4. Aufgrund der hohen Nutzungsschwelle dieses Projekts hoffe ich, dass Sie sich die Zeit nehmen, die Projektseite gründlich zu lesen, auch wenn Sie den Schnellstart gewählt haben.

Neueste Updates

  1. Ich habe chatgpt-on-wechat geforkt und ein neues Repository party-on-wechat erstellt. Die Installations- und Verwendungsmethoden sind identisch mit dem Originalprojekt, keine Konfiguration ist erforderlich, Sie müssen nur das FastAPI von party starten. Standardmäßig wird der wx_api-Arbeitsablauf aufgerufen und es wird eine Bildausgabe unterstützt. Es wird nach und nach aktualisiert, um eine reibungslose Nutzung von party in WeChat sicherzustellen.
  2. Ein In-Context-LoRA-Maskennode wurde hinzugefügt, der zur Generierung konsistenter In-Context-LoRA-Hinweise verwendet wird.
  3. Wir haben eine Frontend-Komponente hinzugefügt, deren Funktionen von links nach rechts angeordnet sind:
  • Speichert Ihren API-Schlüssel und die Base URL in der Datei config.ini. Wenn Sie die Funktion fix node auf dem API-LLM-Lader-Knoten verwenden, liest er den geänderten API-Schlüssel und die Base URL automatisch aus der Datei config.ini.
  • Startet einen FastAPI-Dienst, der zum Aufrufen Ihrer ComfyUI-Arbeitsabläufe verwendet werden kann. Wenn Sie ihn direkt ausführen, erhalten Sie eine OpenAI-Schnittstelle unter http://127.0.0.1:8817/v1/. Sie müssen den Anfang und das Ende Ihres Arbeitsablaufs mit den Knoten 'Arbeitsablauf Starten' und 'Arbeitsablauf Beenden' verbinden und dann im API-Format im Ordner workflow_api speichern. Dann geben Sie in einem anderen Frontend, das die OpenAI-Schnittstelle aufrufen kann, model name=<Ihr Ablaufname ohne .json-Erweiterung>, Base URL=http://127.0.0.1:8817/v1/ ein, und der API-Schlüssel kann beliebig ausgefüllt werden.
  • Startet eine Streamlit-Anwendung; der Speicherprozess für den Arbeitsablauf ist wie oben beschrieben. Sie können Ihren gespeicherten Arbeitsablauf in den 'Einstellungen' der Streamlit-Anwendung auswählen und mit Ihrem Arbeitsablauf-Agenten im 'Chat' interagieren.
  • 'Über uns', welches dieses Projekt vorstellt.
  1. Der automatische Modellnamen-Listen-Knoten wurde entfernt und durch einen einfachen API-LLM-Ladeknoten ersetzt, der automatisch die Liste der Modellnamen aus der Konfiguration in Ihrer config.ini-Datei abruft. Sie müssen nur einen Namen auswählen, um das Modell zu laden. Außerdem wurden die einfachen LLM-Loader-, LLM-GGUF-Loader-, VLM-Loader-, VLM-GGUF-Loader- und LLM-Lora-Loader-Knoten aktualisiert. Sie lesen alle automatisch die Modellpfade aus dem Model-Ordner im Party-Ordner, was das Laden verschiedener lokaler Modelle erleichtert.
  2. LLMs können jetzt lora wie SD und FLUX dynamisch laden. Sie können mehrere loras verketten, um mehr loras auf denselben LLM zu laden. Beispiel-Workflow: start_with_LLM_LORA.
  3. Das Tool searxng wurde hinzugefügt, das Suchvorgänge im gesamten Web aggregieren kann. Perplexica basiert ebenfalls auf diesem aggregierten Suchtool, was bedeutet, dass Sie auf einer Party ein Perplexica einrichten können. Sie können das öffentliche Image searxng/searxng in Docker bereitstellen, dann den Befehl docker run -d -p 8080:8080 searxng/searxng verwenden, um es zu starten, und dann http://localhost:8080 verwenden, um darauf zuzugreifen. Sie können die URL http://localhost:8080 in das searxng-Tool in party eingeben, und dann kann searxng als Tool für LLM verwendet werden.
  4. Großes Update!!! Jetzt können Sie jeden ComfyUI-Workflow in einen LLM-Toolknoten kapseln. Sie können Ihren LLM gleichzeitig mehrere ComfyUI-Workflows steuern lassen. Wenn Sie möchten, dass er einige Aufgaben erledigt, kann er basierend auf Ihrem Prompt den entsprechenden ComfyUI-Workflow auswählen, Ihre Aufgabe erledigen und Ihnen das Ergebnis zurückgeben. Beispiel-Workflow: comfyui_workflows_tool. Die spezifischen Schritte sind wie folgt:
    • Verbinden Sie zunächst die Texteingabeschnittstelle des Workflows, den Sie als Tool kapseln möchten, mit dem "user_prompt"-Ausgang des "Workflow starten"-Knotens. Dies ist der Ort, an dem der Prompt übergeben wird, wenn das LLM das Tool aufruft.
    • Verbinden Sie die Stellen, an denen Sie Text und Bilder ausgeben möchten, mit den entsprechenden Eingangspositionen des "Workflow beenden"-Knotens.
    • Speichern Sie diesen Workflow als API (Sie müssen den Entwicklermodus in den Einstellungen aktivieren, um diese Schaltfläche zu sehen).
    • Speichern Sie diesen Workflow im Ordner workflow_api dieses Projekts.
    • Starten Sie ComfyUI neu und erstellen Sie einen einfachen LLM-Workflow, z.B.: start_with_LLM_api.
    • Fügen Sie diesem LLM-Knoten einen "Workflow-Tool"-Knoten hinzu und verbinden Sie ihn mit dem Tool-Eingang des LLM-Knotens.
    • Schreiben Sie im "Workflow-Tool"-Knoten den Namen der Workflow-Datei, die Sie aufrufen möchten, in das erste Eingabefeld, z.B.: draw.json. Sie können mehrere Workflow-Dateinamen schreiben. Schreiben Sie im zweiten Eingabefeld die Funktion jedes Workflows, damit das LLM versteht, wie diese Workflows verwendet werden.
    • Führen Sie es aus, um zu sehen, wie das LLM Ihren gekapselten Workflow aufruft und Ihnen das Ergebnis zurückgibt. Wenn das Ergebnis ein Bild ist, verbinden Sie den "Bildvorschau"-Knoten mit dem Bildausgang des LLM-Knotens, um das generierte Bild anzuzeigen. Achtung! Diese Methode ruft ein neues ComfyUI auf Ihrem Port 8190 auf, bitte belegen Sie diesen Port nicht. Auf Windows- und Mac-Systemen wird ein neues Terminal geöffnet, bitte schließen Sie es nicht. Das Linux-System verwendet den screen-Prozess, um dies zu erreichen. Wenn Sie es nicht benötigen, schließen Sie diesen screen-Prozess, andernfalls wird Ihr Port immer belegt.

workflow_tool

Gebrauchsanweisung

  1. Bitte beziehen Sie sich auf die Anweisungen zur Verwendung der Knoten: 怎么使用节点

  2. Bei Problemen mit dem Plugin oder anderen Fragen freuen wir uns über Ihren Beitritt zur QQ-Gruppe: 931057213 | discord：discord.

  3. Für das Workflow-Tutorial siehe bitte: Workflow-Tutorial. Vielen Dank an HuangYuChuh für seinen Beitrag!

  4. Konto für fortgeschrittene Workflow-Anwendungen: openart

  5. Weitere Workflows finden Sie im Ordner workflow.

Video-Tutorials

octocat octocat

Modellunterstützung

  1. Unterstützung aller API-Aufrufe im OpenAI-Format (in Kombination mit oneapi können nahezu alle LLM-APIs aufgerufen werden, ebenso alle Transfer-APIs). Die Auswahl der base_url erfolgt nach config.ini.example. Bisher getestete Modelle sind:
  1. Unterstützung von API-Aufrufen im Gemini-Format:
  1. Kompatibel mit den meisten lokalen Modellen in der Transformer-Bibliothek (der Modelltyp auf dem lokalen LLM-Modellkettenknoten wurde in LLM, VLM-GGUF und LLM-GGUF geändert, was dem direkten Laden von LLM-Modellen, dem Laden von VLM-Modellen und dem Laden von LLM-Modellen im GGUF-Format entspricht). Wenn Ihr VLM- oder GGUF-Format-LLM-Modell einen Fehler meldet, laden Sie bitte die neueste Version von llama-cpp-python von llama-cpp-python herunter. Derzeit getestete Modelle umfassen:
  1. Modells download:

Download

Verwenden Sie eine der folgenden Methoden zur Installation

Methode eins:

  1. Suchen Sie im ComfyUI-Manager nach comfyui_LLM_party und installieren Sie es mit einem Klick.
  2. Starten Sie ComfyUI neu.

Methode zwei:

  1. Navigieren Sie zum Unterordner custom_nodes im Hauptordner von ComfyUI.
  2. Klonen Sie dieses Repository: git clone https://github.com/heshengtao/comfyui_LLM_party.git

Methode drei:

  1. Klicken Sie oben rechts auf CODE.
  2. Klicken Sie auf download zip.
  3. Entpacken Sie das heruntergeladene Zip-Archiv in den Unterordner custom_nodes des Hauptordners von ComfyUI.

Umgebungsbereitstellung

  1. Navigieren Sie zum Projektordner von comfyui_LLM_party.
  2. Geben Sie im Terminal pip install -r requirements.txt ein, um die benötigten Drittanbieterbibliotheken in der ComfyUI-Umgebung zu installieren. Bitte beachten Sie, ob Sie in der ComfyUI-Umgebung installieren, und achten Sie auf pip-Fehlermeldungen im Terminal.
  3. Wenn Sie den ComfyUI-Launcher verwenden, müssen Sie im Terminal Pfad im Launcher-Konfigurationsdatei\python_embeded\python.exe -m pip install -r requirements.txt eingeben, um die Installation durchzuführen. Der Ordner python_embeded befindet sich in der Regel auf derselben Ebene wie Ihr ComfyUI-Ordner.
  4. Wenn Sie auf einige Umgebungsprobleme stoßen, können Sie versuchen, die Abhängigkeiten aus requirements_fixed.txt zu verwenden.

Konfiguration

  • Die Sprache kann in der Datei config.ini konfiguriert werden, derzeit sind nur Chinesisch (zh_CN) und Englisch (en_US) verfügbar, standardmäßig wird die Sprache deines Systems verwendet.
  • Du kannst eine der folgenden Methoden verwenden, um den APIKEY zu konfigurieren.

Methode Eins:

  1. Öffne die Datei config.ini im Projektordner von comfyui_LLM_party.
  2. Gib in der config.ini deinen openai_api_key und base_url ein.
  3. Wenn du das Ollama-Modell verwendest, trage in base_url http://127.0.0.1:11434/v1/ ein, in openai_api_key schreibe ollama und in model_name gib deinen Modellnamen ein, z. B.: llama3.
  4. Wenn du Google Search oder Bing Search Tools verwenden möchtest, gib in der config.ini deinen google_api_key, cse_id oder bing_api_key ein.
  5. Wenn du Bildeingaben für LLM verwenden möchtest, wird empfohlen, den Bilddienst imgBB zu nutzen. Trage in der config.ini deinen imgbb_api ein.
  6. Jedes Modell kann in der Datei config.ini separat konfiguriert werden. Du kannst die Datei config.ini.example als Referenz verwenden. Nachdem du alles konfiguriert hast, musst du nur noch model_name im Knoten eingeben.

Methode Zwei:

  1. Öffne die Benutzeroberfläche von ComfyUI.
  2. Erstelle einen neuen LLM-Knoten und gib direkt in den Knoten deinen openai_api_key und base_url ein.
  3. Wenn du das Ollama-Modell verwendest, benutze den LLM_api-Knoten, trage in base_url http://127.0.0.1:11434/v1/ ein, in api_key schreibe ollama und in model_name gib deinen Modellnamen ein, z. B.: llama3.
  4. Wenn du Bildeingaben für LLM verwenden möchtest, wird empfohlen, den Bilddienst imgBB zu nutzen. Gib in dem Knoten deinen imgbb_api_key ein.

Änderungsprotokoll

  1. Sie können im ComfyUI-Interface mit der rechten Maustaste klicken und im Kontextmenü llm auswählen, um den Knoten dieses Projekts zu finden. Wie man Knoten verwendet

  2. Unterstützung für API-Integration oder lokale große Modelle. Modularer Ansatz zur Implementierung der Funktion zur Werkzeuganwendung. Bitte geben Sie beim Ausfüllen von base_url eine URL ein, die mit /v1/ endet. Sie können ollama verwenden, um Ihre Modelle zu verwalten, und dann in base_url http://127.0.0.1:11434/v1/ eingeben, in api_key geben Sie ollama ein und in model_name den Namen Ihres Modells, z. B.: llama3.

  3. Integration eines lokalen Wissensspeichers, Unterstützung für RAG. Beispiel-Workflow: Wissensspeicher_RAG_Suche.json

  4. Möglichkeit zur Nutzung eines Code-Interpreters

  5. Möglichkeit zur Online-Abfrage, Unterstützung für Google-Suche. Beispiel-Workflow: Filmabfrage-Workflow

  6. Möglichkeit, Bedingungen im ComfyUI zu implementieren, um Benutzerfragen zu kategorisieren und gezielt zu beantworten. Beispiel-Workflow: Intelligent Kundenservice

  7. Unterstützung von Rückkopplungslinks zwischen großen Modellen, um Debatten zwischen zwei großen Modellen zu ermöglichen. Beispiel-Workflow: Trolley-Problem-Debatte

  8. Unterstützung für die Anpassung beliebiger Persönlichkeitsmasken, mit der Möglichkeit, Vorlagen für Eingabeaufforderungen zu erstellen.

  9. Unterstützung für eine Vielzahl von Werkzeuganwendungen, einschließlich Wetterabfrage, Zeitabfrage, Wissensspeicher, Codeausführung, Online-Suche und gezielte Suche auf einer einzelnen Webseite.

  10. Unterstützung der Nutzung von LLM als Werkzeugknoten. Beispiel-Workflow: LLM-verschachtelung

  11. Unterstützung für die schnelle Entwicklung eigener Webanwendungen über API+streamlit.

  12. Einführung eines gefährlichen universellen Interpreternodes, der es großen Modellen ermöglicht, beliebige Aufgaben zu erledigen.

  13. Es wird empfohlen, den Knoten "show_text" im Funktionsunterverzeichnis des Kontextmenüs zu verwenden, um die Ausgabe des LLM-Knotens anzuzeigen.

  14. Unterstützung der visuellen Funktionen von GPT-4O! Beispiel-Workflow: GPT-4o

  15. Ein neuer Workflow-Transmitter wurde hinzugefügt, der es ermöglicht, andere Workflows innerhalb Ihres Workflows aufzurufen! Beispiel-Workflow: Aufruf eines anderen Workflows

  16. Anpassung an alle Modelle mit ähnlichen OpenAI-Schnittstellen, wie z.B.: Tongyi Qianwen/qwen, Zhiyu Qingyan/GLM, Deepseek, Kimi/Moonshot. Bitte fügen Sie die base_url, api_key und model_name dieser Modelle in den LLM-Knoten ein, um sie aufzurufen.

  17. Ein LVM-Loader wurde hinzugefügt, der es ermöglicht, LVM-Modelle lokal aufzurufen. Unterstützt wird das Modell llava-llama-3-8b-v1_1-gguf; andere LVM-Modelle im GGUF-Format sollten theoretisch ebenfalls funktionieren. Beispiel-Workflow finden Sie hier: start_with_LVM.json.

  18. Eine Datei fastapi.py wurde erstellt. Wenn Sie sie direkt ausführen, erhalten Sie eine OpenAI-Schnittstelle unter http://127.0.0.1:8817/v1/, sodass jede Anwendung, die GPT aufrufen kann, Ihr ComfyUI-Workflow nutzen kann! Eine detaillierte Anleitung zur Vorgehensweise wird in einem kommenden Tutorial bereitgestellt.

  19. Der LLM-Loader und die LLM-Kette wurden getrennt, sodass das Laden des Modells und die Modellspezifikation voneinander getrennt sind. Dadurch kann das Modell zwischen verschiedenen LLM-Knoten geteilt werden!

  20. Unterstützung für macOS und MPS-Geräte wurde bereits implementiert! Vielen Dank an bigcat88 für diesen Beitrag!

  21. Es ist nun möglich, ein eigenes interaktives Erzählspiel zu erstellen, das je nach Benutzerwahl zu unterschiedlichen Enden führt! Beispiel-Workflow: Interaktive Erzählung

  22. Anpassung an die Whisper- und TTS-Funktionen von OpenAI, die Sprachinput und -output ermöglichen. Beispiel-Workflow: Sprachinput + Sprachausgabe

  23. Kompatibel mit Omost!!! Bitte laden Sie omost-llama-3-8b-4bits herunter und erleben Sie es sofort! Beispiel-Workflow: start_with_OMOST

  24. Hinzugefügt wurden LLM-Tools zum Senden von Nachrichten an WeChat, DingTalk und Feishu sowie externe Funktionen, die aufgerufen werden können.

  25. Ein Text-Iterator wurde hinzugefügt, der jeweils nur einen Teil der Zeichen ausgibt. Dieser teilt den Text sicher anhand des Zeilenumbruchs und der Chunk-Größe, ohne ihn in der Mitte zu zerschneiden. chunk_overlap gibt an, wie viele Zeichen der geteilte Text überlappt. Dadurch können extrem lange Texte in großen Mengen eingegeben werden; man muss nur bedenkenlos klicken oder die Schleifen-Ausführung in ComfyUI aktivieren, um die Ausführung automatisch abzuschließen. Vergessen Sie nicht, die is_locked-Eigenschaft zu aktivieren, damit der Workflow am Ende der Eingabe automatisch gesperrt wird und nicht weiter ausgeführt wird. Beispiel-Workflow: Text-Iterations-Eingabe

  26. Im lokalen LLM-Loader und im lokalen llava-Loader wurde das Attribut model name hinzugefügt. Ist es leer, wird der lokale Pfad aus dem Knoten verwendet. Ist es nicht leer, wird der von Ihnen in config.ini angegebene Pfad verwendet. Ist es nicht leer und nicht in config.ini, wird das Modell von Hugging Face heruntergeladen oder aus dem Hugging Face-Modellspeicherverzeichnis geladen. Wenn Sie ein Modell von Hugging Face herunterladen möchten, füllen Sie das Attribut model name im Format THUDM/glm-4-9b-chat aus. Hinweis! Modelle, die auf diese Weise geladen werden, müssen mit der Transformer-Bibliothek kompatibel sein.

  27. Es wurden Knoten zum Parsen von JSON-Dateien und zum Abrufen von JSON-Werten hinzugefügt, mit denen Sie den Wert eines bestimmten Schlüssels aus einer Datei oder einem Text abrufen können. Vielen Dank an guobalove für den Beitrag!

  28. Der Code für den Aufruf von Werkzeugen wurde verbessert, sodass jetzt auch LLMs ohne die Funktion des Werkzeugaufrufs das Attribut is_tools_in_sys_prompt aktivieren können (lokale LLMs müssen standardmäßig nicht aktiviert werden und passen sich automatisch an). Nach der Aktivierung werden die Informationen zu den Werkzeugen in die Systemaufforderung aufgenommen, sodass das LLM auf die Werkzeuge zugreifen kann. Relevante Arbeiten zur Funktionsweise: Achieving Tool Calling Functionality in LLMs Using Only Prompt Engineering Without Fine-Tuning

  29. Ein neues Verzeichnis namens custom_tool wurde erstellt, um den Code benutzerdefinierter Werkzeuge zu speichern. Sie können den Code im Verzeichnis custom_tool als Referenz verwenden und Ihren benutzerdefinierten Werkzeugcode in das custom_tool-Verzeichnis einfügen, um ihn im LLM aufzurufen.

  30. Ein neues Werkzeug für Wissensgraphen wurde hinzugefügt, das eine perfekte Interaktion zwischen dem LLM und dem Wissensgraphen ermöglicht. Das LLM kann den Wissensgraphen basierend auf Ihren Eingaben ändern und aus dem Wissensgraphen ableiten, um die benötigten Antworten zu erhalten. Beispiel-Workflow: graphRAG_neo4j

  31. Eine Funktion für Persönlichkeits-AI wurde hinzugefügt, mit der Sie Ihre eigene Freundinnen- oder Freund-AI ohne Programmierkenntnisse entwickeln können. Unbegrenzte Gespräche, dauerhaftes Gedächtnis und stabile Charakterdarstellung sind möglich. Beispiel-Workflow: 麦洛薇人格AI

  32. Mit diesem LLM-Werkzeuggenerator können Sie automatisch LLM-Werkzeuge erstellen. Speichern Sie den generierten Werkzeugcode in einer Python-Datei und kopieren Sie den Code in das custom_tool-Verzeichnis, um einen neuen Knoten zu schaffen. Beispiel-Workflow: LLM工具生成器.

  33. Die Unterstützung für die DuckDuckGo-Suche wurde hinzugefügt, jedoch mit erheblichen Einschränkungen; es scheint, dass nur englische Schlüsselwörter eingegeben werden können und diese Schlüsselwörter nicht mehrere Konzepte enthalten dürfen. Der Vorteil liegt darin, dass es keine Einschränkungen durch API-Schlüssel gibt.

  34. Es wurde die Funktionalität zur getrennten Abfrage mehrerer Wissensdatenbanken unterstützt, sodass in der Eingabeaufforderung klar angegeben werden kann, welche Wissensdatenbank zur Beantwortung von Fragen verwendet wird. Beispiel-Workflow: 多知识库分别调用.

  35. Es wird unterstützt, dass das LLM zusätzliche Parameter wie json out und andere erweiterte Parameter erhält. Beispiel-Workflow: LLM输入额外参数. 用json_out分离提示词.

  36. Neue Funktion zur Anbindung des Agenten an Discord hinzugefügt. (Noch in der Testphase)

  37. Neue Funktion zur Anbindung des Agenten an Feishu hinzugefügt. Ein herzlicher Dank gilt guobalove für seinen Beitrag! Siehe Arbeitsablauf Feishu Bot.

  38. Neuer universeller API-Aufrufknoten sowie zahlreiche Hilfsknoten hinzugefügt, die zur Konstruktion von Anfragekörpern und zum Abrufen von Informationen aus den Antworten dienen.

  39. Neuer Knoten zum Leeren des Modells hinzugefügt, der es ermöglicht, das LLM an beliebiger Stelle aus dem Grafikspeicher zu entladen!

  40. Der Knoten chatTTS wurde hinzugefügt, ein herzlicher Dank gilt guobalove für seinen Beitrag! Der Parameter model_path kann leer sein! Es wird empfohlen, das Modell im HF-Modus zu laden, das Modell wird automatisch von Hugging Face heruntergeladen, eine manuelle Download ist nicht erforderlich; bei Verwendung des local-Loads bitte die Ordner asset und config des Modells ins Stammverzeichnis legen. Baidu Cloud Adresse, Entschlüsselungscode: qyhu; bei Verwendung des custom-Modus bitte die Ordner asset und config des Modells unter model_path ablegen.

  41. Aktualisierte eine Reihe von Konvertierungsknoten: markdown zu HTML, svg zu Bild, HTML zu Bild, mermaid zu Bild, markdown zu Excel.

  42. Kompatibel mit dem llama3.2 vision Modell, unterstützt mehrstufige Dialoge, visuelle Funktionen. Modelladresse: meta-llama/Llama-3.2-11B-Vision-Instruct. Beispiel-Workflow: llama3.2_vision.

  43. Angepasstes GOT-OCR2, unterstützt formatierte Ausgaberesultate, unterstützt die feine Texterkennung mit Positionsboxen und Farben. Modelladresse: GOT-OCR2. Beispiel-Workflow konvertiert einen Screenshot einer Webseite in HTML-Code und öffnet dann den Browser, um diese Webseite anzuzeigen: img2web.

  44. Die lokalen LLM-Ladernoden wurden erheblich angepasst, sodass Sie den Modelltyp nicht mehr selbst auswählen müssen. Der llava-Ladernoden und der GGUF-Ladernoden wurden erneut hinzugefügt. Der Modelltyp auf dem lokalen LLM-Modellkettenknoten wurde in LLM, VLM-GGUF und LLM-GGUF geändert, was dem direkten Laden von LLM-Modellen, dem Laden von VLM-Modellen und dem Laden von LLM-Modellen im GGUF-Format entspricht. VLM-Modelle und LLM-Modelle im GGUF-Format werden jetzt wieder unterstützt. Lokale Aufrufe können jetzt mit mehr Modellen kompatibel sein! Beispiel-Workflows: LLM_local, llava, GGUF

  45. EasyOCR-Knoten hinzugefügt, um Text und Positionen in Bildern zu erkennen. Es kann entsprechende Masken erstellen und eine JSON-Zeichenfolge zur Ansicht für LLM zurückgeben. Es gibt Standard- und Premium-Versionen zur Auswahl!

  46. Auf der comfyui LLM-Party wurde das Erdbeersystem des chatgpt-o1-Serienmodells reproduziert, unter Bezugnahme auf die Eingabeaufforderungen von Llamaberry. Beispiel-Workflow: Erdbeersystem im Vergleich zu o1.

  47. Ein neuer GPT-sovits-Knoten wurde hinzugefügt, der es Ihnen ermöglicht, das GPT-sovits-Modell aufzurufen, um Text basierend auf Ihrem Referenzaudio in Sprache umzuwandeln. Sie können auch den Pfad Ihres feinabgestimmten Modells angeben (wenn nicht angegeben, wird das Basismodell für die Inferenz verwendet), um jede gewünschte Stimme zu erhalten. Um es zu verwenden, müssen Sie das GPT-sovits-Projekt und das entsprechende Basismodell lokal herunterladen und dann den API-Dienst mit runtime\python.exe api_v2.py im GPT-sovits-Projektordner starten. Außerdem wurde der chatTTS-Knoten nach comfyui LLM mafia verschoben. Der Grund dafür ist, dass chatTTS viele Abhängigkeiten hat und seine Lizenz auf PyPi CC BY-NC 4.0 ist, was eine nicht-kommerzielle Lizenz ist. Obwohl das chatTTS-GitHub-Projekt unter der AGPL-Lizenz steht, haben wir den chatTTS-Knoten zu comfyui LLM mafia verschoben, um unnötige Probleme zu vermeiden. Wir hoffen, dass jeder das versteht!

  48. Unterstützt jetzt das neueste Modell von OpenAI, die o1-Serie!

  49. Ein lokales Dateikontrollwerkzeug hinzugefügt, das es dem LLM ermöglicht, Dateien im angegebenen Ordner zu steuern, z. B. lesen, schreiben, anhängen, löschen, umbenennen, verschieben und kopieren.Aufgrund der potenziellen Gefahr dieses Knotens ist er in comfyui LLM mafia enthalten.

  50. Neue SQL-Tools ermöglichen es LLM, SQL-Datenbanken abzufragen.

  51. Die mehrsprachige Version der README wurde aktualisiert. Workflow zum Übersetzen des README-Dokuments: translate_readme

  52. Es wurden vier Iterator-Knoten aktualisiert (Text-Iterator, Bild-Iterator, Tabellen-Iterator, JSON-Iterator). Die Iterator-Modi umfassen: sequenziell, zufällig und unendlich. Sequenziell gibt die Werte der Reihe nach aus, bis die Indexgrenze überschritten wird, woraufhin der Prozess automatisch gestoppt und der Indexwert auf 0 zurückgesetzt wird. Zufällig wählt einen beliebigen Index aus, während unendlich eine endlose Schleife von Ausgaben erzeugt.

  53. Ein neuer Gemini API-Loader-Knoten wurde hinzugefügt, der jetzt mit der offiziellen Gemini-API kompatibel ist! Sollten Sie sich in einem nationalen Netzwerkumfeld befinden und Probleme mit der regionalen Einschränkung der API auftreten, wechseln Sie bitte den Knoten auf die USA und verwenden Sie den TUN-Modus. Da es bei der Verwendung von Gemini zu einem Fehlercode 500 kommt, wenn die zurückgegebenen Parameter chinesische Zeichen enthalten, sind einige Werkzeugknoten möglicherweise nicht verfügbar. Beispiel-Workflow: start_with_gemini

  54. Ein neuer Lore Book-Knoten wurde hinzugefügt, um bei der Interaktion mit dem LLM Ihre Hintergrundgeschichte einzufügen. Beispiel-Workflow: lorebook

  55. Ein neuer FLUX-Prompt-Generator-Maskenknoten wurde hinzugefügt, der Prompts in verschiedenen Stilen wie Hearthstone-Karten, Yu-Gi-Oh-Karten, Plakate und Comics generieren kann, um das FLUX-Modell direkt zu nutzen. Referenz-Workflow: FLUX提示词

Nächste Schritte:

  1. Mehr Modellanpassungen;
  2. Mehr Möglichkeiten zum Aufbau von Agenten;
  3. Mehr Automatisierungsfunktionen;
  4. Mehr Funktionen zur Verwaltung von Wissensdatenbanken;
  5. Mehr Werkzeuge, mehr Personas.

Haftungsausschluss:

Dieses Open-Source-Projekt und seine Inhalte (im Folgenden „Projekt“) dienen nur zu Informationszwecken und bedeuten keine ausdrückliche oder stillschweigende Garantie. Die Projektbeitragsleistenden übernehmen keine Verantwortung für die Vollständigkeit, Genauigkeit, Zuverlässigkeit oder Anwendbarkeit des Projekts. Jegliche Handlungen, die auf den Inhalten des Projekts basieren, erfolgen auf eigenes Risiko. Unter keinen Umständen haften die Projektbeitragsleistenden für indirekte, spezielle oder zufällige Verluste oder Schäden, die aus der Nutzung der Inhalte des Projekts resultieren.

Besonderer Dank

octocat octocat octocat octocat

Entlehnungen

Einige Knoten in diesem Projekt basieren auf den folgenden Projekten. Wir danken ihnen für ihren Beitrag zur Open-Source-Community!

  1. pythongosssss/ComfyUI-Custom-Scripts
  2. lllyasviel/Omost

Unterstützung:

Treten Sie der Gemeinschaft bei

Wenn es Probleme mit dem Plugin gibt oder Sie andere Fragen haben, sind Sie herzlich eingeladen, unserer Gemeinschaft beizutreten.

  1. QQ-Gruppe: 931057213

  1. WeChat-Gruppe: Choo-Yong (Fügen Sie den kleinen Assistenten zu WeChat hinzu, um der Gruppe beizutreten)

  2. Discord:discord链接

Folgen Sie uns

  1. Wenn Sie die neuesten Funktionen dieses Projekts kontinuierlich verfolgen möchten, heißen wir Sie herzlich willkommen, unseren Bilibili-Account zu abonnieren: 派对主持BB机
  2. Der OpenArt-Account wird kontinuierlich die nützlichsten Party-Workflows aktualisieren: openart

Unterstützung durch Spenden

Wenn meine Arbeit Ihnen einen Mehrwert bietet, ziehen Sie bitte in Betracht, mir einen Kaffee auszugeben! Ihre Unterstützung belebt nicht nur das Projekt, sondern erwärmt auch das Herz der Kreatoren.☕💖 Jede Tasse zählt!

Sternenverlauf

Star History Chart