Skip to content

Commit

Permalink
update readme file, csghub saas guide and release note
Browse files Browse the repository at this point in the history
  • Loading branch information
tianjiaopu authored and Rader committed Oct 23, 2024
1 parent 62367e5 commit b5ae26d
Show file tree
Hide file tree
Showing 8 changed files with 112 additions and 32 deletions.
32 changes: 26 additions & 6 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,12 +15,32 @@ Additionally, CSGHub features microservice submodules and standardized OpenAPIs

### Key Features

- **Unified Management of LLM Assets**: A one-stop Hub for unified management of model files, datasets, and large-scale model application codes.
- **Development Ecosystem Compatibility**: Supports both HTTPS and SSH protocols for Git commands and web interface operations, ensuring convenient usage for different users.
- **Large Model Capability Expansion**: Natively supports version management, model format conversion, automatic data processing, and dataset preview functions.
- **Permissions and Security**: Supports integration with corporate user systems, setting of asset visibility, and zero-trust authentication interface design for both external and internal users, maximizing security.
- **Support for Private Deployment**: Independent of internet and cloud vendors, enabling one-click initiation of private deployment.
- **Native Design for Large Models**: Supports natural language interaction, one-click model deployment, and asset management for Agent and Copilot App.
- **Unified Management of LLM Assets**:
Provides a one-stop management solution for models, datasets, and code, supporting storage, version control, modifications, and queries. Comprehensive prompt library management and optimization features enhance model performance. Supports uploading and downloading large files, along with online editing and preview on the Web, improving development and collaboration efficiency.

- **Flexible and Compatible Development Ecosystem**:
Supports both HTTPS and SSH protocols, enabling users to operate through Git commands or a web interface. The platform integrates popular SDKs such as Gradio and Streamlit, simplifying AI application development. It also offers one-click model inference and fine-tuning services with automatic environment optimization to ensure efficient deployment and operation.

- **Extended Capabilities for LLMs**:
Offers comprehensive version management, model format conversion, and automated data processing. Supports conversion tools for common data formats like CSV and JSON, and allows Web-based preview of Parquet datasets for quick data inspection.

- **Space and Asset Management Assistant (Copilot)**:
Users can demonstrate model capabilities, build prototypes, and manage applications flexibly through the Space. The Copilot assistant simplifies asset management and offers a private version to support on-premises deployment for enterprises.

- **Multi-Source Data Synchronization and Recommendation**:
Integrated with the OpenCSG community, allowing synchronization of community models and datasets. Provides personalized recommendations based on business scenarios, assisting enterprises in developing AI solutions tailored to their needs.

- **Comprehensive Permissions and Security Control**:
Supports integration with enterprise user systems, asset visibility settings, and internal-external interface authentication mechanisms. Ensures compliance through license verification and traceability, guaranteeing models adhere to legal requirements.

- **Support for On-Premises Deployment**:
Enables one-click on-premises deployment without relying on cloud services, ensuring enterprises retain full control and security over their data.

- **End-to-End Data Processing and Intelligent Annotation System**:
Provides customizable data processing pipelines for complex data cleaning and transformation tasks, leveraging parallel processing to accelerate workflows. Includes an intelligent annotation system, supporting multi-user collaboration and review to ensure data quality.

- **High Availability and Disaster Recovery Design**:
Adopts a high-availability architecture with load balancing and resource scheduling to ensure stability under high concurrency. Supports disaster recovery with redundant backups and snapshot technology, ensuring business continuity.

For further information, please see the [detailed introduction](./docs/detailed_intro_en.md) of CSGHub.

Expand Down
32 changes: 26 additions & 6 deletions README_jp.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,12 +15,32 @@ CSGHubは、大規模言語モデル(LLM)の資産管理のために設計

### 主な特徴

- **LLM資産の統合管理**:モデルファイル、データセット、大規模モデルアプリケーションコードを一元管理するハブ。
- **開発エコシステムとの互換性**:HTTPSおよびSSHプロトコルをサポートし、Gitコマンドやウェブ操作を円滑に行える。
- **大規模モデルの能力拡張**:バージョン管理、モデル形式変換、データ自動処理、データセットプレビュー機能をネイティブにサポート。
- **権限とセキュリティ**:企業ユーザーシステムとの統合、資産の可視性設定、内外部ユーザー向けのゼロトラスト認証インターフェースを提供し、最大限のセキュリティを確保。
- **プライベートデプロイのサポート**:インターネットやクラウドベンダーに依存せず、ワンクリックでプライベートデプロイを実行可能。
- **大規模モデルのネイティブ設計**:自然言語インタラクション、ワンクリックモデルデプロイ、AgentやCopilotアプリの資産管理をサポート。
- **大規模モデル資産の統合管理**
モデル、データセット、およびコードのワンストップ管理を提供し、保存、バージョン管理、変更、検索をサポートします。充実したプロンプトライブラリの管理と最適化機能がモデルの性能向上を支援します。超大容量ファイルのアップロードとダウンロードをサポートし、Web上でのオンライン編集とプレビューにより、開発と協業の効率を高めます。

- **柔軟で互換性のある開発エコシステム**
HTTPSおよびSSHプロトコルをサポートし、ユーザーがGitコマンドやWebインターフェースを通じて簡単に操作できるようにします。プラットフォームはGradioやStreamlitなどの人気SDKを統合し、AIアプリケーション開発を簡素化します。また、ワンクリックでモデルの推論と微調整サービスを提供し、環境を自動で最適化することで、効率的なデプロイと運用を実現します。

- **大規模モデルの能力拡張**
包括的なバージョン管理、モデル形式変換、そして自動データ処理をサポートします。CSV、JSONなどの一般的なデータ形式の変換ツールを提供し、Web上でParquet形式のデータセットをプレビューすることで、ユーザーが迅速にデータを確認できるようにします。

- **アプリケーションスペースと資産管理アシスタント(Copilot)**
ユーザーはアプリケーションスペースでモデルの能力を展示し、プロトタイプを構築し、柔軟に新規作成、削除、変更、検索が可能です。Copilotアシスタントは資産管理を簡素化し、企業のオンプレミス展開をサポートするプライベートバージョンも提供します。

- **マルチソースデータの同期と推薦**
OpenCSGコミュニティと統合し、コミュニティのモデルおよびデータセットの同期をサポートします。ビジネスシナリオに基づいた個別の推薦を提供し、企業が適切なAIソリューションを開発できるよう支援します。

- **包括的な権限とセキュリティ管理**
企業ユーザーシステムとの統合をサポートし、資産の可視性設定および内部・外部インターフェースの認証を提供します。ライセンス遵守の検証と追跡を通じて、モデルが法的要件を満たしていることを保証します。

- **オンプレミス展開のサポート**
クラウドサービスに依存せず、ワンクリックでのオンプレミス展開を実現し、企業がデータを完全に管理し、安全性を確保できるようにします。

- **エンドツーエンドのデータ処理とインテリジェントラベリングシステム**
カスタマイズ可能なデータ処理パイプラインを提供し、複雑なデータのクリーニングと変換をサポートします。並列処理により作業の速度を向上させ、インテリジェントラベリングシステムは多ユーザーの協力とレビューをサポートし、データ品質を保証します。

- **高可用性と災害復旧設計**
高可用性システムアーキテクチャを採用し、負荷分散とリソース調整を通じて高負荷状態でも安定性を確保します。冗長バックアップとスナップショット技術を使用した災害復旧をサポートし、ビジネスの継続性を保証します。

詳細については、CSGHubの[詳細紹介](./docs/detailed_intro_en.md)をご覧ください。

Expand Down
32 changes: 26 additions & 6 deletions README_kr.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,12 +15,32 @@ CSGHub는 대규모 언어 모델(LLM) 자산을 관리하기 위해 설계된

### 주요 기능

- **LLM 자산 통합 관리**: 모델 파일, 데이터셋, 대규모 모델 애플리케이션 코드를 통합 관리하는 원스톱 허브.
- **개발 에코시스템 호환성**: HTTPS와 SSH 프로토콜을 지원하여 다양한 사용자들이 Git 명령어와 웹 인터페이스를 편리하게 사용할 수 있습니다.
- **대규모 모델 기능 확장**: 버전 관리, 모델 형식 변환, 자동 데이터 처리, 데이터셋 미리보기 기능을 네이티브로 지원합니다.
- **권한 및 보안**: 기업 사용자 시스템과의 통합, 자산 가시성 설정, 외부 및 내부 사용자 모두를 위한 제로 트러스트 인증 인터페이스를 제공합니다.
- **프라이빗 배포 지원**: 인터넷과 클라우드 벤더에 의존하지 않고 원클릭으로 프라이빗 배포를 시작할 수 있습니다.
- **대규모 모델을 위한 네이티브 설계**: 자연어 인터랙션, 원클릭 모델 배포 및 Agent와 Copilot 앱의 자산 관리 기능을 지원합니다.
- **대규모 모델 자산 통합 관리**:
모델, 데이터셋 및 코드의 원스톱 관리를 제공하며, 저장, 버전 관리, 수정 및 조회를 지원합니다. 완성된 프롬프트 라이브러리 관리와 최적화 기능을 통해 모델 성능을 향상시킵니다. 대용량 파일의 업로드와 다운로드를 지원하며, Web 상에서의 온라인 편집 및 미리 보기를 통해 개발 협업 효율을 높입니다.

- **유연하고 호환 가능한 개발 생태계**:
HTTPS 및 SSH 프로토콜을 지원하여 사용자가 Git 명령이나 웹 인터페이스를 통해 편리하게 작업할 수 있습니다. Gradio와 Streamlit과 같은 인기 있는 SDK를 통합하여 AI 애플리케이션 개발을 단순화합니다. 또한, ****모델 추론 및 미세 조정 서비스를 원클릭****으로 제공하며, 자동으로 환경을 최적화하여 효율적인 배포와 운영을 보장합니다.

- **대규모 모델 기능 확장**:
포괄적인 버전 관리, 모델 형식 변환 및 자동 데이터 처리를 지원합니다. CSV와 JSON 같은 일반적인 데이터 형식을 위한 변환 도구를 제공하며, Parquet 형식 데이터셋을 Web에서 미리 보기하여 빠르게 데이터를 점검할 수 있습니다.

- **애플리케이션 공간 및 자산 관리 도우미(Copilot)**:
사용자는 애플리케이션 공간을 통해 모델 성능을 시연하고, 애플리케이션 프로토타입을 구축하며, 유연한 생성, 삭제, 수정 및 조회 작업을 수행할 수 있습니다. Copilot 도우미는 자산 관리를 간소화하며, 기업의 온프레미스 배포를 지원하는 프라이빗 버전도 제공합니다.

- **다중 소스 데이터 동기화 및 추천**:
OpenCSG 커뮤니티와 통합되어 커뮤니티 내 모델 및 데이터셋의 동기화를 지원합니다. 비즈니스 시나리오에 따라 개인화된 추천을 제공하여 기업이 적합한 AI 솔루션을 개발할 수 있도록 돕습니다.

- **포괄적인 권한 및 보안 관리**:
기업 사용자 시스템과의 통합을 지원하며, 자산의 가시성 설정과 내부·외부 인터페이스 인증을 제공합니다. 라이선스 준수 검사와 추적을 통해 모델이 법적 요구 사항을 충족하도록 보장합니다.

- **온프레미스 배포 지원**:
클라우드 서비스에 의존하지 않고 원클릭으로 온프레미스 배포를 가능하게 하여, 기업의 데이터 통제권과 보안을 보장합니다.

- **엔드투엔드 데이터 처리 및 지능형 라벨링 시스템**:
사용자 맞춤형 데이터 처리 파이프라인을 제공하여 복잡한 데이터 정제 및 변환을 지원하며, 병렬 처리를 통해 작업 속도를 향상시킵니다. 지능형 라벨링 시스템은 다중 사용자 협업과 검토를 지원하여 데이터 품질을 보장합니다.

- **고가용성과 재해 복구 설계**:
고가용성 시스템 아키텍처를 채택하여 부하 분산 및 자원 스케줄링을 지원함으로써 고부하 상황에서도 안정성을 보장합니다. 중복 백업 및 스냅샷 기술을 활용한 재해 복구를 통해 비즈니스 연속성을 보장합니다.

CSGHub에 대한 자세한 내용은 [상세 소개](./docs/detailed_intro_en.md)를 참조하세요.

Expand Down
32 changes: 26 additions & 6 deletions README_zh.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,12 +15,32 @@ CSGHub 是一个开源平台,专为管理大语言模型(LLM)资产而设

### 核心功能

- **统一管理大模型资产**:一站式管理模型文件、数据集和大模型应用代码。
- **开发生态系统兼容性**:支持 HTTPS 和 SSH 协议,方便用户通过 Git 命令或网页界面进行操作。
- **大模型能力扩展**:支持版本管理、模型格式转换、自动数据处理和数据集预览功能。
- **权限与安全**:支持与企业用户系统集成、支持资产可见范围设置、外内部接口鉴权设计,满足企业安全需求。
- **支持私有化部署**:无需依赖互联网和云厂商,一键启动私有部署。
- **面向大模型的原生设计**:支持自然语言交互、一键模型部署,以及 Agent 与 Copilot App 等资产管理。
- **统一管理大模型资产**
提供一站式模型、数据集和代码的管理,支持存储、版本控制、修改和查询。完善的提示词库管理和优化功能帮助提升模型性能。支持超大文件的上传与下载,以及 Web 端在线编辑和预览,提升开发协作效率。

- **灵活兼容的开发生态系统**
支持 HTTPS 和 SSH 协议,方便用户通过 Git 命令或网页界面进行操作。平台集成 Gradio 和 Streamlit 等热门 SDK,简化 AI 应用开发,并提供一键模型推理和微调服务,自动优化环境,确保高效部署和运行。

- **大模型能力扩展**
支持全面的版本管理、模型格式转换和自动数据处理,以及 CSV、JSON 等常见数据格式的转换工具,并在 Web 端预览 Parquet 格式数据集,方便用户快速检查数据。

- **应用空间与资产管理助手(Copilot)**
用户可通过应用空间展示模型能力,搭建应用原型,并进行灵活的增删改查操作。Copilot 助手简化资产管理,并提供私有化版本以支持企业本地部署。

- **多源数据同步与推荐**
与 OpenCSG 社区集成,支持同步社区中模型和数据集,并根据业务场景提供个性化推荐,助力企业开发适配场景的 AI 方案。

- **完善的权限与安全管控**
支持与企业用户系统集成、支持资产可见范围设置、外内部接口鉴权设计,并通过许可证合规性检查和溯源确保模型符合法律要求。

- **支持私有化部署**
无需依赖云服务即可一键实现私有化部署,保障企业数据的自主控制和安全。

- **一站式数据处理与智能标注系统**
提供可定制的数据处理 Pipeline,支持复杂数据清洗与转换,并利用并行处理加速任务。还具备智能标注系统,支持多用户协作和审核,确保数据质量。

- **高可用与灾难恢复设计**
采用高可用系统架构,支持负载均衡和资源调度,确保高并发下的稳定性。通过冗余备份和快照技术实现灾难恢复,保障业务连续性。

详细信息请参见 [CSGHub 详细介绍](./docs/detailed_intro_en.md)

Expand Down
4 changes: 2 additions & 2 deletions docs/csghub_saas_en.md
Original file line number Diff line number Diff line change
Expand Up @@ -71,13 +71,13 @@ After logging in to the platform, click on your avatar and you will see the `New
1. Download via **HTTP**:
```
git lfs install
git clone https://portal.opencsg.com/models/demo/test_model.git
git clone https://opencsg.com/models/demo/test_model.git
```
2. Download via **SSH**:
```
git lfs install
git clone [email protected]:models_demo/test_model.git
git clone [email protected]/models/demo/test_model.git
```
- **Download via SDK:**
Expand Down
4 changes: 2 additions & 2 deletions docs/csghub_saas_zh.md
Original file line number Diff line number Diff line change
Expand Up @@ -71,13 +71,13 @@
- 1. 您可以通过 **HTTP** 下载:
```
git lfs install
git clone https://portal.opencsg.com/models/demo/test_model.git
git clone https://opencsg.com/models/demo/test_model.git
```
- 2. 也可以通过 **SSH** 下载:
```
git lfs install
git clone [email protected]:models_demo/test_model.git
git clone [email protected]/models/demo/test_model.git
```
- **使用 SDK 下载:**
Expand Down
2 changes: 1 addition & 1 deletion docs/release_notes.md
Original file line number Diff line number Diff line change
@@ -1,7 +1,7 @@
# Release Notes

- **[2024.09.15] v0.9.0**
`CSGHub` portal been migrated to the Go version, git server support Gitaly and use it as default, collections function been added, new resource console page, running space endpoint finetune do not need domain anymore other UX optimization and bug fix.
`CSGHub` portal has been migrated to the Go version, with Gitaly support enabled by default on the Git server. New features include the 'Collections' feature and the Resource Console page. Running spaces, model inference, and fine-tuning endpoints no longer requires a domain name. Additionally, various user experience improvements and bug fixes have been implemented.
- **[2024.08.15] v0.8.0**
Big release to introduce a standalone `user_server` service and move user, org, token management from `CSGHub` to backend server `CSGHub-server`, introduce a standalone `starhub_server_runner service` for uniformed deployment of Application Space, Mode Inference and Finetune. Resource management enchanced, multiple k8s clusters in different regions are not supported.
- **[2024.07.15] v0.7.0**
Expand Down
Loading

0 comments on commit b5ae26d

Please sign in to comment.