aoai_checklist.ko.json

{
    "categories": [
        {
            "name": "ID 및 액세스 관리"
        },
        {
            "name": "네트워크 토폴로지 및 연결성"
        },
        {
            "name": "BC 및 DR"
        },
        {
            "name": "거버넌스 및 보안"
        },
        {
            "name": "비용 관리"
        },
        {
            "name": "운영 관리"
        },
        {
            "name": "응용 프로그램 배포"
        },
        {
            "name": "책임감 있는 AI"
        }
    ],
    "items": [
        {
            "category": "책임감 있는 AI",
            "guid": "a85b86ad-884f-48e3-9273-4b875ba18f10",
            "id": "AOAI.1",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/system-message#define-additional-safety-and-behavioral-guardrails",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "메타프롬프트",
            "text": "공명형 AI를 위한 Metaprompting 가드레일 따르기",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "d4391898-cd28-48be-b6b1-7cb8245451e1",
            "id": "AOAI.10",
            "link": "https://github.com/Azure-Samples/AI-Gateway",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "로드 밸런싱",
            "text": "더 나은 속도 제한, 부하 분산, 인증 및 로깅을 위해 APIM 또는 AI Central과 같은 솔루션을 사용하여 게이트웨이 패턴을 고려합니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "aed3453a-ec72-4392-97a1-52d6cc5e4029",
            "id": "AOAI.11",
            "link": "https://techcommunity.microsoft.com/t5/fasttrack-for-azure/azure-openai-insights-monitoring-ai-with-confidence/ba-p/4026850",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "모니터링",
            "text": "AOAI 인스턴스에 대한 모니터링 활성화",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "697cb391-ed16-4b2d-886f-0a0241addde6",
            "id": "AOAI.12",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/monitoring#set-up-alerts",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "경고",
            "text": "리소스에 대해 수행된 작업(예: 구독 키 다시 생성) 또는 메트릭 임계값(예: 한 시간에 10을 초과하는 오류 수)에 의해 생성된 활동 로그의 항목과 같은 이벤트를 팀에 알리는 경고를 만듭니다",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "8a477cde-b486-41bc-9bc1-0ae66e25d4d5",
            "id": "AOAI.13",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/monitoring",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "모니터링",
            "text": "용량으로 인한 서비스 중단을 방지하기 위해 토큰 사용량을 모니터링합니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "a3aec2c4-e243-46b0-936c-b45e17960eee",
            "id": "AOAI.14",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/monitoring",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "관찰 가능성",
            "text": "처리된 추론 토큰, 생성된 완료 토큰, 속도 제한 모니터링과 같은 메트릭 관찰",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "fbdf4cc2-eec4-4d76-8c31-d25ffbb46a39",
            "id": "AOAI.15",
            "link": "https://techcommunity.microsoft.com/t5/apps-on-azure-blog/build-an-enterprise-ready-azure-openai-solution-with-azure-api/ba-p/3907562",
            "service": "Azure OpenAI",
            "severity": "낮다",
            "subcategory": "관찰 가능성",
            "text": "진단이 충분하지 않은 경우 Azure OpenAI 앞에 있는 Azure API Managements와 같은 게이트웨이를 사용하여 허용되는 경우 들어오는 프롬프트와 나가는 응답을 모두 기록하는 것이 좋습니다",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "3af30ed3-2947-498b-8178-a2c5a46ceb54",
            "id": "AOAI.16",
            "link": "https://github.com/Azure-Samples/openai-enterprise-iac",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "인프라스트럭처 구축",
            "text": "Infrastructure as code를 사용하여 Azure OpenAI Service, 모델 배포 및 모든 관련 리소스를 배포합니다",
            "waf": "운영 우수성"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "4350d092-d234-4292-a752-8537a551c5bf",
            "id": "AOAI.17",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/managed-identity",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "인증",
            "text": "API 키 대신 관리 ID로 Microsoft Entra 인증 사용",
            "waf": "안전"
        },
        {
            "category": "책임감 있는 AI",
            "guid": "4e4f1854-287d-45cd-a126-cc031af5b1fc",
            "id": "AOAI.18",
            "link": "https://learn.microsoft.com/azure/machine-learning/prompt-flow/how-to-bulk-test-evaluate-flow?view=azureml-api-2",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "평가",
            "text": "입력과 정답이 있는 알려진 골든 데이터 세트를 사용하여 시스템의 성능/정확도를 평가합니다. 평가를 위해 PromptFlow의 기능을 활용합니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "68889535-e327-4897-b31b-67d67be5962a",
            "id": "AOAI.19",
            "link": "https://learn.microsoft.com/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat#azure-openai---performance-efficiency",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "호스팅 모델",
            "text": "프로비저닝된 처리량 모델의 사용 평가 ",
            "waf": "공연"
        },
        {
            "category": "책임감 있는 AI",
            "guid": "cd288bed-6b17-4cb8-8454-51e1aed3453a",
            "id": "AOAI.2",
            "link": "https://learn.microsoft.com/azure/ai-services/content-safety/overview",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "콘텐츠 안전성",
            "text": "Azure AI 콘텐츠 안전성 검토 및 구현",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "1193846d-697c-4b39-8ed1-6b2d186f0a02",
            "id": "AOAI.20",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#system-level-throughput",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "처리량 정의",
            "text": "분당 토큰 및 응답을 기반으로 시스템의 처리량을 정의 및 평가하고 요구 사항에 맞춥니다.",
            "waf": "공연"
        },
        {
            "category": "운영 관리",
            "guid": "41addde6-8a47-47cd-bb48-61bc3bc10ae6",
            "id": "AOAI.21",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#improve-performance",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "지연 시간 개선",
            "text": "토큰 크기, 스트리밍 옵션을 제한하여 시스템의 대기 시간을 개선합니다.",
            "waf": "공연"
        },
        {
            "category": "운영 관리",
            "guid": "6e25d4d5-a3ae-4c2c-9e24-36b0336cb45e",
            "id": "AOAI.22",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#batching",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "탄력성 분리",
            "text": "탄력성 요구를 예측하여 우선 순위에 따라 동기 및 일괄 처리 요청 분리를 결정합니다. 우선 순위가 높은 경우 동기 접근 방식을 사용하고 낮은 우선 순위의 경우 큐를 사용한 비동기 일괄 처리가 선호됩니다",
            "waf": "공연"
        },
        {
            "category": "운영 관리",
            "guid": "5bda4332-4f24-4811-9331-82ba51752694",
            "id": "AOAI.23",
            "link": "https://github.com/Azure/azure-openai-benchmark/",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "벤치마킹",
            "text": "소비자의 예상 수요를 기반으로 토큰 사용 요구 사항을 벤치마킹합니다. 프로비저닝된 처리량 단위 배포를 사용하는 경우 처리량의 유효성을 검사하는 데 도움이 되도록 Azure OpenAI 벤치마킹 도구를 사용하는 것이 좋습니다",
            "waf": "공연"
        },
        {
            "category": "운영 관리",
            "guid": "4008ae7d-7e47-4432-96d8-bdcf55bce619",
            "id": "AOAI.24",
            "link": "https://techcommunity.microsoft.com/t5/fasttrack-for-azure/optimizing-azure-openai-a-guide-to-limits-quotas-and-best/ba-p/4076268",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "탄력 ",
            "text": "PTU(프로비저닝된 처리량 단위)를 사용하는 경우 오버플로 요청에 대한 TPM(분당 토큰) 배포를 배포하는 것이 좋습니다. 게이트웨이를 사용하여 PTU 제한에 도달할 때 TPM 배포로 요청을 라우팅합니다.",
            "waf": "공연"
        },
        {
            "category": "운영 관리",
            "guid": "e8a13f98-8794-424d-9267-86d60b96c97b",
            "id": "AOAI.25",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/models",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "모델 선택",
            "text": "올바른 작업에 적합한 모델을 선택하십시오. 속도, 응답 품질 및 출력 복잡성 간에 적절한 절충점이 있는 모델 선택",
            "waf": "공연"
        },
        {
            "category": "운영 관리",
            "guid": "e9951904-8384-45c9-a6cb-2912156a1147",
            "id": "AOAI.26",
            "link": "https://github.com/Azure/azure-openai-benchmark/",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "미세 조정",
            "text": "미세 조정으로 모델 성능이 향상되었는지 여부를 파악하기 위해 미세 조정 없이 성능에 대한 기준이 있습니다.",
            "waf": "공연"
        },
        {
            "category": "BC 및 DR",
            "guid": "5e39f541-accc-4d97-a376-bcdb3750ab2a",
            "id": "AOAI.27",
            "link": "https://learn.microsoft.com/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat#azure-openai---reliability",
            "service": "Azure OpenAI",
            "severity": "낮다",
            "subcategory": "다중 지역 아키텍처Multi-region architecture",
            "text": "여러 지역에 여러 OAI 인스턴스 배포",
            "waf": "신뢰도"
        },
        {
            "category": "BC 및 DR",
            "guid": "b039da6d-55d7-4c89-8adb-107d5325af62",
            "id": "AOAI.28",
            "link": "https://learn.microsoft.com/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat#azure-openai---reliability",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "로드 밸런싱",
            "text": "APIM과 같은 게이트웨이 패턴을 사용하여 재시도 및 상태 확인 구현Implement retry & healthchecks with gateway pattern like APIM",
            "waf": "신뢰도"
        },
        {
            "category": "BC 및 DR",
            "guid": "5ca44e46-85e2-4223-ace8-bb12308ca5f1",
            "id": "AOAI.29",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/quota?tabs=rest#introduction-to-quota",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "할당량",
            "text": "워크로드에 대한 TPM 및 RPM의 적절한 할당량이 있는지 확인합니다.",
            "waf": "신뢰도"
        },
        {
            "category": "책임감 있는 AI",
            "guid": "ec723923-7a15-42d6-ac5e-402925387e5c",
            "id": "AOAI.3",
            "link": "https://www.microsoft.com/research/project/guidelines-for-human-ai-interaction/",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "UX 모범 사례",
            "text": "HAI 도구 키트 지침의 고려 사항을 검토하고 slution에 대한 이러한 상호 작용 방법을 적용합니다",
            "waf": "운영 우수성"
        },
        {
            "category": "BC 및 DR",
            "guid": "7f154e3a-a369-4282-ae7e-316183687a04",
            "id": "AOAI.30",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/business-continuity-disaster-recovery",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "로드 밸런싱",
            "text": "미세 조정이 사용되는 경우 지역 간에 별도의 미세 조정된 모델을 배포합니다.",
            "waf": "신뢰도"
        },
        {
            "category": "BC 및 DR",
            "guid": "77a1f893-5bda-4433-84f2-4811633182ba",
            "id": "AOAI.31",
            "link": "https://learn.microsoft.com/azure/backup/backup-overview",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "데이터 백업 및 재해 복구",
            "text": "중요한 데이터를 정기적으로 백업 및 복제하여 데이터 손실 또는 시스템 장애 발생 시 데이터 가용성과 복구 가능성을 보장합니다. Azure의 백업 및 재해 복구 서비스를 활용하여 데이터를 보호하세요.",
            "waf": "신뢰도"
        },
        {
            "category": "BC 및 DR",
            "guid": "95b96ad8-844c-4e3b-8b38-b876ba2cf204",
            "id": "AOAI.32",
            "link": "https://www.microsoft.com/licensing/docs/view/Service-Level-Agreements-SLA-for-Online-Services?lang=1",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "SLA 고려 사항",
            "text": "SLA를 갖도록 Azure AI 검색 서비스 계층을 선택해야 합니다. ",
            "waf": "신뢰도"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "99013a5d-3ce4-474d-acbd-8682a6abca2a",
            "id": "AOAI.33",
            "link": "https://learn.microsoft.com/purview/purview",
            "service": "Azure OpenAI",
            "severity": "낮다",
            "subcategory": "데이터 민감도",
            "text": "임베딩을 생성하기 전에 데이터 및 민감도를 분류하고 Microsoft Purview를 사용하여 레이블을 지정하고 생성된 임베딩을 동일한 민감도 및 분류로 처리해야 합니다",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "4fda1dbf-3dd9-45d4-ac7c-891dca1f6d56",
            "id": "AOAI.34",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/use-your-data-securely",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "저장 데이터 암호화",
            "text": "BYOK(옵션)를 사용한 SSE/디스크 암호화로 RAG에 사용되는 데이터 암호화",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "59ae558b-937d-4498-9e11-12dbd7ba012f",
            "id": "AOAI.35",
            "link": "https://learn.microsoft.com/azure/search/search-security-overview",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "트랜짓 암호화",
            "text": "데이터 소스 간 전송 중인 데이터, RAG(Retrieval-Augmented Generation) 및 LLM 통신에 사용되는 AI 검색에 TLS가 적용되는지 확인합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "7b94ef6e-047d-42ea-8992-b1cd6e2054b2",
            "id": "AOAI.36",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/role-based-access-control",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "출입 통제",
            "text": "RBAC를 사용하여 Azure OpenAI 서비스에 대한 액세스를 관리합니다. 사용자에게 적절한 권한을 할당하고 사용자의 역할과 책임에 따라 액세스를 제한합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "9769e4a6-91e8-4838-ac93-6667e13c0056",
            "id": "AOAI.37",
            "link": "https://learn.microsoft.com/azure/security/fundamentals/data-encryption-best-practices",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "데이터 마스킹 및 수정",
            "text": "데이터 암호화, 마스킹 또는 수정 기술을 구현하여 비프로덕션 환경에서 또는 테스트 또는 문제 해결을 위해 데이터를 공유할 때 민감한 데이터를 숨기거나 난독화된 값으로 대체합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "74b1e945-b459-4837-be7a-d6c6d3b375a5",
            "id": "AOAI.38",
            "link": "https://learn.microsoft.com/azure/defender-for-cloud/defender-for-cloud-introduction",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "위협 탐지 및 모니터링",
            "text": "Azure Defender를 활용하여 보안 위협을 탐지 및 대응하고 의심스러운 활동 또는 위반을 식별하기 위한 모니터링 및 경고 메커니즘을 설정합니다. 고급 위협 탐지 및 대응을 위해 Azure Sentinel 활용",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "c7acbe48-abe5-44cd-99f2-e87768468c55",
            "id": "AOAI.39",
            "link": "https://techcommunity.microsoft.com/t5/azure-storage-blog/managing-long-term-log-retention-or-any-business-data/ba-p/2494791",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "데이터 보유 및 폐기",
            "text": "규정 준수 규정을 준수하기 위해 데이터 보존 및 폐기 정책을 수립합니다. 더 이상 필요하지 않은 데이터에 대한 안전한 삭제 방법을 구현하고 데이터 보존 및 폐기 활동에 대한 감사 추적을 유지 관리합니다.",
            "waf": "안전"
        },
        {
            "category": "책임감 있는 AI",
            "guid": "a9c27d9c-42bb-46bd-8c69-99a246f3389a",
            "id": "AOAI.4",
            "link": "https://learn.microsoft.com/azure/ai-services/content-safety/concepts/jailbreak-detection",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "탈옥 안전",
            "text": "Content Safety를 사용하여 Prompt shields 및 groundedness detection 구현 ",
            "waf": "운영 우수성"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "a775c6ee-95b9-46ad-a844-ce3b2b38b876",
            "id": "AOAI.40",
            "link": "https://learn.microsoft.com/azure/compliance/",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "데이터 개인 정보 보호 및 규정 준수",
            "text": "개인 정보 보호 제어를 구현하고 데이터 처리 활동에 필요한 동의 또는 권한을 얻어 GDPR 또는 HIPAA와 같은 관련 데이터 보호 규정을 준수하도록 합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "ba2cf204-9901-43a5-b3ce-474dccbd8682",
            "id": "AOAI.41",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "직원 인식 제고 및 교육",
            "text": "데이터 보안 모범 사례, 데이터 안전한 처리의 중요성, 데이터 침해와 관련된 잠재적 위험에 대해 직원을 교육합니다. 데이터 보안 프로토콜을 성실히 따르도록 권장합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "eae01e6e-842e-452f-9721-d928c1b1cd52",
            "id": "AOAI.42",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "환경 분리",
            "text": "생산 데이터를 개발 및 테스트 데이터와 분리합니다. 프로덕션에서는 실제 민감한 데이터만 사용하고 개발 및 테스트 환경에서는 익명 또는 합성 데이터를 활용합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "1e54a29a-9de3-499c-bd7b-28dc93555620",
            "id": "AOAI.43",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "인덱스 분리",
            "text": "데이터 민감도 수준이 다양하다면 각 수준에 대해 별도의 인덱스를 만드는 것이 좋습니다. 예를 들어, 일반 데이터에 대한 인덱스와 민감한 데이터에 대한 인덱스가 있을 수 있으며, 각각 다른 액세스 프로토콜에 의해 제어됩니다",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "2bfe4564-b0d8-434a-948b-263e6dd60512",
            "id": "AOAI.44",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "별도의 인스턴스에 있는 민감한 데이터Sensitive Data in separate instances",
            "text": "한 단계 더 나아가 중요한 데이터 세트를 서비스의 다른 인스턴스에 배치합니다. 각 인스턴스는 고유한 특정 RBAC 정책 집합으로 제어할 수 있습니다",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "a36498f6-dbad-438e-ad53-cc7ce1d7aaab",
            "id": "AOAI.45",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "임베딩 및 벡터 처리",
            "text": "민감한 정보에서 생성된 임베딩과 벡터는 그 자체로 민감하다는 점을 인식해야 합니다. 이 데이터에는 원본 자료와 동일한 보호 조치가 제공되어야 합니다",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "3571449a-b805-43d8-af89-dc7b33be2a1a",
            "id": "AOAI.46",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/role-based-access-control",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "출입 통제",
            "text": "임베딩 및 벡터가 있는 데이터 저장소에 RBAC를 적용하고 역할의 액세스 요구 사항에 따라 액세스 범위를 지정합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "27f7b9e9-1be1-4f38-aef3-9812bd463cbb",
            "id": "AOAI.47",
            "link": "https://techcommunity.microsoft.com/t5/azure-architecture-blog/azure-openai-private-endpoints-connecting-across-vnet-s/ba-p/3913325",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "네트워크 보안",
            "text": "AI 서비스에 대한 프라이빗 엔드포인트를 구성하여 네트워크 내 서비스 액세스를 제한합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "ac8ac199-ebb9-41a3-9d90-cae2cc881370",
            "id": "AOAI.48",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "네트워크 보안",
            "text": "Azure Firewall 및 UDR을 사용하여 엄격한 인바운드 및 아웃바운드 트래픽 제어를 적용하고 외부 통합 지점을 제한합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "6f7c0cba-fe51-4464-add4-57e927138b82",
            "id": "AOAI.49",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "네트워크 액세스 제어",
            "text": "네트워크 세분화 및 액세스 제어를 구현하여 LLM 애플리케이션에 대한 액세스를 인증된 사용자 및 시스템으로만 제한하고 측면 이동을 방지합니다.",
            "waf": "안전"
        },
        {
            "category": "비용 최적화",
            "guid": "7f42c78e-78cb-46a2-8ad1-90916e6a8d8f",
            "id": "AOAI.5",
            "link": "https://www.microsoft.com/research/blog/llmlingua-innovating-llm-efficiency-with-prompt-compression/",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "토큰 최적화",
            "text": "LLMLingua 또는 gprtrim과 같은 프롬프트 압축 도구 사용",
            "waf": "비용 최적화"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "1102cac6-eae0-41e6-b842-e52f4721d928",
            "id": "AOAI.50",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/managed-identity",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "API 및 엔드포인트 보안",
            "text": "LLM 애플리케이션에서 사용하는 API 및 엔드포인트가 관리 ID, API 키 또는 OAuth와 같은 인증 및 권한 부여 메커니즘으로 적절하게 보호되어 무단 액세스를 방지해야 합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "c1b1cd52-1e54-4a29-a9de-399cfd7b28dc",
            "id": "AOAI.51",
            "link": "https://techcommunity.microsoft.com/t5/azure-architecture-blog/security-best-practices-for-genai-applications-openai-in-azure/ba-p/4027885",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "강력한 인증 구현",
            "text": "다단계 인증(multi-factor authentication)과 같은 강력한 최종 사용자 인증 메커니즘을 적용하여 LLM 애플리케이션 및 관련 네트워크 리소스에 대한 무단 액세스를 방지합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "93555620-2bfe-4456-9b0d-834a348b263e",
            "id": "AOAI.52",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "네트워크 모니터링 사용",
            "text": "네트워크 모니터링 도구를 구현하여 의심스럽거나 악의적인 활동에 대한 네트워크 트래픽을 탐지하고 분석합니다. 로깅을 활성화하여 네트워크 이벤트를 캡처하고 보안 사고 발생 시 포렌식 분석을 용이하게 합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "6dd60512-a364-498f-9dba-d38ead53cc7c",
            "id": "AOAI.53",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "보안 감사 및 침투 테스트",
            "text": "보안 감사 및 침투 테스트를 수행하여 LLM 애플리케이션의 네트워크 인프라에서 네트워크 보안 약점 또는 취약성을 식별하고 해결합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "e1d7aaab-3571-4449-ab80-53d89f89dc7b",
            "id": "AOAI.54",
            "link": "https://learn.microsoft.com/azure/azure-resource-manager/management/tag-resources?tabs=json",
            "service": "Azure OpenAI",
            "severity": "낮다",
            "subcategory": "인프라스트럭처 구축",
            "text": "Azure AI 서비스는 더 나은 관리를 위해 적절하게 태그가 지정됩니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "77036e5e-6b4b-4ed3-b503-547c1347dc56",
            "id": "AOAI.55",
            "link": "https://learn.microsoft.com/azure/cloud-adoption-framework/ready/azure-best-practices/resource-abbreviations",
            "service": "Azure OpenAI",
            "severity": "낮다",
            "subcategory": "인프라스트럭처 구축",
            "text": "Azure AI Service 계정은 조직의 명명 규칙을 따릅니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "028a71ff-e1ce-415d-b3f0-d5e772d41e36",
            "id": "AOAI.56",
            "link": "https://learn.microsoft.com/azure/ai-services/diagnostic-logging",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "진단 로깅",
            "text": "Azure AI Services 리소스의 진단 로그를 사용하도록 설정해야 함",
            "waf": "운영 우수성"
        },
        {
            "category": "ID 및 액세스 관리",
            "guid": "11cc57b4-a4b1-4410-b439-58a8c2289b3d",
            "id": "AOAI.57",
            "link": "https://learn.microsoft.com/azure/ai-services/authentication",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "Entra ID 기반 액세스",
            "text": "키 액세스(로컬 인증)는 보안을 위해 사용하지 않도록 설정하는 것이 좋습니다.  키 기반 액세스를 사용하지 않도록 설정하면 Microsoft Entra ID가 유일한 액세스 방법이 되어 최소 권한 원칙과 세분화된 제어를 유지할 수 있습니다. ",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "6b57cfc6-5546-41e1-a3e3-453a3c863964",
            "id": "AOAI.58",
            "link": "https://learn.microsoft.com/azure/key-vault/general/best-practices",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "보안 키 관리",
            "text": "Azure Key Vault를 사용하여 키를 안전하게 저장하고 관리하세요. LLM 애플리케이션의 코드 내에 중요한 키를 하드 코딩하거나 포함하지 않도록 하고 관리 ID를 사용하여 Azure Key Vault에서 안전하게 검색합니다.",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "8b652d6c-15f5-4129-9539-8e6ded227dd1",
            "id": "AOAI.59",
            "link": "https://learn.microsoft.com/azure/key-vault/general/best-practices",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "키 순환 및 만료Key Rotation and Expiration",
            "text": "Azure Key Vault에 저장된 키를 정기적으로 회전하고 만료하여 무단 액세스의 위험을 최소화합니다.",
            "waf": "안전"
        },
        {
            "category": "비용 최적화",
            "guid": "adfe27be-e297-401a-a352-baaab79b088d",
            "id": "AOAI.6",
            "link": "https://github.com/openai/tiktoken",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "토큰 최적화",
            "text": "tiktoken을 사용하여 대화 모드에서 토큰 최적화를 위한 토큰 크기 이해",
            "waf": "비용 최적화"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "42b06c21-d799-49a6-96f4-389a7f42c78e",
            "id": "AOAI.60",
            "link": "https://learn.microsoft.com/azure/security/develop/secure-dev-overview",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "안전한 코딩 연습",
            "text": "보안 코딩 관행에 따라 주입 공격, XSS(교차 사이트 스크립팅) 또는 보안 구성 오류와 같은 일반적인 취약성을 방지합니다",
            "waf": "안전"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "78c06a73-a22a-4495-9e6a-8dc4a20e27c3",
            "id": "AOAI.61",
            "link": "https://learn.microsoft.com/azure/devops/repos/security/github-advanced-security-dependency-scanning?view=azure-devops",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "패치 및 업데이트",
            "text": "LLM 라이브러리와 다른 시스템 컴포넌트를 정기적으로 업데이트하고 패치하는 프로세스를 설정합니다.",
            "waf": "안전"
        },
        {
            "category": "책임감 있는 AI",
            "guid": "e29711b1-352b-4eee-879b-588defc4972c",
            "id": "AOAI.62",
            "link": "https://learn.microsoft.com/legal/cognitive-services/openai/code-of-conduct",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "지배구조",
            "text": "Azure OpenAI 또는 기타 LLM 사용 약관, 정책 및 지침, 허용되는 사용 사례 준수",
            "waf": "운영 우수성"
        },
        {
            "category": "비용 최적화",
            "guid": "d3cd21bf-7703-46e5-b6b4-bed3d503547c",
            "id": "AOAI.63",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/manage-costs#base-series-and-codex-series-fine-tuned-models",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "비용 숙지",
            "text": "기본 모델과 미세 조정된 모델 및 토큰 단계 크기의 비용 차이를 이해합니다.",
            "waf": "비용 최적화"
        },
        {
            "category": "비용 최적화",
            "guid": "1347dc56-028a-471f-be1c-e15dd3f0d5e7",
            "id": "AOAI.64",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#batching",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "배치 처리",
            "text": "가능한 경우 호출당 오버헤드를 최소화하여 전체 비용을 줄일 수 있는 일괄 처리 요청. 배치 크기를 최적화해야 합니다.",
            "waf": "비용 최적화"
        },
        {
            "category": "비용 최적화",
            "guid": "72d41e36-11cc-457b-9a4b-1410d43958a8",
            "id": "AOAI.65",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/manage-costs",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "비용 모니터링",
            "text": "모델 사용을 모니터링하는 비용 추적 시스템을 설정하고 해당 정보를 사용하여 모델 선택 및 프롬프트 크기를 알립니다",
            "waf": "비용 최적화"
        },
        {
            "category": "비용 최적화",
            "guid": "166cd072-af9b-4141-a898-a535e737897e",
            "id": "AOAI.66",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/quota?tabs=rest#understanding-rate-limits",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "토큰 한도",
            "text": "모델 응답당 토큰 수에 대한 최대 제한을 설정합니다. 유효한 응답에 사용할 수 있을 만큼 충분히 큰지 확인하기 위해 크기를 최적화합니다",
            "waf": "비용 최적화"
        },
        {
            "category": "운영 관리",
            "guid": "71ca7da8-cfa9-462a-8594-946da97dc3a2",
            "id": "AOAI.67",
            "link": "https://learn.microsoft.com/azure/search/search-reliability",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "AI 검색 신뢰성",
            "text": "안정성을 위한 AI 검색 설정에 대해 제공된 지침을 검토합니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "3266b225-86f4-4a16-92bd-ddea8a487cde",
            "id": "AOAI.68",
            "link": "https://learn.microsoft.com/azure/search/vector-search-index-size?tabs=portal-vector-quota",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "AI 검색 벡터 한계",
            "text": "AI Search Vector 스토리지 계획 및 관리",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "b4861bc3-bc14-4aeb-9e66-e8d9a3aec218",
            "id": "AOAI.69",
            "link": "https://learn.microsoft.com/azure/machine-learning/prompt-flow/how-to-end-to-end-llmops-with-prompt-flow?view=azureml-api-2",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "데브옵스",
            "text": "LLMOps 사례를 적용하여 GenAI 애플리케이션의 라이프사이클 관리를 자동화합니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "비용 최적화",
            "guid": "aa80932c-8ec9-4d1b-a770-26e5e6beba9e",
            "id": "AOAI.7",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/provisioned-throughput-onboarding#understanding-the-provisioned-throughput-purchase-model",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "원가 계산 모델",
            "text": "청구 모델 사용 평가 - PAYG 대 PTU",
            "waf": "비용 최적화"
        },
        {
            "category": "운영 관리",
            "guid": "e6436b07-36db-455f-9796-03334bdf9cc2",
            "id": "AOAI.70",
            "link": "https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/how-to-control-azure-openai-models/ba-p/4146793",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "데브옵스",
            "text": "모델 버전 간에 전환할 때 프롬프트와 응용 프로그램의 품질을 평가합니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "3418db61-2712-4650-9bb4-7a393a080327",
            "id": "AOAI.71",
            "link": "https://learn.microsoft.com/azure/machine-learning/prompt-flow/concept-model-monitoring-generative-ai-evaluation-metrics?view=azureml-api-2",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "발달",
            "text": "GenAI 앱을 평가, 모니터링 및 개선하여 근거, 관련성, 정확성, 일관성, 유창성 등의 기능을 제공합니다.",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "294798b1-578b-4219-a46c-eb5443513592",
            "id": "AOAI.72",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "발달",
            "text": "다양한 검색 매개 변수를 기반으로 Azure AI Search 결과를 평가합니다",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "2744293b-b628-4537-a551-19b08e8f5854",
            "id": "AOAI.73",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/fine-tuning-considerations",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "발달",
            "text": "데이터를 사용하여 프롬프트 엔지니어링 및 RAG와 같은 다른 기본 접근 방식을 시도한 경우에만 모델을 미세 조정하여 정확도를 높이는 방법으로 살펴보십시오",
            "waf": "운영 우수성"
        },
        {
            "category": "운영 관리",
            "guid": "287d9cec-166c-4d07-8af9-b141a898a535",
            "id": "AOAI.74",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/advanced-prompt-engineering?pivots=programming-language-chat-completions",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "발달",
            "text": "프롬프트 엔지니어링 기법을 사용하여 LLM 응답의 정확도 향상",
            "waf": "운영 우수성"
        },
        {
            "category": "거버넌스 및 보안",
            "guid": "e737897e-71ca-47da-acfa-962a1594946d",
            "id": "AOAI.75",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/red-teaming",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "보안 감사 및 침투 테스트",
            "text": "GenAI 애플리케이션을 위한 레드 팀",
            "waf": "안전"
        },
        {
            "category": "운영 관리",
            "guid": "edb117e6-76aa-4f66-aca4-8e5a95f2223e",
            "id": "AOAI.76",
            "link": "https://www.microsoft.com/haxtoolkit/guideline/encourage-granular-feedback/",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "최종 사용자 피드백",
            "text": "최종 사용자에게 LLM 응답에 대한 점수 매기기 옵션을 제공하고 이러한 점수를 추적합니다. ",
            "waf": "운영 우수성"
        },
        {
            "category": "비용 최적화",
            "guid": "d5f3547c-c346-4d81-9028-a71ffe1b9b5d",
            "id": "AOAI.8",
            "link": "https://techcommunity.microsoft.com/t5/fasttrack-for-azure/optimizing-azure-openai-a-guide-to-limits-quotas-and-best/ba-p/4076268",
            "service": "Azure OpenAI",
            "severity": "높다",
            "subcategory": "할당량 관리",
            "text": "할당량 관리 방법 고려",
            "waf": "비용 최적화"
        },
        {
            "category": "운영 관리",
            "guid": "9de0d5d7-31d4-41e3-911c-817bfafbc410",
            "id": "AOAI.9",
            "link": "https://github.com/Azure/aoai-apim/blob/main/README.md",
            "service": "Azure OpenAI",
            "severity": "보통",
            "subcategory": "로드 밸런싱",
            "text": "APIM 기반 게이트웨이와 같은 Load Balancer 솔루션을 사용하여 서비스 및 지역 간에 부하와 용량을 분산합니다",
            "waf": "운영 우수성"
        }
    ],
    "metadata": {
        "name": "Azure OpenAI Review",
        "state": "Preview",
        "timestamp": "July 24, 2024",
        "waf": "all"
    },
    "severities": [
        {
            "name": "높다"
        },
        {
            "name": "보통"
        },
        {
            "name": "낮다"
        }
    ],
    "status": [
        {
            "description": "이 검사는 아직 검토되지 않았습니다",
            "name": "확인되지 않음"
        },
        {
            "description": "이 검사와 연관된 작업 항목이 있습니다",
            "name": "열다"
        },
        {
            "description": "이 검사는 확인되었으며 이와 관련된 추가 작업 항목이 없습니다",
            "name": "성취"
        },
        {
            "description": "권장 사항을 이해하지만 현재 요구 사항에 필요하지 않음",
            "name": "필요 없음"
        },
        {
            "description": "현재 설계에는 적용되지 않습니다.",
            "name": "해당 없음"
        }
    ],
    "waf": [
        {
            "name": "신뢰도"
        },
        {
            "name": "안전"
        },
        {
            "name": "비용"
        },
        {
            "name": "작업"
        },
        {
            "name": "공연"
        }
    ],
    "yesno": [
        {
            "name": "예"
        },
        {
            "name": "아니요"
        }
    ]
}