aoai_checklist.pt.json

{
    "categories": [
        {
            "name": "Gerenciamento de identidade e acesso"
        },
        {
            "name": "Topologia e conectividade de rede"
        },
        {
            "name": "BC e DR"
        },
        {
            "name": "Governança e segurança"
        },
        {
            "name": "Governança de custos"
        },
        {
            "name": "Gestão de Operações"
        },
        {
            "name": "Implantação de aplicativos"
        },
        {
            "name": "IA responsável"
        }
    ],
    "items": [
        {
            "category": "IA responsável",
            "guid": "a85b86ad-884f-48e3-9273-4b875ba18f10",
            "id": "AOAI.1",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/system-message#define-additional-safety-and-behavioral-guardrails",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Metaprompting",
            "text": "Siga as proteções do Metaprompting para uma IA razoável",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "d4391898-cd28-48be-b6b1-7cb8245451e1",
            "id": "AOAI.10",
            "link": "https://github.com/Azure-Samples/AI-Gateway",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Balanceamento de carga",
            "text": "Considere padrões de gateway com APIM ou soluções como AI central para melhor limitação de taxa, balanceamento de carga, autenticação e registro",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "aed3453a-ec72-4392-97a1-52d6cc5e4029",
            "id": "AOAI.11",
            "link": "https://techcommunity.microsoft.com/t5/fasttrack-for-azure/azure-openai-insights-monitoring-ai-with-confidence/ba-p/4026850",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Monitorização",
            "text": "Habilitar o monitoramento para suas instâncias AOAI",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "697cb391-ed16-4b2d-886f-0a0241addde6",
            "id": "AOAI.12",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/monitoring#set-up-alerts",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Alertas",
            "text": "Crie alertas para notificar as equipes sobre eventos, como uma entrada no log de atividades criada por uma ação executada no recurso, como regenerar suas chaves de assinatura ou um limite de métrica, como o número de erros que excedem 10 em uma hora",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "8a477cde-b486-41bc-9bc1-0ae66e25d4d5",
            "id": "AOAI.13",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/monitoring",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Monitorização",
            "text": "Monitore o uso do token para evitar interrupções de serviço devido à capacidade",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "a3aec2c4-e243-46b0-936c-b45e17960eee",
            "id": "AOAI.14",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/monitoring",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Observabilidade",
            "text": "Observe métricas como tokens de inferência processados, monitoramento de tokens de conclusão gerados para limite de taxa",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "fbdf4cc2-eec4-4d76-8c31-d25ffbb46a39",
            "id": "AOAI.15",
            "link": "https://techcommunity.microsoft.com/t5/apps-on-azure-blog/build-an-enterprise-ready-azure-openai-solution-with-azure-api/ba-p/3907562",
            "service": "Azure OpenAI",
            "severity": "Baixo",
            "subcategory": "Observabilidade",
            "text": "Se o diagnóstico não for suficiente para você, considere usar um gateway como o Gerenciamento de API do Azure na frente do Azure OpenAI para registrar prompts de entrada e respostas de saída, quando permitido",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "3af30ed3-2947-498b-8178-a2c5a46ceb54",
            "id": "AOAI.16",
            "link": "https://github.com/Azure-Samples/openai-enterprise-iac",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Implantação de infraestrutura",
            "text": "Usar a infraestrutura como código para implantar o serviço OpenAI do Azure, implantações de modelo e todos os recursos relacionados",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Governança e segurança",
            "guid": "4350d092-d234-4292-a752-8537a551c5bf",
            "id": "AOAI.17",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/managed-identity",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Autenticação",
            "text": "Usar a autenticação do Microsoft Entra com identidade gerenciada em vez de chave de API",
            "waf": "Segurança"
        },
        {
            "category": "IA responsável",
            "guid": "4e4f1854-287d-45cd-a126-cc031af5b1fc",
            "id": "AOAI.18",
            "link": "https://learn.microsoft.com/azure/machine-learning/prompt-flow/how-to-bulk-test-evaluate-flow?view=azureml-api-2",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Avaliação",
            "text": "Avalie o desempenho/precisão do sistema com um conjunto de dados dourado conhecido que tenha as entradas e as respostas corretas. Aproveite os recursos do PromptFlow para avaliação.",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "68889535-e327-4897-b31b-67d67be5962a",
            "id": "AOAI.19",
            "link": "https://learn.microsoft.com/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat#azure-openai---performance-efficiency",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Modelo de hospedagem",
            "text": "Avaliar o uso do modelo de taxa de transferência provisionada ",
            "waf": "Desempenho"
        },
        {
            "category": "IA responsável",
            "guid": "cd288bed-6b17-4cb8-8454-51e1aed3453a",
            "id": "AOAI.2",
            "link": "https://learn.microsoft.com/azure/ai-services/content-safety/overview",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Segurança de conteúdo",
            "text": "Examinar e implementar a segurança de conteúdo do Azure AI",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "1193846d-697c-4b39-8ed1-6b2d186f0a02",
            "id": "AOAI.20",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#system-level-throughput",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Definição de taxa de transferência",
            "text": "Defina e avalie a taxa de transferência do sistema com base em tokens e resposta por minuto e alinhe-se aos requisitos",
            "waf": "Desempenho"
        },
        {
            "category": "Gestão de Operações",
            "guid": "41addde6-8a47-47cd-bb48-61bc3bc10ae6",
            "id": "AOAI.21",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#improve-performance",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Melhoria da latência",
            "text": "Melhore a latência do sistema limitando os tamanhos dos tokens, as opções de streaming",
            "waf": "Desempenho"
        },
        {
            "category": "Gestão de Operações",
            "guid": "6e25d4d5-a3ae-4c2c-9e24-36b0336cb45e",
            "id": "AOAI.22",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#batching",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Segregação de elasticidade",
            "text": "Estime as demandas de elasticidade para determinar a segregação de solicitações síncronas e em lote com base na prioridade. Para alta prioridade, use a abordagem síncrona e, para baixa prioridade, o processamento em lote assíncrono com fila é preferível",
            "waf": "Desempenho"
        },
        {
            "category": "Gestão de Operações",
            "guid": "5bda4332-4f24-4811-9331-82ba51752694",
            "id": "AOAI.23",
            "link": "https://github.com/Azure/azure-openai-benchmark/",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Avaliação comparativa",
            "text": "Compare os requisitos de consumo de token com base nas demandas estimadas dos consumidores. Considere usar a ferramenta de benchmarking OpenAI do Azure para ajudá-lo a validar a taxa de transferência se você estiver usando implantações de Unidade de Produtividade Provisionada",
            "waf": "Desempenho"
        },
        {
            "category": "Gestão de Operações",
            "guid": "4008ae7d-7e47-4432-96d8-bdcf55bce619",
            "id": "AOAI.24",
            "link": "https://techcommunity.microsoft.com/t5/fasttrack-for-azure/optimizing-azure-openai-a-guide-to-limits-quotas-and-best/ba-p/4076268",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Elasticidade ",
            "text": "Se você estiver usando PTUs (Unidades de Produtividade Provisionadas), considere implantar uma implantação de token por minuto (TPM) para solicitações de estouro. Use um gateway para rotear solicitações para a implantação do TPM quando os limites de PTU forem atingidos.",
            "waf": "Desempenho"
        },
        {
            "category": "Gestão de Operações",
            "guid": "e8a13f98-8794-424d-9267-86d60b96c97b",
            "id": "AOAI.25",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/models",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Escolha do modelo",
            "text": "Escolha o modelo certo para a tarefa certa. Escolha modelos com a compensação certa entre velocidade, qualidade de resposta e complexidade de saída",
            "waf": "Desempenho"
        },
        {
            "category": "Gestão de Operações",
            "guid": "e9951904-8384-45c9-a6cb-2912156a1147",
            "id": "AOAI.26",
            "link": "https://github.com/Azure/azure-openai-benchmark/",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Afinar",
            "text": "Tenha uma linha de base para o desempenho sem ajuste fino para saber se o ajuste fino melhorou ou não o desempenho do modelo",
            "waf": "Desempenho"
        },
        {
            "category": "BC e DR",
            "guid": "5e39f541-accc-4d97-a376-bcdb3750ab2a",
            "id": "AOAI.27",
            "link": "https://learn.microsoft.com/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat#azure-openai---reliability",
            "service": "Azure OpenAI",
            "severity": "Baixo",
            "subcategory": "Arquitetura multirregional",
            "text": "Implantar várias instâncias de OAI em regiões",
            "waf": "Fiabilidade"
        },
        {
            "category": "BC e DR",
            "guid": "b039da6d-55d7-4c89-8adb-107d5325af62",
            "id": "AOAI.28",
            "link": "https://learn.microsoft.com/azure/architecture/ai-ml/architecture/baseline-openai-e2e-chat#azure-openai---reliability",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Balanceamento de carga",
            "text": "Implemente novas tentativas e verificações de integridade com o padrão de Gateway como APIM",
            "waf": "Fiabilidade"
        },
        {
            "category": "BC e DR",
            "guid": "5ca44e46-85e2-4223-ace8-bb12308ca5f1",
            "id": "AOAI.29",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/quota?tabs=rest#introduction-to-quota",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Quotas",
            "text": "Garantir que tenha cotas adequadas de TPM e RPM para a carga de trabalho",
            "waf": "Fiabilidade"
        },
        {
            "category": "IA responsável",
            "guid": "ec723923-7a15-42d6-ac5e-402925387e5c",
            "id": "AOAI.3",
            "link": "https://www.microsoft.com/research/project/guidelines-for-human-ai-interaction/",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Prática recomendada de UX",
            "text": "Revise as considerações nas diretrizes do kit de ferramentas HAI e aplique essas práticas de interação para a análise",
            "waf": "Excelência Operacional"
        },
        {
            "category": "BC e DR",
            "guid": "7f154e3a-a369-4282-ae7e-316183687a04",
            "id": "AOAI.30",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/business-continuity-disaster-recovery",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Balanceamento de carga",
            "text": "Implantar modelos ajustados separados entre regiões se o ajuste fino for empregado",
            "waf": "Fiabilidade"
        },
        {
            "category": "BC e DR",
            "guid": "77a1f893-5bda-4433-84f2-4811633182ba",
            "id": "AOAI.31",
            "link": "https://learn.microsoft.com/azure/backup/backup-overview",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Backup de dados e recuperação de desastres",
            "text": "Faça backup e replique regularmente dados críticos para garantir a disponibilidade e a capacidade de recuperação dos dados em caso de perda de dados ou falhas do sistema. Aproveite os serviços de backup e recuperação de desastre do Azure para proteger seus dados.",
            "waf": "Fiabilidade"
        },
        {
            "category": "BC e DR",
            "guid": "95b96ad8-844c-4e3b-8b38-b876ba2cf204",
            "id": "AOAI.32",
            "link": "https://www.microsoft.com/licensing/docs/view/Service-Level-Agreements-SLA-for-Online-Services?lang=1",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Considerações sobre SLA",
            "text": "As camadas de serviço de pesquisa de IA do Azure devem ser escolhidas para ter um SLA ",
            "waf": "Fiabilidade"
        },
        {
            "category": "Governança e segurança",
            "guid": "99013a5d-3ce4-474d-acbd-8682a6abca2a",
            "id": "AOAI.33",
            "link": "https://learn.microsoft.com/purview/purview",
            "service": "Azure OpenAI",
            "severity": "Baixo",
            "subcategory": "Sensibilidade de dados",
            "text": "Classifique os dados e a confidencialidade, rotulando com o Microsoft Purview antes de gerar as inserções e certifique-se de tratar as inserções geradas com a mesma confidencialidade e classificação",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "4fda1dbf-3dd9-45d4-ac7c-891dca1f6d56",
            "id": "AOAI.34",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/use-your-data-securely",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Criptografia em repouso",
            "text": "Criptografar dados usados para RAG com criptografia SSE/Disco com BYOK opcional",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "59ae558b-937d-4498-9e11-12dbd7ba012f",
            "id": "AOAI.35",
            "link": "https://learn.microsoft.com/azure/search/search-security-overview",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Criptografia de trânsito",
            "text": "Certifique-se de que o TLS seja aplicado para dados em trânsito entre fontes de dados, pesquisa de IA usada para RG (Geração Aumentada por Recuperação) e comunicação LLM",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "7b94ef6e-047d-42ea-8992-b1cd6e2054b2",
            "id": "AOAI.36",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/role-based-access-control",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Controle de acesso",
            "text": "Use o RBAC para gerenciar o acesso aos serviços do OpenAI do Azure. Atribua permissões apropriadas aos usuários e restrinja o acesso com base em suas funções e responsabilidades",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "9769e4a6-91e8-4838-ac93-6667e13c0056",
            "id": "AOAI.37",
            "link": "https://learn.microsoft.com/azure/security/fundamentals/data-encryption-best-practices",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Mascaramento e redação de dados",
            "text": "Implemente técnicas de criptografia, mascaramento ou redação de dados para ocultar dados confidenciais ou substituí-los por valores ofuscados em ambientes de não produção ou ao compartilhar dados para fins de teste ou solução de problemas",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "74b1e945-b459-4837-be7a-d6c6d3b375a5",
            "id": "AOAI.38",
            "link": "https://learn.microsoft.com/azure/defender-for-cloud/defender-for-cloud-introduction",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Detecção e monitoramento de ameaças",
            "text": "Utilize o Azure Defender para detectar e responder a ameaças de segurança e configurar mecanismos de monitoramento e alerta para identificar atividades suspeitas ou violações. Aproveite o Azure Sentinel para detecção e resposta avançadas a ameaças",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "c7acbe48-abe5-44cd-99f2-e87768468c55",
            "id": "AOAI.39",
            "link": "https://techcommunity.microsoft.com/t5/azure-storage-blog/managing-long-term-log-retention-or-any-business-data/ba-p/2494791",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Retenção e descarte de dados",
            "text": "Estabeleça políticas de retenção e descarte de dados para cumprir os regulamentos de conformidade. Implemente métodos de exclusão segura para dados que não são mais necessários e mantenha uma trilha de auditoria das atividades de retenção e descarte de dados",
            "waf": "Segurança"
        },
        {
            "category": "IA responsável",
            "guid": "a9c27d9c-42bb-46bd-8c69-99a246f3389a",
            "id": "AOAI.4",
            "link": "https://learn.microsoft.com/azure/ai-services/content-safety/concepts/jailbreak-detection",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Segurança de fuga da prisão",
            "text": "Implementar proteções imediatas e detecção de aterramento usando a Segurança de conteúdo ",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Governança e segurança",
            "guid": "a775c6ee-95b9-46ad-a844-ce3b2b38b876",
            "id": "AOAI.40",
            "link": "https://learn.microsoft.com/azure/compliance/",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Privacidade e conformidade de dados",
            "text": "Garanta a conformidade com os regulamentos de proteção de dados relevantes, como GDPR ou HIPAA, implementando controles de privacidade e obtendo os consentimentos ou permissões necessários para atividades de processamento de dados.",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "ba2cf204-9901-43a5-b3ce-474dccbd8682",
            "id": "AOAI.41",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Conscientização e treinamento de funcionários",
            "text": "Eduque seus funcionários sobre as melhores práticas de segurança de dados, a importância de lidar com dados com segurança e os possíveis riscos associados a violações de dados. Incentive-os a seguir os protocolos de segurança de dados diligentemente.",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "eae01e6e-842e-452f-9721-d928c1b1cd52",
            "id": "AOAI.42",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Segregação ambiental",
            "text": "Mantenha os dados de produção separados dos dados de desenvolvimento e teste. Use apenas dados confidenciais reais na produção e utilize dados anônimos ou sintéticos em ambientes de desenvolvimento e teste.",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "1e54a29a-9de3-499c-bd7b-28dc93555620",
            "id": "AOAI.43",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Segregação de índice",
            "text": "Se você tiver níveis variados de confidencialidade de dados, considere criar índices separados para cada nível. Por exemplo, você pode ter um índice para dados gerais e outro para dados confidenciais, cada um regido por diferentes protocolos de acesso",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "2bfe4564-b0d8-434a-948b-263e6dd60512",
            "id": "AOAI.44",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Dados confidenciais em instâncias separadas",
            "text": "Leve a segregação um passo adiante, colocando conjuntos de dados confidenciais em diferentes instâncias do serviço. Cada instância pode ser controlada com seu próprio conjunto específico de políticas RBAC",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "a36498f6-dbad-438e-ad53-cc7ce1d7aaab",
            "id": "AOAI.45",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Incorporação e manipulação de vetores",
            "text": "Reconheça que incorporações e vetores gerados a partir de informações confidenciais são eles próprios sensíveis. Esses dados devem receber as mesmas medidas de proteção que o material de origem",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "3571449a-b805-43d8-af89-dc7b33be2a1a",
            "id": "AOAI.46",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/role-based-access-control",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Controle de acesso",
            "text": "Aplique o RBAC aos armazenamentos de dados com incorporações e vetores e acesso ao escopo com base nos requisitos de acesso da função",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "27f7b9e9-1be1-4f38-aef3-9812bd463cbb",
            "id": "AOAI.47",
            "link": "https://techcommunity.microsoft.com/t5/azure-architecture-blog/azure-openai-private-endpoints-connecting-across-vnet-s/ba-p/3913325",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Segurança de rede",
            "text": "Configurar o ponto de extremidade privado para serviços de IA para restringir o acesso ao serviço em sua rede",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "ac8ac199-ebb9-41a3-9d90-cae2cc881370",
            "id": "AOAI.48",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Segurança de rede",
            "text": "Imponha um controle estrito de tráfego de entrada e saída com o Firewall do Azure e UDRs e limite os pontos de integração externos",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "6f7c0cba-fe51-4464-add4-57e927138b82",
            "id": "AOAI.49",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Controle o acesso à rede",
            "text": "Implemente segmentação de rede e controles de acesso para restringir o acesso ao aplicativo LLM apenas a usuários e sistemas autorizados e evitar movimentos laterais",
            "waf": "Segurança"
        },
        {
            "category": "Otimização de custos",
            "guid": "7f42c78e-78cb-46a2-8ad1-90916e6a8d8f",
            "id": "AOAI.5",
            "link": "https://www.microsoft.com/research/blog/llmlingua-innovating-llm-efficiency-with-prompt-compression/",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Otimização de token",
            "text": "Use ferramentas de compactação imediatas como LLMLingua ou gprtrim",
            "waf": "Otimização de custos"
        },
        {
            "category": "Governança e segurança",
            "guid": "1102cac6-eae0-41e6-b842-e52f4721d928",
            "id": "AOAI.50",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/managed-identity",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "APIs e endpoints seguros",
            "text": "Certifique-se de que as APIs e os endpoints usados pelo aplicativo LLM estejam devidamente protegidos com mecanismos de autenticação e autorização, como identidades gerenciadas, chaves de API ou OAuth, para impedir o acesso não autorizado.",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "c1b1cd52-1e54-4a29-a9de-399cfd7b28dc",
            "id": "AOAI.51",
            "link": "https://techcommunity.microsoft.com/t5/azure-architecture-blog/security-best-practices-for-genai-applications-openai-in-azure/ba-p/4027885",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Implementar autenticação forte",
            "text": "Aplique mecanismos fortes de autenticação do usuário final, como autenticação multifator, para impedir o acesso não autorizado ao aplicativo LLM e aos recursos de rede associados",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "93555620-2bfe-4456-9b0d-834a348b263e",
            "id": "AOAI.52",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Usar o monitoramento de rede",
            "text": "Implemente ferramentas de monitoramento de rede para detectar e analisar o tráfego de rede em busca de atividades suspeitas ou maliciosas. Habilite o registro para capturar eventos de rede e facilitar a análise forense em caso de incidentes de segurança",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "6dd60512-a364-498f-9dba-d38ead53cc7c",
            "id": "AOAI.53",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Auditorias de segurança e testes de penetração",
            "text": "Realize auditorias de segurança e testes de penetração para identificar e resolver quaisquer pontos fracos ou vulnerabilidades de segurança de rede na infraestrutura de rede do aplicativo LLM",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "e1d7aaab-3571-4449-ab80-53d89f89dc7b",
            "id": "AOAI.54",
            "link": "https://learn.microsoft.com/azure/azure-resource-manager/management/tag-resources?tabs=json",
            "service": "Azure OpenAI",
            "severity": "Baixo",
            "subcategory": "Implantação de infraestrutura",
            "text": "Os Serviços de IA do Azure são marcados corretamente para melhor gerenciamento",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Governança e segurança",
            "guid": "77036e5e-6b4b-4ed3-b503-547c1347dc56",
            "id": "AOAI.55",
            "link": "https://learn.microsoft.com/azure/cloud-adoption-framework/ready/azure-best-practices/resource-abbreviations",
            "service": "Azure OpenAI",
            "severity": "Baixo",
            "subcategory": "Implantação de infraestrutura",
            "text": "As contas do Serviço de IA do Azure seguem as convenções de nomenclatura organizacional",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Governança e segurança",
            "guid": "028a71ff-e1ce-415d-b3f0-d5e772d41e36",
            "id": "AOAI.56",
            "link": "https://learn.microsoft.com/azure/ai-services/diagnostic-logging",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Log de diagnóstico",
            "text": "Os logs de diagnóstico nos recursos de serviços de IA do Azure devem ser habilitados",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gerenciamento de identidade e acesso",
            "guid": "11cc57b4-a4b1-4410-b439-58a8c2289b3d",
            "id": "AOAI.57",
            "link": "https://learn.microsoft.com/azure/ai-services/authentication",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Acesso baseado em ID de entrada",
            "text": "Recomenda-se que o acesso à chave (autenticação local) seja desabilitado por segurança.  Depois de desabilitar o acesso baseado em chave, o Microsoft Entra ID se torna o único método de acesso, o que permite manter o princípio de privilégio mínimo e o controle granular. ",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "6b57cfc6-5546-41e1-a3e3-453a3c863964",
            "id": "AOAI.58",
            "link": "https://learn.microsoft.com/azure/key-vault/general/best-practices",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Gerenciamento seguro de chaves",
            "text": "Armazene e gerencie chaves com segurança usando o Azure Key Vault. Evite codificar ou inserir chaves confidenciais no código do aplicativo LLM e recuperá-las com segurança do Azure Key Vault usando identidades gerenciadas",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "8b652d6c-15f5-4129-9539-8e6ded227dd1",
            "id": "AOAI.59",
            "link": "https://learn.microsoft.com/azure/key-vault/general/best-practices",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Rotação e expiração de chaves",
            "text": "Gire e expire regularmente as chaves armazenadas no Azure Key Vault para minimizar o risco de acesso não autorizado.",
            "waf": "Segurança"
        },
        {
            "category": "Otimização de custos",
            "guid": "adfe27be-e297-401a-a352-baaab79b088d",
            "id": "AOAI.6",
            "link": "https://github.com/openai/tiktoken",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Otimização de token",
            "text": "Use tiktoken para entender os tamanhos de token para otimizações de token no modo de conversação",
            "waf": "Otimização de custos"
        },
        {
            "category": "Governança e segurança",
            "guid": "42b06c21-d799-49a6-96f4-389a7f42c78e",
            "id": "AOAI.60",
            "link": "https://learn.microsoft.com/azure/security/develop/secure-dev-overview",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Prática de codificação segura",
            "text": "Siga práticas de codificação segura para evitar vulnerabilidades comuns, como ataques de injeção, cross-site scripting (XSS) ou configurações incorretas de segurança",
            "waf": "Segurança"
        },
        {
            "category": "Governança e segurança",
            "guid": "78c06a73-a22a-4495-9e6a-8dc4a20e27c3",
            "id": "AOAI.61",
            "link": "https://learn.microsoft.com/azure/devops/repos/security/github-advanced-security-dependency-scanning?view=azure-devops",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Patches e atualizações",
            "text": "Configure um processo para atualizar e corrigir regularmente as bibliotecas LLM e outros componentes do sistema",
            "waf": "Segurança"
        },
        {
            "category": "IA responsável",
            "guid": "e29711b1-352b-4eee-879b-588defc4972c",
            "id": "AOAI.62",
            "link": "https://learn.microsoft.com/legal/cognitive-services/openai/code-of-conduct",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Governança",
            "text": "Aderir aos termos de uso, políticas e diretrizes do Azure OpenAI ou de outros LLMs e casos de uso permitidos",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Otimização de custos",
            "guid": "d3cd21bf-7703-46e5-b6b4-bed3d503547c",
            "id": "AOAI.63",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/manage-costs#base-series-and-codex-series-fine-tuned-models",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Familiarização com custos",
            "text": "Entender a diferença no custo de modelos básicos e modelos ajustados e tamanhos de etapa de token",
            "waf": "Otimização de custos"
        },
        {
            "category": "Otimização de custos",
            "guid": "1347dc56-028a-471f-be1c-e15dd3f0d5e7",
            "id": "AOAI.64",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/latency#batching",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Processamento em lote",
            "text": "Solicitações em lote, sempre que possível, para minimizar a sobrecarga por chamada, o que pode reduzir os custos gerais. Certifique-se de otimizar o tamanho do lote",
            "waf": "Otimização de custos"
        },
        {
            "category": "Otimização de custos",
            "guid": "72d41e36-11cc-457b-9a4b-1410d43958a8",
            "id": "AOAI.65",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/manage-costs",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Monitoramento de custos",
            "text": "Configure um sistema de rastreamento de custos que monitore o uso do modelo e use essas informações para ajudar a informar as escolhas do modelo e solicitar tamanhos",
            "waf": "Otimização de custos"
        },
        {
            "category": "Otimização de custos",
            "guid": "166cd072-af9b-4141-a898-a535e737897e",
            "id": "AOAI.66",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/quota?tabs=rest#understanding-rate-limits",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Limite de token",
            "text": "Defina um limite máximo para o número de tokens por resposta do modelo. Otimize o tamanho para garantir que seja grande o suficiente para uma resposta válida",
            "waf": "Otimização de custos"
        },
        {
            "category": "Gestão de Operações",
            "guid": "71ca7da8-cfa9-462a-8594-946da97dc3a2",
            "id": "AOAI.67",
            "link": "https://learn.microsoft.com/azure/search/search-reliability",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Confiabilidade da pesquisa de IA",
            "text": "Examine as diretrizes fornecidas sobre como configurar a pesquisa de IA para confiabilidade",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "3266b225-86f4-4a16-92bd-ddea8a487cde",
            "id": "AOAI.68",
            "link": "https://learn.microsoft.com/azure/search/vector-search-index-size?tabs=portal-vector-quota",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Limites de vetor de pesquisa de IA",
            "text": "Planejar e gerenciar o armazenamento de vetores do AI Search",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "b4861bc3-bc14-4aeb-9e66-e8d9a3aec218",
            "id": "AOAI.69",
            "link": "https://learn.microsoft.com/azure/machine-learning/prompt-flow/how-to-end-to-end-llmops-with-prompt-flow?view=azureml-api-2",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "DevOps",
            "text": "Aplique as práticas do LLMOps para automatizar o gerenciamento do ciclo de vida de seus aplicativos GenAI",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Otimização de custos",
            "guid": "aa80932c-8ec9-4d1b-a770-26e5e6beba9e",
            "id": "AOAI.7",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/how-to/provisioned-throughput-onboarding#understanding-the-provisioned-throughput-purchase-model",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Modelo de Custeio",
            "text": "Avalie o uso de modelos de faturamento - PAYG vs PTU",
            "waf": "Otimização de custos"
        },
        {
            "category": "Gestão de Operações",
            "guid": "e6436b07-36db-455f-9796-03334bdf9cc2",
            "id": "AOAI.70",
            "link": "https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/how-to-control-azure-openai-models/ba-p/4146793",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "DevOps",
            "text": "Avaliar a qualidade de prompts e aplicativos ao alternar entre versões de modelo",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "3418db61-2712-4650-9bb4-7a393a080327",
            "id": "AOAI.71",
            "link": "https://learn.microsoft.com/azure/machine-learning/prompt-flow/concept-model-monitoring-generative-ai-evaluation-metrics?view=azureml-api-2",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Desenvolvimento",
            "text": "Avalie, monitore e refine seus aplicativos GenAI para recursos como fundamentação, relevância, precisão, coerência, fluência,",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "294798b1-578b-4219-a46c-eb5443513592",
            "id": "AOAI.72",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Desenvolvimento",
            "text": "Avaliar os resultados do Azure AI Search com base em diferentes parâmetros de pesquisa",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "2744293b-b628-4537-a551-19b08e8f5854",
            "id": "AOAI.73",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/fine-tuning-considerations",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Desenvolvimento",
            "text": "Olhe para os modelos de ajuste fino como forma de aumentar a precisão somente quando você tiver tentado outras abordagens básicas, como engenharia rápida e RAG com seus dados",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Gestão de Operações",
            "guid": "287d9cec-166c-4d07-8af9-b141a898a535",
            "id": "AOAI.74",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/advanced-prompt-engineering?pivots=programming-language-chat-completions",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Desenvolvimento",
            "text": "Use técnicas de engenharia rápida para melhorar a precisão das respostas do LLM",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Governança e segurança",
            "guid": "e737897e-71ca-47da-acfa-962a1594946d",
            "id": "AOAI.75",
            "link": "https://learn.microsoft.com/azure/ai-services/openai/concepts/red-teaming",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Auditorias de segurança e testes de penetração",
            "text": "Equipe vermelha de seus aplicativos GenAI",
            "waf": "Segurança"
        },
        {
            "category": "Gestão de Operações",
            "guid": "edb117e6-76aa-4f66-aca4-8e5a95f2223e",
            "id": "AOAI.76",
            "link": "https://www.microsoft.com/haxtoolkit/guideline/encourage-granular-feedback/",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Feedback do usuário final",
            "text": "Forneça aos usuários finais opções de pontuação para respostas LLM e acompanhe essas pontuações. ",
            "waf": "Excelência Operacional"
        },
        {
            "category": "Otimização de custos",
            "guid": "d5f3547c-c346-4d81-9028-a71ffe1b9b5d",
            "id": "AOAI.8",
            "link": "https://techcommunity.microsoft.com/t5/fasttrack-for-azure/optimizing-azure-openai-a-guide-to-limits-quotas-and-best/ba-p/4076268",
            "service": "Azure OpenAI",
            "severity": "Alto",
            "subcategory": "Gerenciamento de cotas",
            "text": "Considere as práticas de gerenciamento de cotas",
            "waf": "Otimização de custos"
        },
        {
            "category": "Gestão de Operações",
            "guid": "9de0d5d7-31d4-41e3-911c-817bfafbc410",
            "id": "AOAI.9",
            "link": "https://github.com/Azure/aoai-apim/blob/main/README.md",
            "service": "Azure OpenAI",
            "severity": "Média",
            "subcategory": "Balanceamento de carga",
            "text": "Use soluções de balanceador de carga, como gateway baseado em APIM, para balancear carga e capacidade entre serviços e regiões",
            "waf": "Excelência Operacional"
        }
    ],
    "metadata": {
        "name": "Azure OpenAI Review",
        "state": "Preview",
        "timestamp": "July 24, 2024",
        "waf": "all"
    },
    "severities": [
        {
            "name": "Alto"
        },
        {
            "name": "Média"
        },
        {
            "name": "Baixo"
        }
    ],
    "status": [
        {
            "description": "Esta verificação ainda não foi analisada",
            "name": "Não verificado"
        },
        {
            "description": "Há um item de ação associado a essa verificação",
            "name": "Abrir"
        },
        {
            "description": "Essa verificação foi verificada e não há mais itens de ação associados a ela",
            "name": "Cumprido"
        },
        {
            "description": "Recomendação compreendida, mas não necessária pelos requisitos atuais",
            "name": "Não é necessário"
        },
        {
            "description": "Não aplicável para o projeto atual",
            "name": "N/A"
        }
    ],
    "waf": [
        {
            "name": "Fiabilidade"
        },
        {
            "name": "Segurança"
        },
        {
            "name": "Custar"
        },
        {
            "name": "Operações"
        },
        {
            "name": "Desempenho"
        }
    ],
    "yesno": [
        {
            "name": "Sim"
        },
        {
            "name": "Não"
        }
    ]
}