Model card e system card

Model card é um documento padronizado que descreve um modelo: finalidade e usos pretendidos, usos fora de escopo, dados de treinamento, métricas de desempenho (inclusive por grupo), limitações conhecidas, riscos e mitigações, avaliações de segurança, dono e data. System card estende a ideia para o sistema inteiro: prompts, ferramentas, guardrails, evals, e não apenas o modelo. Fornecedores publicam model cards de seus modelos; empresas deveriam manter system cards de suas capacidades.

Em Produto, toda capacidade em produção deveria ter um system card de 1 a 3 páginas, mantido pelo PM. É o documento que responde “o que isso faz, o que não faz e como sabemos que funciona”. Ao escolher um fornecedor, vale ler o model card do modelo: as limitações documentadas ali se aplicam ao seu produto. Por exemplo, o system card do assistente de sinistros diz: não cobre contratos empresariais; fidelidade de 0,94 no eval de 300 casos; escalona quando a confiança é menor que 0,7.

Use model card para documentar o modelo. Use system card para documentar a capacidade completa. Use datasheet para documentar o conjunto de dados. Use contrato de capacidade para a interface com outros times. Uma forma simples de diferenciar: model card é a ficha do modelo; system card é a ficha do produto; datasheet é a ficha dos dados.

Model cards: Mitchell et al. (Google, 2019). System cards: OpenAI e Anthropic (2022-2023) para documentar o sistema completo, não só o modelo.

Mitchell et al., Model Cards for Model Reporting (2019); Anthropic, Claude System Cards