Explicabilidade e interpretabilidade

Interpretabilidade é o quanto uma pessoa consegue entender o mecanismo interno de um modelo: uma árvore de decisão é interpretável; uma rede neural profunda não é. Explicabilidade é a capacidade de dar uma razão compreensível para uma saída específica, mesmo em um modelo opaco, por meio de métodos que identificam os fatores que mais pesaram, de regras, ou, em LLMs, de citação de fontes e raciocínio explícito. A LGPD garante o direito a explicação de decisões automatizadas. Métodos como LIME e SHAP são as técnicas mais usadas para explicar modelos complexos.

Em Produto, decisões sobre pessoas exigem uma explicação que o afetado entenda: “seu pedido foi negado por X e Y”. Isso influencia a escolha do modelo: às vezes, um modelo mais simples e explicável vale mais do que 2 pontos de acurácia. Para LLMs, a citação de fonte é a forma prática de explicabilidade: a pessoa vê de onde veio a resposta. Por exemplo, um modelo de risco reporta os três fatores que mais pesaram na decisão, em linguagem de cliente, junto com o caminho para contestar.

Use interpretabilidade na escolha do modelo: o quanto se consegue entender por dentro. Use explicabilidade na entrega da decisão: por que este resultado. Use transparência para o sistema como um todo. Uma forma simples de diferenciar: interpretável é o modelo que se lê; explicável é a decisão que se justifica; transparente é o sistema que se apresenta.

Programa XAI da DARPA (2016); métodos LIME (Ribeiro et al., 2016) e SHAP (Lundberg & Lee, 2017).

Ribeiro et al., Why Should I Trust You? LIME (2016); Lundberg & Lee, SHAP (2017); LGPD, Art. 20