33 Validação de Sistemas Internos de Classificação de Riscos (Modelos de Ratings) dentro de um Contexto de Basileia II Validating Internal Risk Rating Models in a Basel II Context Carlos Antonio Campos Nogueira 34 O Acordo de Basileia II, na sua redação completa mais recente, de junho de 2006, apresenta uma série de requisitos que devem ser satisfeitos por um sistema interno de classificação de risco (ou IRRS, sigla em inglês de Internal Risk Rating System) que, em muitos casos é baseado, pelo menos parcialmente em um modelo estatístico, que chamaremos aqui de modelo de rating. Estaremos ao longo deste artigo utilizando esses termos como sinônimos, já que estaremos focando em exemplos de IRRS que são pelo menos parcialmente modelos estatísticos. The latest full draft of the Basel II Accord, dated June 2006, contains several requirements and internal risk rating system (IRRS) must meet. These models are often at least partly based on statistical models, which we will refer to as rating models. The terms will be used synonymously in this paper, given that we will address IRRS examples that at are at least partly statistical. Palavras chave: Modelo de Rating, IRSS (Internal Risk Rating System), Classificação de Risco Keywords: Rating Model, IRRS (Internal Risk Rating System), Risk Rating Alguns desses requisitos são prescritivos, como por exemplo, as quantidades de níveis (mínimo) de classificação de risco. Outros são mais subjetivos e deixados para a interpretação das IFs e de seus supervisores, tais como a necessidade de provar a estabilidade dos modelos, a adequação da filosofia de ratings, ou ainda a robustez da metodologia. Tentaremos abordar alguns desses aspectos sob a ótica de validação, visto que a unidade responsável por tal atividade, interna à Instituição Financeira, deverá estabelecer critérios para avaliar tanto os requisitos prescritivos e objetivamente quantificados quanto os aspectos mais subjetivos e qualitativos. Inicialmente, devemos subdividir a validação em seus dois componentes principais: 1. Validação do sistema de rating (IRRS) propriamente dito e das estimativas que ele produz para o parâmetro de risco a que ele foi projetado para prever, seja um modelo de PD (Probabilty of Default), de LGD (Loss Given Default) ou de EAD (Exposure at Default). Some of these requirements are prescriptive, such as the (minimum) number of risk rating levels. Others are more subjective and left to the interpretation of FIs and their regulators, such as the need to prove model stability, the rating philosophy’s adequacy, or the methodology’s robustness. We will attempt to address some of these aspects from the angle of validation, since the Financial Institution’s unit responsible for this activity will have to establish the criteria do evaluate both prescriptive and objectively qualified requirements and more subjective and qualitative ones. Let us first subdivide validation into its two main components: 1. Validation of the rating system (IRRS) proper and of the estimates it produces concerning the risk parameter it is designed to predict, whether it may be for PD (Probability of Default), LGD (Loss Given Default), or EAD (Exposure at Default). 35 2. Validação do processo de classificação de risco (rating), ou a qualidade dos procedimentos subjacentes à implantação do IRRS. A validação do IRRS por sua vez desdobra-se em duas partes: 1.1 – Validação do projeto do IRRS 1.2 – Validação das estimativas dos parâmetros de risco O diagrama a seguir ilustra os vários componentes do trabalho de validação de IRRSs: Validação interna pelo banco 2. Validation of the risk rating process, or the quality of the procedures underlying IRRS deployment. IRRS validation, in turn, is further divided into two elements: 1.1 – IRRS design validation 1.2 – Risk parameter estimates validation The chart next illustrates the various components of the IRRS validation effort: Avalia Exame dos Evaluates supervisores Internal validation Supervisory by individual bank examination Validação do Validação do sistema de rating processo de rating Validation of Validation of rating system rating process Projeto do modelo Componentes de risco Risk compoments Model design Backtesting PD Qualidade Relatórios e solução Uso interno pelos dos dados de problemas gestores de crédito Reporting and Internal use by problem handling credit officers Data quality Benchmarking LGD EAD A validação do projeto do IRRS baseado em modelos estatísticos inclui várias etapas, como, por exemplo: • A adequação da filosofia de rating e a robustez da metodologia utilizada, incluindo os Validation of a statistical modelbased IRRS design comprehends several stages, such as: • Adequacy of the rating philosophy and the robustness of the selected 36 conceitos fundamentais (também chamados de pontos-chave); • Avaliação qualitativa da técnica estatística de modelagem; • A relevância e representatividade das amostras de dados; • A temporalidade do histórico dos dados utilizados (se abrangem os períodos mínimos exigidos pelo Acordo, se incluem um ciclo econômico ou um ciclo de crédito (mais sobre esses conceitos adiante). Já a validação das estimativas dos parâmetros de risco passa por pelo menos duas etapas, basicamente: • O backtesting, que implica o uso de métodos estatísticos para comparar as estimativas dos valores previstos pelo modelo para um determinado parâmetro de risco, digamos a PD, com os valores efetivamente realizados em um determinado período. • Os testes de estresse, que visam verificar o comportamento do modelo quando as variáveis de input por ele utilizadas são forçadas a valores que refletem uma situação macroeconômica de estresse. A idéia é a de assegurar que o modelo consiga prever adequadamente o aumento da PD nessas situações (a chamada “PD estressada”). • O benchmarking, que é essencialmente a comparação dos parâmetros previstos pelo modelo com parâmetros previstos por modelos similares (para carteiras e pools de composição semelhante) fornecidos por modelos internos (de outras IFs controladas pelo mesmo grupo) ou externos (de agências, bureaux, etc.). A validação do processo de classificação de risco envolve, por seu lado: • Avaliação da qualidade dos dados utilizados • Como os problemas, desvios e inconsistências são reportados methodology, including key concepts (also referred to as key points); • Qualitative evaluation of the statistical modeling technique; • The relevance and representativeness of data samples; • The time aspect of the relevant data histories (whether they comprehend the minimum periods the Accord requires, whether they include an economic or credit cycle – more on these concepts ahead). Validation of risk parameter estimates, in turn, involves at least two stages, which are, essentially: • Backtesting, which implies using statistical models to compare the estimated values predicted by the model for a certain risk parameters, such as PD, with the actual figures observed in a certain period. • Stress tests, which aim to verify the model’s behaviors when the input variables it uses are increased to reflect an economic stress situation. The idea is to make sure that the model can properly predict the increase in PD under such circumstances (the so-called “stressed PD”). • Benchmarking, which is essentially a comparison of the parameters predicted by the model with those predicted by similar models (for similar portfolios and pools) as provided by internal (from other FIs in the same conglomerate) or external (agencies, bureaux, etc.) models. Finally, validating the risk rating process involves: • Evaluating the quality of the data used • How problems, deviations and inconsistencies are reported 37 • Como o IRRS é utilizado para as tomadas de decisão de crédito (comprovação ou “teste” de uso). Sobre a Adequação da Filosofia de Rating e da Metodologia Utilizada No caso de modelos de PD, que é o que estaremos abordando neste artigo, as duas filosofias de rating consideradas pela totalidade das Ifs são a PIT (Point in Time) e a TTC (Through the Cycle). A primeira utiliza nos seus modelos variáveis de input que refletem mais a situação econômica do momento e tendem a exibir grandes variações de PD em fases diferentes do ciclo econômico (booms e recessões). As IFs preferem IRRSs com filosofias PIT para estimativas de PD e também precificação de carteiras de varejo, especialmente de créditos rotativos, os chamados QRRE (Qualified Revolving Retail Exposures), como cheque especial e cartões de crédito. Já a filosofia TTC tende a utilizar mais dados comportamentais que refletem o desempenho dos clientes ao longo de um ciclo de crédito, sendo menos sensíveis a flutuações dos indicadores macroeconômicos. As IFs preferem esse tipo de filosofia para as estimativas de PD e precificação de carteiras de atacado. As duas filosofias podem ser misturadas em um mesmo modelo híbrido? Em tese isso deve ser evitado, já que pode gerar problemas de estabilidade do modelo. Entretanto, um “uso com moderação” (literalmente) de modelos com tal hibridização pode ser aceito, desde que sejam aplicados fatores de ajuste aos componentes TTC para refletir um efeito recessivo/ expansivo macroeconômico, harmonizando-os com os componentes PIT do mesmo modelo. Outro cuidado que deve ser tomado é o de tratar adequadamente as correlações de PDS (vide paper de Ozdemir and Miu – 2005). • How the IRRS is used to make credit decisions (usage proof or “trial”). On the Adequacy of the Rating Philosophy and of the Selected Methodology For PD models, which are the subject of this paper, the two rating philosophies FIs consider are PIT (Point in Time) and TTC (Through the Cycle). The former uses input variables that reflect the current economic situation and tend to show great PD variations between different phases of the economic cycle (booms and recessions). FIs prefer PIT IRRSs to price and estimate the PD of retail portfolios, especially the socalled QRREs (Qualified Revolving Retail Exposures), such as overdraft limits and credit cards. The TTC philosophy, in its turn, tends to used behavioral data that reflect how clients perform over the course of a credit cycle, and are less subject to the fluctuations of macro-economic indicators. FIs prefer this philosophy to price and estimate the PD of wholesale portfolios. Can the two philosophies be mixed in a hybrid model? In theory, this should be avoided, since it may lead to model stability issues. However “moderate use” (in the literal sense) of such hybrid models may be accepted, as long as adjustment factors apply to the TTC elements to reflect macro-economic retraction/expansion effects and attune them to the model’s PIT elements. Special attention must be given to the proper treatment of correlations (see paper authored by Ozdemir and Miu – 2005). 38 Pela natureza da evolução temporal de suas variáveis de input, o uso de ratings Point in Time geralmente agrega devedores com mesma PD não estressada, enquanto o uso de ratings Through the Cycle geralmente agrega devedores com mesma PD estressada. Ainda com relação às filosofias de rating, o comportamento de ratings PIT e TTC, tanto nas previsões em cenários normais com nas de cenário estressado pode ser bem entendido nos gráficos abaixo (fonte Working Paper 14 do BCBS: “Studies on the Validation of Internal Rating Systems”), que mostram a evolução dos ratings de um cliente hipotético ao longo do tempo. Gráfico 1 PIT Chart 1 PIT Due to the nature of the temporal evolution of the relevant input variables, the use of Point in Time ratings usually groups obligors with similar nonstressed PDs, while Through the Cycle ratings usually group together those with similar stressed PDs. Also as regards rating philosophies, the behavior of PIT and TTC ratings in ordinary and stressed forecasts can be understood based on the charts below (from BCBS Working Paper: “Studies on the Validation of Internal Rating Systems”), which show the evolution of a hypothetical customer over time. 39 PIT: Durante a fase de boom (expansão) do ciclo econômico, a PD não estressada diminui, portanto o rating do cliente aumenta. Durante a parte recessiva do ciclo econômico, o comportamento se inverte. Já a PD estressada flutua sem que haja mudança de rating. PIT: During economic cycle booms (expansions), the non-stressed PD drops and the client’s rating rises. The behavior reverses during the recessive portion of the cycle. The stressed PD, in turn, fluctuates without a change of rating. Gráfico 2 TTC Chart 2 TTC TTC: O rating do cliente flutua à medida que sua PD estressada varia durante o seu ciclo de negócios, mas é relativamente insensível aos períodos de expansão e recessão do ciclo econômico. Um resumo do comportamento dos ratings PIT e TTC durante o ciclo econômico pode ser obtido na tabela abaixo: TTC: A client’s rating fluctuates as his or her stressed PD varies during the business cycle, but is relatively insensitive to economic cycle booms and recessions. The table next summarizes the behavior of PIT and TTC ratings during the economic cycle: 40 Tabela 1 Correlação entre grupos de PD e o ciclo de negócios Propriedades dos PDs dos devedores Filosofia de Rating Point in Time Through the Cycle Não estressado Estável Negativo Estressado Positivo Estável Table 1 Correlation of pooled PDs with the business cycle Properties of obligor PDs Rating philosophy Point in Time Through the Cycle Unstressed Stable Negative Stressed Positive Stable Outros aspectos metodológicos Além da questão da filosofia de rating, devem ser verificados, durante a validação, os seguintes aspectos: Consistência da amostra utilizada na modelagem: Verifica se o desempenho do modelo (capacidade discriminatória e acurácia da previsão) se mantém quando selecionamos várias amostras diferentes (e de tamanhos distintos) dentro da mesma carteira/pool. Estabilidade do modelo: Verifica a variação da capacidade do modelo em prever corretamente à medida que o tempo passa durante o ciclo de crédito e novos dados são incluídos na base (novos clientes, mudanças nos valores dos inputs relativos a clientes já existentes, etc.). Outros aspectos metodológicos igualmente importantes são os conceitos que estão na base das definições de algumas das variáveis de input bem como no próprio output (os diferentes valores da escala de ratings). Entre eles temos: • A definição de default, que deve seguir os conceitos de Basileia II (vide Acordo ou Additional methodological aspects In addition to the rating philosophy, a validation must review the following aspects: Consistency of the modeling sample: Checks whether the model’s performance (discrimination and predictive accuracy) is maintained when different samples (and different sample sizes) are selected within the same category/pool. Model stability: Checks the model’s ability to correctly predict as time passes over the course of the credit cycle and new data enter the base (new clients, changes in input values for existing clients, etc.). Other equally important methodological aspects are the concepts that lie at the foundation of the input variables, as well as of the output itself (the different rating scale values). These include: • The definition of default, which must comply with Basel II concepts (see the 41 ainda o Comunicado 18.365/09 do BACEN para mais detalhes). • As definições de ciclo econômico (relativo a variáveis macroeconômicas), ciclo de crédito (ligado aos ciclos de demanda e oferta de crédito pela Indústria Financeira, e que nem sempre coincidem com o ciclo econômico) e ciclo de negócios, que está mais ligado ao ciclo da atividade de um cliente (corporativo no caso) ou a do segmento no qual ele atua (ou ainda em segmentos relacionados na mesma cadeia produtiva). Outro aspecto metodológico a ser validado é o da integridade do IRRS especialmente no caso do uso concomitante de modelos estatísticos, ratings externos (que podem ser usados como inputs mas não como outputs) e critérios julgamentais, tudo dentro de um IRRS híbrido. Embora tal uso seja permitido e até bastante comum, especialmente para carteiras de atacado em subsegmentos de PME, o uso indiscriminado e metodologicamente descuidado pode gerar tanto problemas de consistência quanto de estabilidade do sistema de classificação de risco. Validação das Estimativas dos Parâmetros de Risco Iniciando pelo backtesting, o objetivo da comparação com dados realizados visa medir a capacidade preditiva e discriminatória do modelo. Várias técnicas podem ser utilizadas, e os detalhes de cada uma transcendem o escopo de um artigo introdutório. Vamos limitar-nos aqui a listálas, solicitando ao leitor que recorra à bibliografia relacionada ao final desta matéria para detalhes de utilização e escopo de aplicação. • Taxa de acurácia (matriz de adesão) • Curva ROC (especificidade versus sensitividade do modelo) • Gráfico KS (Kolmogorov-Smirnov) • Taxa de Erro Bayesiana • Score de Brier Alguns exemplos: Accord, or Comunicado 18.365/09 of the Central Bank of Brazil for additional details). • The definitions of economic cycle (concerning macro-economic variables), credit cycle (linked to Financial Industry’s credit supply and demand, which do not always coincide with the economic cycle) and business cycle, which is more closely connected with a (corporate) client’s activity cycle, or to that of the segment in which the client operates (or segments associated with the same production chain). Another methodological aspect to validate concerns the integrity of the IRRS in the specific case of simultaneous use of statistical models, external ratings (which may be used as input, but not as output) and judgmental criteria, all in a single hybrid IRRS. Although this is permitted and actually rather common, especially for wholesale portfolios in PME subsegments, indiscriminate and methodologically careless use may generate both consistency and stability issues for the risk rating system. Validating Risk Parameter Estimates Starting with backtesting, the purpose of comparison wi-th actual data aims to measure a model’s ability to predict and discriminate. Several techniques may be used and their particulars are beyond the scope of an introductory paper. We will limit ourselves to listing them and asking readers to review the recommended literature at the end ot the article for additional details on usage and application scope. • Accuracy rate (fit matrix) • ROC Curve (model specificity vs. model sensitivity) • KS (Kolmogorov-Smirnov) Chart • Bayesian Error Rate • Brier Score Some illustrative examples: 42 Matriz de Adesão “0” efetivo “2” efetivo “4” efetivo Total Classificado como “0” 440 0 0 440 Classificado como “2” 0 518 3 521 Classificado como “4” 0 2 536 538 1499 Total 440 520 539 Prop de verdadeiros positivos 1,0 0,9962 0,9944 0,0021 Prop de falsos positivos 0,0 0,0031 Prop de verdadeiros negativos 1,0 0,9969 0,9979 Prop de falsos negativos 0,0 0,0038 0,0056 Sensibilidade 100,0% 99,62% 99,44% Especificidade 100,0% 99,69% 99,79% Fit Matrix Actual “0” Actual “2” Actual “4” Total Classified as “0” 440 0 0 440 Classified as “2” 0 518 3 521 Classified as “4” 0 2 536 538 1499 Total 440 520 539 True positive ratio 1.0 0.9962 0.9944 False positive ratio 0.0 0.0031 0.0021 True negative ratio 1.0 0.9969 0.9979 False negative ratio 0.0 0.0038 0.0056 Sensitivity 100.0% 99.62% 99.44% Especificity 100.0% 99.69% 99.79% Curva ROC ROC Curve 43 A execução de benchmarking visa verificar o quanto o modelo se ajusta a previsões de modelos externos, ou internos de carteiras similares. O resultado é normalmente resumido em uma matriz de transição, no caso mais conhecida como matriz de divergências. The purpose of benchmarking is to determine the model’s fit to external model predictions, or those of internal models for similar portfolios. The results are usually summarized as a transition matrix, also know, in this case, as divergence matrix. Ratings nº de Internos contratos AA+ AAA x1 4 2 2 x 12 8 7 1 x 13 5 W1 14 W 12 16 W 13 19 Y1 19 Y 12 21 Y 13 28 z1 27 D- D+ CC CCC- CCC CCC+ B- B B+ BB- BB BB+ BBB- 2 A+ AA- 3 15 6 1 3 18 5 1 2 1 4 3 1 k1 7 2 4 1 9 1 13 10 1 a1 4 4 a 12 0 2 2 2 6 2 4 k 12 3 6 1 k 13 12 9 1 2 1 12 3 3 4 1 13 1 4 1 1 11 2 A 1 1 12 220 A- 1 z 12 Totais BBB+ AA 3 z 13 a 13 BBB 1 4 1 2 1 1 1 1 2 2 1 0 0 0 0 0 0 5 2 14 10 7 14 30 25 25 19 20 19 6 8 10 6 D- D+ CC CCC- CCC CCC+ B- B B+ BB- BB BB+ BBB- BBB BBB+ A- A A+ AA- AA Internal # Ratings contracts AA+ AAA x1 4 2 2 x 12 8 7 1 x 13 5 1 1 W1 14 W 12 16 W 13 19 Y1 19 3 2 12 3 1 1 12 1 3 9 6 21 1 1 13 6 28 2 3 15 6 1 z1 27 3 18 5 1 2 1 11 12 1 3 1 4 3 1 4 1 k1 7 2 4 1 k 12 13 9 1 2 k 13 10 1 a1 4 4 a 12 0 a 13 2 Totals 220 0 0 0 0 0 0 5 2 2 2 14 A utilização de ratings externos com inputs nos modelos é aceita desde que se comprove ao supervisor que tais variáveis não são dominantes sobre os resultados das estimativas da PD, e conseqüentemente do rating final. 7 4 2 1 1 1 19 20 1 2 10 2 1 Y 12 z 12 4 1 Y 13 z 13 4 14 2 1 30 25 25 19 6 8 10 6 The use of external ratings as model inputs is accepted, as long as evidence is provided to the oversight authority that these variables are not predominant in PD estimate outputs and, consequently, in the final rating. 44 Com Relação ao Histórico de Dados das Variáveis Utilizadas pelo IRRS A referência oficial mais atual nesse caso é o Comunicado 18.365 do BACEN de 22/04/2009 sobre orientações preliminares (pontos-chave), cujos trechos pertinentes relacionamos a seguir: “Parágrafo 26: Os períodos mínimos de cobertura dos dados nas abordagens IRB, exceto durante o período de transição, para emprego das referidas abordagens são os seguintes: I - para as exposições classificadas na categoria “varejo”, as estimativas dos parâmetros PD, LGD e EAD devem considerar dados relativos, no mínimo, aos cinco anos anteriores; II - para as exposições classificadas na categoria “participações societárias”, as estimativas do parâmetro PD empregadas na abordagem PD/LGD devem considerar dados relativos, no mínimo, aos cinco anos anteriores; III - para as demais exposições as estimativas do parâmetro PD devem considerar dados relativos, no mínimo, aos cinco anos anteriores e as estimativas dos parâmetros LGD e EAD devem considerar dados relativos, no mínimo, aos sete anos anteriores, compreendendo, preferencialmente, um ciclo econômico completo. Os períodos mínimos de cobertura dos dados nas abordagens IRB, exceto durante o período de transição, para emprego das referidas abordagens são os seguintes: I - para as exposições classificadas na categoria “varejo”, as estimativas dos parâmetros PD, LGD e EAD devem considerar dados relativos, no mínimo, aos cinco anos anteriores; II - para as exposições classificadas na categoria “participações societárias”, as estimativas do parâmetro PD empregadas na abordagem PD/LGD devem considerar dados relativos, no mínimo, aos cinco anos anteriores; III - para as demais exposições as estimativas do parâmetro PD devem considerar On the Data Histories for IRRS Variables The latest official reference in this case is Comunicado 18.365 from the Central Bank of Brazil, issued on April 22nd, 2009, on preliminary guidelines (key points), whose main elements are listed next: “Paragraph 26: the minimum data coverage periods for IRB approaches, except foer the duration of the transition period, for the purposes of the use of said approaches, are as follows: I - for exposures in the “retail” category, the estimates for PD. LGD and EAD parameters must take account of data covering the five preceding years at least; II - for exposures in the “stockholdings” category, PD parameter estimates used in the PD/LGD approach must take account of data covering the five preceding years at least; III - for other exposures, PD parameter estimates must consider data covering the five preceding years at least, and LGD and EAD parameter estimates must take account of data covering the seven preceding years at least, preferably to comprehend a full economic cycle. Minimum data coverage periods for IRB approaches, except for the duration of the transition, periods, for the use of said approaches, are as follows: I - for exposures in the “retail” category, the estimates for PD. LGD and EAD parameters must take account of data covering the five preceding years at least; II - for exposures in the “stockholdings” category, PD parameter estimates used in the PD/LGD approach must take account of data covering the five preceding years at least; 45 Autor/Author dados relativos, no mínimo, aos cinco anos anteriores e as estimativas dos parâmetros LGD e EAD devem considerar dados relativos, no mínimo, aos sete anos anteriores, compreendendo, preferencialmente, um ciclo econômico completo.” Em síntese, todo o processo de validação deve seguir as premissas básicas do acordo, considerando também as melhores práticas de mercado, as metodologias mais ampla e profundamente testadas, bem como as técnicas estatísticas de desenvolvimento e testes mais aceitas e difundidas na Indústria Financeira. III - for other exospores, PD parameter estimates must consider data covering the five preceding years at least, and LGD and EAD parameter estimates must take account of data covering the seven preceding years at least, preferably to comprehend a full economic cycle.” In sum, the entire validation process must abide by the basic assumptions of the Accord, and take account of best practices, the most broadly and comprehensively tested methodologies, and the most accepted and disseminated statistical development and testing techniques in the Financial Industry. Carlos Antonio Campos Nogueira É graduado em Física (PUC - RJ) e é Mestre em Astrofísica e Partículas Elementares (Centro Brasileiro de Pesquisas Físicas CBPF/CNPQ). Líder de prática na área de consultoria de TI, tem 27 anos de experiência contínua, tendo atendido mais de 40 empresas em cerca de 70 projetos. É Sócio-Diretor e fundador da empresa IntelliSearch. E-mail [email protected] Is a Physics graduate (PUC - RJ) and holds a Master’s degree in Astrophysics and Elementary Particles (Centro Brasileiro de Pesquisas Físicas - CBPF/CNPQ). As a practice leader in IT consultancy, he has 27 years’ continues experience, having provided services to over 40 Bibliografia/Bibliography companies in close to 70 projects. He is managing partner and founder of IntelliSearch. E-mail [email protected] Acordo de Basileia “International Convergence of Capital Measurement and Capital Standards: A Revised Framework - Comprehensive Version” (versão de junho de 2006): http://www.bis.org/publ/bcbs128.pdf Comunicado 18.365 do BACEN de 22/04/2009 sobre orientações preliminares (pontos-chave) para a implantação de modelos internos de risco de crédito. Working Paper 14 “Studies on the Validation of Internal Rating Systems”: http://www.bis.org/publ/bcbs_wp14. pdf?noframes=1 Measuring and Managing Credit Risk Servigny and Renault (MC Graw Hill) Basel II Implementation – A Guide to Developing and Validating a Compliant, IRRS - Ozdemir, Miu (MC Graw Hill) A Matriz de Adesão e a Curva ROC foram obtidas a partir de um modelo construído com base no NeuroShell Classifier, da Ward Systems.