В этой статье я расскажу, как решающее дерево, случайный лес, бустинг и даже многослойная нейросеть упираются в один и тот же потолок на данных кредитного скоринга. Ход экспериментаВ качестве датасета были взяты данные кредитного скоринга с https://www.kaggle.com/competitions/GiveMeSomeCredit. Сначала мы обучили решающее дерево, с кросс-валидацией. График зависимости roc-auc от количества элементов выборки (Ореол вокруг кривой – это дисперсия (разброс) при кроссвалидации):
| # | Наименование новости | Тональность | Информативность | Дата публикации |
|---|---|---|---|---|
| 1 | Базовые нейросетевые модели для кредитного скоринга физических лиц | 0 | 8.62 | 20-06-2026 |
| 2 | Разбираемся в ML без воды: от базы до Attention. Часть 9: Дерево решений | 0 | 8.15 | 08-06-2026 |
| 3 | Pipeline в машинном обучении: как создавать сложные модели без боли и утечек данных | 0 | 7.77 | 07-06-2026 |
| 4 | Масштабируемость ML-алгоритмов при увеличении вычислительных ресурсов | 0 | 17.69 | 04-06-2026 |
| 5 | Отказ от ответа в табличной классификации: max-prob, entropy и conformal sets на CatBoost | 0 | 10.81 | 09-03-2026 |
| 6 | predict_proba выдаёт 0.9 — но это не вероятность 90% | 0 | 12.82 | 02-06-2026 |
| 7 | Откуда в обучении берётся nan: численная нестабильность в ML и почему всё считают в логарифмах | 0 | 6.4 | 11-06-2026 |
| 8 | Компрессор для данных или как я написал свой первый custom transformer | 0 | 10.9 | 27-01-2026 |
| 9 | "Российская газета": россияне в 2019 году получат персональные кредитные рейтинги | 0 | 0 | 27-08-2018 |
| 10 | LLM-судье нельзя верить на слово: как построить надёжный гейт и проверить сами тесты | 0 | 12.53 | 28-07-2026 |