ruGPT3XL идёт в качалку / поднимаем контекст до 8k

Дата публикации: 05-04-2026 08:23:00

Это продолжение предыдущей публикации про реставрацию ruGPT3XL. После того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	Как запихнуть килограмм LLM в телеграм-бота и не сойти с ума	0	6.18	19-05-2026
2	Память для LLM-чата на Python. Часть 3: добавляем историю сообщений и контекст	0	10.41	05-04-2026
3	Large-v3 на Ryzen 5500U: как я оцифровал архив диктофонных записей без GPU и облаков	0	12.15	26-02-2026
4	Как я обучил GPT с нуля на русском языке — и что из этого получилось	0	6.66	25-05-2026
5	LongConspectWriter: автоматическая генерация структурированных конспектов лекций на потребительском GPU	0	9.54	21-06-2026
6	Science‑purpose‑RAG: туда и обратно	0	8.45	28-06-2026
7	China AI Model Kimi K3 Scores Near Fable and GPT 5.6	0	16.98	16-07-2026
8	Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы	0	11.5	08-07-2026
9	**🚀 Kimi K3 vs Fable 5: кто кого на этот ...	0	11.39	28-07-2026
10	The Token Manifesto	5	7	17-07-2026

Классификация: Мнения. Схожих патентов: 0. Схожих новостей: 10. Тональность: -1. Информативность: 12.56. Источник: pythondigest.ru.