🤖 Большое окно у модели — это не то, что ...

Дата публикации: 12-10-2026 10:42:32

🤖 Большое окно у модели — это не то, что вы думаете
Мы взяли книгу, нарезали её на куски 100, 300 и 600 тысяч знаков и заставили модель отвечать. Разницы — ноль. И это важнее, чем кажется.
Все спорят, у какой модели «окно» больше: 128 тысяч токенов, миллион, четыре миллиона. Мы решили не спорить,
а измерить. Взяли настоящий текст, задали 10 вопросов и прогнали на трёх длинах.
Результат: 50 % верных на 100 тысячах знаков, 50 % на 300, 50 % на 600. Никакого падения.
То есть на этом объёме «размер окна» вообще не влияет — влияет что именно вы спрашиваете.
Дальше стало интереснее. Мы разделили вопросы на два типа:
вопрос, ответ на который лежит в одном месте текста — модель ответила верно в 3 случаях из 20;
вопрос, который требует связать два места, разнесённых на сотни тысяч знаков — верно в 13 из 20.
Казалось бы, должно быть наоборот: чем сложнее задача, тем хуже результат. Но модель «спотыкается»
именно на близкой информации — и не потому, что не видит её, а потому что у неё нет задачи её держать.
Она уверенно пересказывает общий контекст и теряет мелкую деталь. А далёкую связь находит, потому что
вопрос прямо заставляет искать.
Что это значит практически. Когда вам говорят «у нас контекст на миллион токенов», это не про то,
что модель качественно отработает ваш документ. Проверять надо не размер окна, а свой тип вопроса.
И проверять — на своём тексте, а не на чужой картинке с графиком.
Мы для этого сделали тест: документ, 30 вопросов с точным указанием места ответа, шесть метрик,
сырые данные и скрипт, которым всё воспроизводится. Один прогон стоит дешевле обеда.
Вопрос к вам: есть ли у вас (или в вашей работе) документ, на котором ломается любая модель —
договор, отчёт, инструкция, чужой длинный код? Напишите в комментариях, что это за тип документа —
нам интересно собрать статистику «где именно ломается» на реальных примерах, а не на синтетике.
ии #нейросети #разбор #длинныйконтекст

Схожие новости

#	Наименование новости	Тональность	Информативность	Дата публикации
1	Мы взяли книгу, нарезали её на куски 100, 300 и ...	0	12.62	08-10-2026
2	💸 Мы посчитали, за что платим, когда ИИ работает. Оказалось ...	0	14.5	12-10-2026
3	Мы посчитали, за что платим, когда ИИ работает. Оказалось — ...	0	14.49	08-10-2026
4	Tokens, contexto y memoria: por qué tu IA «olvida» cosas y cómo aprovechar los límites	0	7.3	27-09-2026
5	Нейросеть — это Ferrari, а ты забыл залить бензин и ...	0	7.1	11-10-2026
6	Как мы дописываем оборванные ответы языковой модели и почему склейка оказалась сложнее, чем кажется	0	6	24-09-2026
7	Про ИИ и нейросети... Я очень часто встречаюсь с заблуждениями ...	0	5.44	01-10-2026
8	Омнимодель для Алисы AI: как нам удалось подружить VLM и LLM	0	7.4	03-09-2026
9	📚 Мы проверили 2 816 научных работ. Три оказались отозваны ...	-1	8.38	12-10-2026
10	85 % на шаг — это 20 % на десяти ...	1	13.61	08-10-2026

Классификация: Мнения. Схожих патентов: 0. Схожих новостей: 10. Тональность: 0. Информативность: 10.96. Источник: vk.com.