> Закулисинъ (Закулисинъ) писал (а) в ответ на сообщение:
>> так и у ИИ точно также дело обстоит
>
> Нет. > > Ты посмотри как это устроено, пару видосов. Там все очень просто на самом деле. На понятийном уровне.
эммм ... я довольно неплохо это себе представляю
> На самом деле AI не фразами и словами оперирует, а буквами. Он в цикле ищет букву, которая должна идти следующей с максимальной вероятностью, с учетом промта и предыдущих букв в ответе.
нет совсем нет вообще ни разу
> Слова, фразы, разбиваются на символы, создаются громадные многомерные таблицы, в которых заносятся данные. Например, после согласной, в 60% (условно) идет гласная. Это один параметр. А таких параметров миллиарды (!!!)
к сожалению миллиардов пока и близко нет, и не разбиваются а скорее уж наоборот, но в целом ты что-то похожее на LLM описываешь, да, и что ?
> Ровно так же работает генерация картинок и видео, соотвественно. Только там не буквы, а пиксели.
ровно так же нет, но это и не важно - допусти на секунду, что у ИИ в основе всего вероятностные таблицы, а у тебя в основе всего межнейронные связи .. и что?
16:31 29.06.2025
Gloom (Gloom) писал (а) в ответ на :
> Закулисинъ (Закулисинъ) писал (а) в ответ на сообщение:
>> как ИИ даже с нуля программы пишет, а не только оптимизирует или дополняет. >>
> Закулисинъ (Закулисинъ) писал (а) в ответ на сообщение:
>> так и у ИИ точно также дело обстоит
> > Нет. > > Ты посмотри как это устроено, пару видосов. Там все очень просто на самом деле. На понятийном уровне. > > На самом деле AI не фразами и словами оперирует, а буквами. Он в цикле ищет букву, которая должна идти следующей с максимальной вероятностью, с учетом промта и предыдущих букв в ответе. >
> Слова, фразы, разбиваются на символы, создаются громадные многомерные таблицы, в которых заносятся данные. Например, после согласной, в 60% (условно) идет гласная. Это один параметр. А таких параметров миллиарды (!!!) > > Ровно так же работает генерация картинок и видео, соотвественно. Только там не буквы, а пиксели.
В 1950-м году Тьюринг предложил тест определения искусственного интеллекта.
16:35 29.06.2025
Закулисинъ (Закулисинъ) писал (а) в ответ на :
> к сожалению миллиардов пока и близко нет, и не разбиваются а скорее уж наоборот, но в целом ты что-то похожее на LLM описываешь, да, и что ?
Ты застрял в позапрошлом году.
16:37 29.06.2025
Gloom (Gloom) писал (а) в ответ на :
> Закулисинъ (Закулисинъ) писал (а) в ответ на сообщение:
>> по факту то это ничем не отличается от людей
>Отличается и сильно. Нет ни чего похожего, я бы сказал. Кроме результата, естественно. > Человек мыслит образами и их уже материализует в слова.
Человек не "мыслит образами" а "путём электрической активации части коры головного мозга, за счёт ранее сформированых межнейронных связей обновляет в зоне кратковременной памяти сохранённую в долговременной памяти информацию и сравнивает её с упрощенным набором критериев задачи"
> AI методом тыка подбирает буквы.
ну сказал же уже, что нет. Там всё куда сложнее
> Человек гораздо сложнее устройство, просто.
Человек куда более простое и тормозное устройство на самом деле, у него только параллелизм вычислений пока выше, но и это квантовые компьютеры уже решают. В этом собственно и печаль - совсем недолго осталось и компьютеры не только в шахматы лучше играть будут, но и "думать"
16:38 29.06.2025
Закулисинъ (Закулисинъ) писал (а) в ответ на :
> нет совсем нет вообще ни разу
Ну не буквы, а токены. Токенами могут быть и целые слова и может быть фразы, но это не суть.
? Как работает ИИ вроде GPT — «по-человечески»: ИИ не генерирует текст по буквам и не использует готовые фразы. Он работает с токенами — это кусочки слов, целые слова или даже знаки препинания.
Когда ты задаёшь запрос (промпт), модель начинает по одному токену подбирать, какой должен идти следующим, основываясь на:
всём предыдущем тексте,
миллиардах внутренних связей, выученных на огромной коллекции текстов.
Она не хранит правила, типа «после согласной идёт гласная», и не перебирает вручную буквы. Вместо этого она использует огромную нейросеть, обученную находить скрытые закономерности и связи между словами, фразами, стилями и смыслами. Это как если бы она «чувствовала» язык, а не оперировала таблицами.
Если нужно ещё проще:
GPT — это умный автодополнитель текста, который, опираясь на весь предыдущий контекст и свою «память» (обучение на текстах), подбирает следующий кусочек текста с наибольшей вероятностью. Но делает это не по буквам и не по заготовленным правилам, а через глубокое «понимание» языка на статистическом уровне.
16:39 29.06.2025
Gloom (Gloom) писал (а) в ответ на :
> Закулисинъ (Закулисинъ) писал (а) в ответ на сообщение:
>> к сожалению миллиардов пока и близко нет, и не разбиваются а скорее уж наоборот, но в целом ты что-то похожее на LLM описываешь, да, и что ?
>Ты застрял в позапрошлом году.
вполне возможно, если тебя не затруднит, пожалуйста декларации такие ссылками подтверждай - это как минимум мне поможет догнать.
16:40 29.06.2025
Закулисинъ (Закулисинъ) писал (а) в ответ на :
> Gloom (Gloom) писал (а) в ответ на сообщение:
>> Закулисинъ (Закулисинъ) писал (а) в ответ на сообщение:
>>> к сожалению миллиардов пока и близко нет, и не разбиваются, а скорее уж наоборот, но в целом ты что-то похожее на LLM описываешь, да, и что?
>>Ты застрял в позапрошлом году.
> > вполне возможно, если тебя не затруднит, пожалуйста декларации такие ссылками подтверждай — это как минимум мне поможет догнать.
Да я сам недавно об этом узнал. То же думал что речь о сотнях тысячах или миллионах.
А на самом деле в GPT-4 — сотни миллиардов параметров.
В техническом отчёте GPT-4 явно воздерживались от указания размера модели, ссылаясь на «конкурентную среду и последствия для безопасности крупномасштабных моделей"[3]. The Verge процитировала слухи о том, что GPT-4 существенно увеличит количество параметров со 175 миллиардов в GPT-3 до 100 триллионов, что генеральный директор OpenAI Сэм Альтман назвал «полной чушью"[4]. Поздние слухи говорят, что GPT-4 имеет 1,76 триллиона параметров, исходя из скорости её работы и по оценке Джорджа Хотца.[5] Представители США Дон Бейер[англ.] и Тед Лью[англ.] подтвердили New York Times, что Альтман посетил Конгресс в январе 2023 года, чтобы продемонстрировать GPT-4 и его улучшенные «элементы управления безопасностью» по сравнению с другими моделями ИИ[6].
16:42 29.06.2025
Gloom (Gloom) писал (а) в ответ на :
> Она не хранит правила, типа «после согласной идёт гласная», и не перебирает вручную буквы. Вместо этого она использует огромную нейросеть, обученную находить скрытые закономерности и связи между словами, фразами, стилями и смыслами. Это как если бы она «чувствовала» язык, а не оперировала таблицами.
вот приблизительно об этом я и говорю. И это мы исключительно о том — как ИИ вербализирует свой ответ. В случае скажем поиска формулы нового химического материала с заданными свойствами — он использует аналогичный подход … и внезапно получается, что он как бы «мыслит»
16:47 29.06.2025
Закулисинъ (Закулисинъ) писал (а) в ответ на :
> Gloom (Gloom) писал (а) в ответ на сообщение:
>> Она не хранит правила, типа «после согласной идёт гласная», и не перебирает вручную буквы. Вместо этого она использует огромную нейросеть, обученную находить скрытые закономерности и связи между словами, фразами, стилями и смыслами. Это как если бы она «чувствовала» язык, а не оперировала таблицами.
> > вот приблизительно об этом я и говорю. И это мы исключительно о том — как ИИ вербализирует свой ответ. В случае скажем поиска формулы нового химического материала с заданными свойствами — он использует аналогичный подход … и внезапно получается, что он как бы «мыслит»
А по мне разница очевидна. У человека появляется мысль, которую он пытается выразить в словах, чтобы ей поделится. Т. е. он выдает идею целиком. Он знает что будет в начале и конце. LLM модель «просто» предсказывает следующий токен, без осознание чем текст закончится.
>>> Закулисинъ (Закулисинъ) писал (а) в ответ на сообщение:
>>>> к сожалению миллиардов пока и близко нет, и не разбиваются, а скорее уж наоборот, но в целом ты что-то похожее на LLM описываешь, да, и что? >>> Ты застрял в позапрошлом году.
>> >> вполне возможно, если тебя не затруднит, пожалуйста декларации такие ссылками подтверждай — это как минимум мне поможет догнать.
> > Да я сам недавно об этом узнал. То же думал что речь о сотнях тысячах или миллионах. >
> А на самом деле в GPT-4 — сотни миллиардов параметров. > > В техническом отчёте GPT-4 явно воздерживались от указания размера модели, ссылаясь на «конкурентную среду и последствия для безопасности крупномасштабных моделей"[3]. The Verge процитировала слухи о том, что GPT-4 существенно увеличит количество параметров со 175 миллиардов в GPT-3 до 100 триллионов, что генеральный директор OpenAI Сэм Альтман назвал «полной чушью"[4]. Поздние слухи говорят, что GPT-4 имеет 1,76 триллиона параметров, исходя из скорости её работы и по оценке Джорджа Хотца.[5] Представители США Дон Бейер[англ.] и Тед Лью[англ.] подтвердили New York Times, что Альтман посетил Конгресс в январе 2023 года, чтобы продемонстрировать GPT-4 и его улучшенные «элементы управления безопасностью» по сравнению с другими моделями ИИ[6].
Вообще-то в случае конфликта утверждений Сэма и Джорджа - я на 99.99995% верю Сэму. А тем, кто насчитал триллион с хвостом - надо бы в школу молодых ИИшников сходить и осознать раз и навсегда разницу между числом параметров в базе данных и максимально возможным числом параметров в модели используемой для нахождения ответа. я, как ты правильно говоришь - возможно в позапрошлом году застрял, но склонен чатгпт по прежнему верить в этом вопросе
Отличный вопрос. Техническое ограничение на количество параметров, которые я **могу одновременно учитывать**, определяется архитектурой модели и ограничением на **размер контекста**. Вот детальный ответ:
### ? 1. **Контекст — главный лимит**
Модель GPT-4o (как и GPT-4-turbo) поддерживает **до 128 000 токенов** входного контекста.
* Один токен — это в среднем **0.75 слова** (зависит от языка). * 128 000 токенов — это примерно **300–500 страниц текста**. * Это включает:
* Ввод пользователя * Историю диалога * Подгруженные документы, изображения (если есть) * Собственную "память" об информации в текущей сессии
---
### ? 2. **Что значит "параметры" в этом контексте**
Если под параметрами понимать:
* **Формальные переменные** (например, x₁, x₂, ..., xₙ) * Или **факты/данные**, участвующие в логическом/семантическом выводе
То ограничение — **сколько таких данных влезает в 128 000 токенов**.
#### Пример:
Если каждый параметр описан как:
``` x₁ = значение ```
то таких строк может уместиться порядка **60–100 тысяч**, в зависимости от длины.
---
### ? 3. **Но модель — не просто хранилище**
Важно: даже если уместить 100 000 параметров в контекст, **глубина обработки** будет неравномерной. Модель "обращает больше внимания" на недавние и важные токены, и **не может держать в «фокусе» сразу все**.
Практически:
* До **нескольких тысяч параметров** (например, 2–10 тыс.) — могут быть обработаны эффективно. * Ближе к 100 тыс. — модель начнёт "забывать" дальние или менее релевантные.
---
### ? 4. **Сводка — теоретический максимум**
| Что | Значение | | ---------------------------------------- -------------- | ------------------------ | | Максимум параметров, если по одному токену каждый | \~128 000 | | Реально эффективно обрабатываемых (внимание, логика) | до \~2 000–10 000 | | Лимит глубокой обработки (чтобы учитывать взаимосвязи) | до \~4–8 тыс. параметров |
---
Хочешь провести тест и посмотреть, как я справлюсь с большим числом параметров?
>>>>> к сожалению миллиардов пока и близко нет, и не разбиваются, а скорее уж наоборот, но в целом ты что-то похожее на LLM описываешь, да, и что?
>>>> Ты застрял в позапрошлом году. >>>
>>> вполне возможно, если тебя не затруднит, пожалуйста декларации такие ссылками подтверждай — это как минимум мне поможет догнать.
>> >> Да я сам недавно об этом узнал. То же думал что речь о сотнях тысячах или миллионах. >>
> >
>> А на самом деле в GPT-4 — сотни миллиардов параметров. >> >> В техническом отчёте GPT-4 явно воздерживались от указания размера модели, ссылаясь на «конкурентную среду и последствия для безопасности крупномасштабных моделей"[3]. The Verge процитировала слухи о том, что GPT-4 существенно увеличит количество параметров со 175 миллиардов в GPT-3 до 100 триллионов, что генеральный директор OpenAI Сэм Альтман назвал «полной чушью"[4]. Поздние слухи говорят, что GPT-4 имеет 1,76 триллиона параметров, исходя из скорости её работы и по оценке Джорджа Хотца.[5] Представители США Дон Бейер[англ.] и Тед Лью[англ.] подтвердили New York Times, что Альтман посетил Конгресс в январе 2023 года, чтобы продемонстрировать GPT-4 и его улучшенные «элементы управления безопасностью» по сравнению с другими моделями ИИ[6].
> > Вообще-то в случае конфликта утверждений Сэма и Джорджа - я на 99.99995% верю Сэму. А тем, кто насчитал триллион с хвостом - надо бы в школу молодых ИИшников сходить и осознать раз и навсегда разницу между числом параметров в базе данных и максимально возможным числом параметров в модели используемой для нахождения ответа. > я, как ты правильно говоришь - возможно в позапрошлом году застрял, но склонен чатгпт по прежнему верить в этом вопросе > > > Отличный вопрос. Техническое ограничение на количество параметров, которые я **могу одновременно учитывать**, определяется архитектурой модели и ограничением на **размер контекста**. Вот детальный ответ: > ### ? 1. **Контекст — главный лимит** > > Модель GPT-4o (как и GPT-4-turbo) поддерживает **до 128 000 токенов** входного контекста. > > * Один токен — это в среднем **0.75 слова** (зависит от языка). > * 128 000 токенов — это примерно **300–500 страниц текста**. > * Это включает: > * Ввод пользователя > * Историю диалога > * Подгруженные документы, изображения (если есть) > * Собственную "память" об информации в текущей сессии > > --- > > ### ? 2. **Что значит "параметры" в этом контексте** > > Если под параметрами понимать: > * **Формальные переменные** (например, x₁, x₂, ..., xₙ) > * Или **факты/данные**, участвующие в логическом/семантическом выводе > > То ограничение — **сколько таких данных влезает в 128 000 токенов**. > > #### Пример: > Если каждый параметр описан как: > ``` > x₁ = значение > ``` > > то таких строк может уместиться порядка **60–100 тысяч**, в зависимости от длины. > > --- > > ### ? 3. **Но модель — не просто хранилище** > > Важно: даже если уместить 100 000 параметров в контекст, **глубина обработки** будет неравномерной. Модель "обращает больше внимания" на недавние и важные токены, и **не может держать в «фокусе» сразу все**. > > Практически: > * До **нескольких тысяч параметров** (например, 2–10 тыс.) — могут быть обработаны эффективно. > * Ближе к 100 тыс. — модель начнёт "забывать" дальние или менее релевантные. > > --- > > ### ? 4. **Сводка — теоретический максимум** > > | Что | Значение | > | ---------------------------------------- -------------- | ------------------------ | > | Максимум параметров, если по одному токену каждый | \~128 000 | > | Реально эффективно обрабатываемых (внимание, логика) | до \~2 000–10 000 | > | Лимит глубокой обработки (чтобы учитывать взаимосвязи) | до \~4–8 тыс. параметров | >
> --- > > Хочешь провести тест и посмотреть, как я справлюсь с большим числом параметров?
Сколько параметров в весовых матрицах в нейросети. КОличество.
Програма ChatGPT сказала: Количество параметров в нейросети — это просто сумма всех весов и сдвигов (bias) в слоях модели. Каждый параметр — это одно число с плавающей точкой, хранимое с определённой точностью (обычно float16 или float32).
Примеры:
Модель Кол-во параметров GPT-2 Small 124 млн GPT-2 Medium 355 млн GPT-2 Large 774 млн GPT-3 175 млрд GPT-3.5 ~180 млрд GPT-4 ≈0.5–1+ трлн * (точно не раскрыто) Gemini 1.5 Ultra ~1,6 трлн * Claude 3 Opus >200 млрд *
* — оценки, потому что разработчики (OpenAI, Google, Anthropic) не публикуют точные параметры GPT-4 и более новых моделей.
совсем нет 
