Эта тема — приглашение для математиков, статистов, программистов, аналитиков и всех тех, кто неравнодушен к современной технологии, позволяющей анализировать огромные массивы данных — Big Data. Вообщем, для пользователей с большими данными)) В форуме участвуют представители разных стран, что даёт уникальную возможность поделиться знаниями, методами и технологиями в использовании Больших Данных. Не обязательно раскрывать национальные секреты и классифицированную информацию. Однако, в общих чертах, можно поделиться достижениями, опытом и возможно улучшить своё понимание теорий, методов и технологий интеллектуального анализа данных (Data Mining) в дружеской и непринужденной атмосфере.
Возможность анализировать, моделировать и использовать данные из разных, порой довольно сложных источников информации, имеет огромный интерес для правительственных организаций и частного бизнеса во всём мире. Каждый день мы создаём 2.5 квинтиллиона байтов информации с экспоненциальной скоростью. Эксперты предсказывают, что к 2020 году, объём мировых данных достигнет 40 ZB (секстибайт). Это имеет влияние на каждого человека, каждый бизнес и на правительства любой страны. В современном мире больших данных, уже давно существует спрос на процессы, происходящие в реальном времени, когда ответ на запрос, включающий миллионы индикаторов различной информации, предоставляется за несколько секунд.
21:45 03.06.2017
Вот это граф мировых событий. Все, что происходит в мире и публикуется в мировой прессе, отражается в этом графе. События записываются в базу данных и появляются на графе в течении 24 часов, после того как они произошли. Одно и тоже событие, повторяющееся на следующий день, не отражается на графе.
Граф содержит события, произошедшие даже 215 лет назад. Это самая большая пространственно-временная база данных когда-либо созданная человечеством. Только данные 2015 года содержат почти три четверти триллиона эмоциональных снимков и более 1.5 миллиарда ссылок на различные точки планеты. Этот глобальный граф знаний соединяет людей, организации, страны, счета, изображения, эмоции в единую целостную сеть по все планете.
А теперь представьте, что вы можете делать запрос, исследовать, моделировать, визуализировать и даже прогнозировать этот обширный архив человеческого общества и сознания. Например, рассмотреть мировые военные конфликты за последние 35 лет или корреляцию различных типов взаимоотношений между множеством различных стран. Доступ к базе данных свободный и бесплатный. А методы data mining, позволят вам получить ответ на вопрос «что, если» почти в реальном времени.
22:03 03.06.2017
Вот здесь можно download данные с базы данных глобального графа знаний:
22:09 03.06.2017
Интересная тема очень
22:13 03.06.2017
Redhead (Expat) писал (а) в ответ на :
> Интересная тема очень
Спасибо. У меня для тебя есть сюрприз. Я взяла твою тему про выборы в Великобритании, использовала text analytics и получила забавный результат. Сейчас запощу))
22:22 03.06.2017
Bloomberg LP - король в сборе data. Дело в том — что многие думают что Блумберг — просто финансовая media и ТВ channel, но это не так. Доход от media activities составляет где-то 5%, 95% - это знаменитые Bloomberg Screens - или Bloomberg Terminals. Они сдаются в аренду всем банкам и - где-то за $ 25,000 за каждый в год (но это когда я там еще работала — до рождения певого сына — went on maternity leave буквально за неделю до родов). Вообщем — почему в аренду? Потому что сам Terminal (hardware wise) is not where the value is- на него идет информация, data, technical analysis, моделирование — практически in real time. Ну плюс это и trading platform. Основной competitor — Reuters, но в мое время помню Блумберг были на 3 секунды быстрее. Вообщем — у каждого трейдера он есть на столе на работе — у некоторых — не один даже. Я помню Bloomberg Sales Team - там их и salesmen было назвать нельзя, it was not sales but order taking really - так как все банки их хотят сами. Может не совсем в тему, но это тоже про дату.
22:29 03.06.2017
Сивилла (forecast) писал (а) в ответ на :
> Спасибо. У меня для тебя есть сюрприз. Я взяла твою тему про выборы в Великобритании, использовала text analytics и получила забавный результат. Сейчас запощу))
Очень интересно будет посмотреть- can't wait to see it.
22:32 03.06.2017
Основу методов Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования. Мы можем обсудить некоторые из этих методов. Например, деревья решений. Какие алгоритмы предпочитаете. Какие используете.
Довольно интересен интеллектуальный анализ текста — text mining. Анализ текста используется в различных областях, таких как безопасность, коммерция, наука. Также при анализе происходящего в столь популярных сейчас социальных сетях. Например, с помощью анализа текста, по стилю пишущего человека, можно найти все его посты в социальных сетях и определить автора.
А вот это простое словесное облако я создала, написав код на R.
Я взяла тему Redhead — U.K. Election 2017 и сохранила все сказанное в этой теме в файл. Потом удалила знаки препинания, цифры итд. В моём коде размер каждого слова (кроме Redhead и igg911, я хотела, чтобы они появились в облаке и добавила эти слова) зависит от частоты, с которой оно встречается в теме Redhead.
22:44 03.06.2017
igg911 остался без 911, так как я удалила все цифры в сохранённом тексте. Надеюсь, что он не возражает против экспериментов с его ником
> Основу методов Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования. Мы можем обсудить некоторые из этих методов. Например, деревья решений. Какие алгоритмы предпочитаете. Какие используете. > > Довольно интересен интеллектуальный анализ текста — text mining. Анализ текста используется в различных областях, таких как безопасность, коммерция, наука. Также при анализе происходящего в столь популярных сейчас социальных сетях. Например, с помощью анализа текста, по стилю пишущего человека, можно найти все его посты в социальных сетях и определить автора. > > А вот это простое словесное облако я создала, написав код на R. >
> > > Я взяла тему Redhead — U.K. Election 2017 и сохранила все сказанное в этой теме в файл. Потом удалила знаки препинания, цифры итд. В моём коде размер каждого слова (кроме Redhead и igg911, я хотела, чтобы они появились в облаке и добавила эти слова) зависит от частоты, с которой оно встречается в теме Redhead.
OMG, this is fantastic, hilarious Honestly, I love it Corbyn is not even on the radar, so does this mean that it's a good indicator that May will win the election?
То что самое большое слово MAY получилось - что это означает?
22:51 03.06.2017
Хорошая тема. Интересно что проблемы решния задач связанных с Big Data, превратили задачи по созданию artificial intelligence — в реально необходимые и насущные. Проблема с Big Data в том что если обычные базы данных — доступны для понимания и использования человеком, то миллионы логических связей, зависимостей и последовательностей существующих в Big Data — человеческий мозг бесполезен. Это целая огромная революция, которая сейчас происходит и о которой мало кто знает. Например, machine learning программы, буквально методом тыка, научились распознавать раковые ткани на снимках под микроскопом.
>> Основу методов Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования. Мы можем обсудить некоторые из этих методов. Например, деревья решений. Какие алгоритмы предпочитаете. Какие используете. >> >> Довольно интересен интеллектуальный анализ текста — text mining. Анализ текста используется в различных областях, таких как безопасность, коммерция, наука. Также при анализе происходящего в столь популярных сейчас социальных сетях. Например, с помощью анализа текста, по стилю пишущего человека, можно найти все его посты в социальных сетях и определить автора.
>> >> А вот это простое словесное облако я создала, написав код на R. >>
>
>> >> >> Я взяла тему Redhead — U.K. Election 2017 и сохранила все сказанное в этой теме в файл. Потом удалила знаки препинания, цифры итд. В моём коде размер каждого слова (кроме Redhead и igg911, я хотела, чтобы они появились в облаке и добавила эти слова) зависит от частоты, с которой оно встречается в теме Redhead.
>
> OMG, this is fantastic, hilarious Honestly, I love it Corbyn is not even on the radar, so does this mean that it's a good indicator that May will win the election? > > То что самое большое слово MAY получилось — что это означает?
Это значит, что в твоей теме чаще всего упоминалось слово «May». Можно например, проанализировать первые страницы дневной прессы Лондона и посмотреть о ком больше всего говорят и в отношении каких событий, происходящих в последние дни выборной компании. Однако, это займёт время. Можно взять первую страницу одной из популярных газет. Если найти её в интернете. Я могу повторить трюк и создать ещё одно словесное облако))
23:05 03.06.2017
иг911 (ig911) писал (а) в ответ на :
> миллионы логических связей, зависимостей и последовательностей существующих в Big Data — человеческий мозг бесполезен.
Именно так. Методы data mining позволяют найти скрытые, неизвестные до проведённого анализа индикаторы или комбинации индикаторов, которые могут быть намного важнее, известных, лежащих на поверхности знаний, чтобы принять важное решение. И от этого решения может зависеть как здоровье нации, так и безопасность страны.
23:13 03.06.2017
Сивилла (forecast) писал (а) в ответ на :
> Методы data mining позволяют найти скрытые, неизвестные до проведённого анализа индикаторы или комбинации индикаторов, которые могут быть намного важнее, известных, лежащих на поверхности знаний, чтобы принять важное решение.
Не хотел расстраивать Redhead, но эти методы сейчас активно применяют для нахождения повторяющихся последовательностей в миллиардах биржевых транзакций, и когда электронный trader научится играть в шахматы лучше человека, много людей в финансовой индустрии потеряет работу.
23:19 03.06.2017
Сивилла (forecast) писал (а) в ответ на :
> Это значит, что в твоей теме чаще всего упоминалось слово «May». Можно например, проанализировать первые страницы дневной прессы Лондона и посмотреть о ком больше всего говорят и в отношении каких событий, происходящих в последние дни выборной компании. Однако, это займёт время. Можно взять первую страницу одной из популярных газет. Если найти её на интернете. Я могу повторить трюк и создать ещё одно словесное облако))
Это хорошо — так как там in my thread я часто прессу цитирую и мнения людей и поллз — это значит что Мэй — наиболее популярна и people take her seriously.
Honestly, I love it 