"Големи данни" е новата наука за разбирането и прогнозирането на човешкото поведение чрез изучаване на големи обеми неструктурирани данни. Големите данни също са известни като "прогнозни анализи".
Анализирането на публикации в Twitter, Facebook емисии, търсения от eBay, GPS тракери и ATM машини са някои от големите примери за данни. Проучването на видеоклипове за сигурност, данни за трафика, модели на времето, пристигания на полети, дневници за мобилни телефони и устройства за проследяване на сърдечната честота са други форми. Големите данни са разхвърляна нова наука, която се променя ежеседмично и само няколко експерта разбират всичко.
Какви са някои примери за големи данни в редовния живот?
Докато повечето големи проекти за данни са много неясни, има успешни примери за големи данни, засягащи ежедневието на хората, компаниите и правителствата:
Предсказване на появата на вируси: чрез изучаване на социално-политически данни, данни за времето и климата и болнични / клинични данни, учените вече предсказват епидемии от треска на денга с 4-седмично предизвестие.
Убийства: този голям проект за данни описва жертви на убийства, заподозрени и престъпници във Вашингтон. Както като начин за почитане на починалия, така и като ресурс за осведоменост за хората, този голям проект за данни е очарователен.
Транзитно планиране на пътуванията, Ню Йорк: Радио програмистът на WNYC Стив Мелендес комбинира онлайн графика за метрото с софтуер за пътуване. Неговото създаване позволява на Нюйоркчаните да кликнат върху местоположението си на картата и ще се появи прогноза за времето за пътуване за влаковете и метрото.
Xerox намали загубата на работната си сила: работата в центъра за повикване е емоционално изтощителна. Xerox е изучил данни с помощта на професионални анализатори и сега те могат да предвидят кои кол центрове да бъдат най-дълго в компанията.
Подкрепа за борбата с тероризма: чрез изучаване на социални медии, финансови записи, резервации на полети и данни за сигурността, правоприлагащите органи могат да предскажат и да намерят заподозрени в тероризъм, преди да извършат злите си дела.
Регулиране маркетинговия маркетинг на базата на социални медии: хората безгрижно и бързо споделят своите онлайн мисли в кръчма, ресторанта или фитнес клуба. Възможно е да се проучат тези милиони публикации в социалните медии и да се даде обратна връзка на компанията относно това, което хората мислят за услугите си.
Кой използва големи данни? Какво правят с него?
Много монолитни корпорации използват големи данни, за да коригират своите предложения и цени, за да увеличат удовлетвореността на клиентите.
- Магазинът на Маки, например, използва големи данни, за да коригира цените си в движение за над 70 милиона продукта. Те дори изпращат персонализирани имейли на своите клиенти въз основа на това, което Macy вярва, че се интересуват.
- Полицейски отговор на бомбардировките в бостънския маратон: чрез използването на големи данни за проучване на видео и видео наблюдения, полицията успя бързо да ограничи търсенето на заподозрените.
- Стекхаус на Мортън използва Twitter, за да издърпа маркетингови каскади, включително известното летище в Ню Джърси, където се предлагат портокалова пържола и вечеря на скариди.
- Visa използва големи данни за идентифициране и залавяне на измамниците.Единичните транзакции тук и там лесно могат да прикрият нечестна потребителска кредитна карта, но внимателно наблюдават милиони сделки, могат да бъдат открити модели на измами.
- Facebook използва големи данни, за да приспособи рекламата, Чрез внимателно проучване на вашите предпочитания от ФБ и навици за сърфиране, социалният медиен гигант има зловещ поглед върху вашите вкусове. Тези реклами на страничната лента, които виждате във вашата емисия във Facebook, са избрани от много умишлени и сложни алгоритми, които са видели вашите Facebook навици.
Защо голяма информация е толкова голяма?
4 неща правят големи данни значителни:
1. Данните са масивни. Тя няма да се побере на един твърд диск, много по-малко USB стик. Обемът на данните далеч надхвърля това, което човешкият ум може да възприема (мисли за милиард милиарда мегабайта, а след това да умножи това с повече милиарди).
2. Данните са разхвърляни и неструктурирани. 50% до 80% от работата с големи данни преобразуват и почистват информацията, така че да могат да се търсят и да се ориентират. Само няколко хиляди експерти на нашата планета напълно знаят как да направят това изчистване на данните. Тези експерти също се нуждаят от много специализирани инструменти, като HPE и Hadoop, за да изпълняват своите занаяти. Може би след 10 години големите експерти за данни ще се превърнат в дупка дузина, но засега те са много рядък вид анализатор и тяхната работа все още е много неясна и досадна.
3. Данните се превърнаха в стока **, която може да бъде продадена и купена. Пазарите за данни съществуват там, където компаниите и физическите лица могат да купуват терабайти от социални медии и други данни. Повечето от данните са базирани на облак, тъй като са твърде големи, за да се поберат на всеки един твърд диск. Купуването на данни обикновено включва такса за абонамент, в която се включвате в ферма за облачен сървър.
** Водещите на големите инструменти и идеи за данни са Amazon, Google, Facebook и Yahoo. Тъй като тези компании обслужват толкова много милиони хора със своите онлайн услуги, има смисъл, че те ще бъдат събирателната точка и визионерите зад големите анализи на данни.4. Възможностите за големи данни са безкрайни. Може би лекарите един ден ще предскажат сърдечни пристъпи и удари за хора седмици преди да се случат. Самолетите и автомобилните катастрофи могат да бъдат намалени чрез предсказуеми анализи на техните механични данни, трафик и климатични модели. Онлайн запознанства може да се подобри, като имате големи данни за предиктори за това кои са съвместими личности за вас. Музикантите могат да разберат коя музикална композиция е най-приятна за променящите се вкусове на целевата аудитория.Хранителните специалисти биха могли да предскажат коя комбинация от храни, купени от магазините, ще влошат или ще помогнат за медицинските условия на дадено лице. Повърхността е само надраскана и откритията в големи данни се случват всяка седмица.
Големите данни са мръсни
Големите данни са прогнозни анализи: конвертирането на масивни неструктурирани данни в нещо, което може да се търси и да се определи. Това е разхвърляно и хаотично пространство, което изисква специален вид познание и търпение.
Вземете например монолитната услуга за доставка на UPS. Програмистите от UPS изучават данни от GPS и смартфони на своите водачи, за да анализират най-ефективните начини за адаптиране към задръстванията. Данните за GPS и смартфоните са гаргатан и не са готови автоматично за анализ. Тези данни се изсипват от различни бази данни от GPS и картите чрез различни хардуерни устройства за смартфони. Анализаторите на UPS прекарват месеци в преобразуване на всички тези данни във формат, който лесно може да бъде претърсен и сортиран. Усилието обаче си заслужава. Днес UPS спести над 8 милиона галона гориво, тъй като те започнаха да използват тези големи анализи на данни.
Тъй като големите данни са разхвърляни и изискват толкова много усилия за изчистване и подготовка за използване, учените се превръщат в прякор "портиер" за цялата досадна работа, която вършат.
Науката за големи данни и прогнозни анализи обаче се подобрява всяка седмица. Очаквайте големи данни, за да станете достъпни за всички до 2025 година.
Големите данни не представляват ли непрекъсната заплаха за поверителността?
Да, ако нашите закони и защитата на личните данни не са внимателно управлявани, значи големи данни се навлизат в личната неприкосновеност. Както е известно, Google, YouTube и Facebook вече следят вашите ежедневни навици онлайн. Животът на смартфона и компютрите ви оставя цифрови отпечатъци всеки ден, а сложни компании изследват тези отпечатъци.
Законите около големите данни се развиват. Поверителността е състояние, в което сега трябва да поемете лична отговорност, тъй като вече не можете да очаквате това като право по подразбиране.
Какво можете да направите, за да защитите личната си информация:
Най-голямата стъпка, която можете да предприемете, е да прикриете ежедневните си навици, като използвате VPN мрежова връзка. Една VPN услуга ще размаже сигнала ви, така че самоличността и местоположението ви да бъдат поне частично маскирани от тракерите. Това няма да ви направи 100% анонимно, но виртуална частна мрежа ще намали значително колко може да спазва света вашите онлайн навици.
Къде мога да науча повече за големи данни?
Големите данни са очарователно за хората с аналитични умове и любов към технолозите. Ако това сте вие, то определено посетете тази страница с интересни проекти за големи данни.
