Лаптоп вместо суперкомпютър
Абонирайте се за Капитал

Всеки петък икономически анализ и коментар на текущите събития от седмицата.
Съдържанието е организирано в три области, за които Капитал е полезен:

K1 Средата (политическа, макроикономическа регулаторна правна)
K2 Бизнесът (пазари, продукти, конкуренция, мениджмънт)
K3 Моят капитал (лични финанси, свободно време, образование, извън бизнеса).

Абонирайте се за Капитал

Лаптоп вместо суперкомпютър

Големите информационни масиви вече не са проблем за обикновените компютри.

Лаптоп вместо суперкомпютър

Нов алгоритъм повишава в пъти ефективността на персоналните компютри при обработка на данни

Мартин Дешев
7961 прочитания

Големите информационни масиви вече не са проблем за обикновените компютри.

© capital


Представете си ситуация, при която вашият лаптоп може да изчислява големи масиви от информация по-бързо от суперкомпютър. Не, това не е футуристична визия за бъдещето. Това е реалност. Днес.

Всичко това е възможно благодарение на учените и студентите от екипа Select Lab на университета Carnegie Mellon в Питсбърг, САЩ. Те са създали иновативен софтуерен алгоритъм, който използва наличния хардуер в обикновените компютри по революционен начин, съобщава онлайн изданието Technology Review.

Програмата се казва GraphChi и е предназначена за обработка на графове и големи масиви от информация. Учените твърдят, че алгоритъмът ще позволи създаването на иновативни приложения и услуги, които да създават персонализирана информация и предложения. Разбира се, GraphChi ще може да се ползва и за мащабни научни анализи.

Графовете са абстрактни математически структури, които представят връзките между отделните елементи на дадено множество. Графовите анализи разкриват много детайли за изследваната информация. Например отношението на връзките между потребителите в една социална мрежа или връзките, които се осъществяват в интернет между отделни компютри, домейни и др.

Революцията

"Компютрите нямат достатъчно оперативна памет, в която да съхраняват графа на интернет например. Но те имат твърди дискове, които могат да държат много информация", казва Карлос Гестрин, директор на Select Lab. Той е помагал при създаването на GraphChi, която всъщност е дело предимно на студенти.

Софтуерният продукт прекроява начина, по който компютрите използват наличния хардуер. По принцип оперативната памет съхранява данните, които ще са необходими за изчисление от процесора. Тази памет обаче е доста малко, особено като се имат предвид размерите на днешните информационни масиви.

Това кара процесора постоянно да изисква нова информация от твърдия диск, която се качва в оперативната памет, като за всичко това губи време и ресурси. Разбира се, данните могат просто да се изискват директно и от твърдия диск, но скоростта на четене и запис на информацията от него винаги е доста по-бавна и това забавя изчисленията.

Затова GraphChi използва друг принцип на работа, чрез който (тук започва да става сложно) програмите вървят асинхронно и/или паралелно. Тоест промените, които се въвеждат в данните или графовете, се отразяват моментално в следващите изчисления. Целта е създаването на ясно изградена структура и порядък при използването на информацията от твърдия диск. По този начин се създава ред, който оптимизира подготвянето на данните, изпращането им до процесора за изчисление и записването обратно в твърдия диск.

Софтуерът е изграден на базата на стандартния език за програмиране C++, като в момента се разработва и Java базирана версия. Тя е малко по-бавна, но значително по-лесна за препрограмиране, казва в официалния сайт на проекта Аапо Кирола - човекът, който е в основата на GraphChi.

Ползите

Как точно се случва магията, наречена GraphChi, всъщност не е чак толкова важно за повечето потребители. По-важното е как този алгоритъм би се отразил на приложенията и услугите, които използваме. А предимствата са изключително много.

Преди да ги разгледаме, да поставим нещата в перспектива. Аапо Кирола дава много показателен пример за способностите на алгоритъма. За целта той е използва лаптоп Apple Mac Mini със SSD устройство, на който е инсталирал GraphChi и с него е изчислил социалния граф на Twitter за цялата 2010 г. Той включва 40 млн. потребители и 1.2 млрд. осъществени връзки между тях. Размерът на архива е около 6 GB преди декомпресирането му с подходящ софтуер.

В крайна сметка лаптопът е завършил изчисленията си за 59 минути. Използвайки стандартните изчислителни методи, мрежа от около 1000 компютъра е имала нужда от 400 минути, за да извърши същия анализ, допълва Гестрин.

"Търсения на документи, проучвания за разположение на реклами, планиране на пътешествия, резервации, киберсигурност и още много други неща зависят от графови анализи", казва Джеръми Кепнър, изследовател от Масачузетския технологичен институт (MIT).

Всичко това ще може да се извършва с най-обикновени лаптопи благодарение на GraphChi. Алгоритъмът ще може да се вгражда в най-различни приложения и да се използва както за обикновени услуги за крайни потребители, така и за сериозни анализи от учени и компании.

Един от примерите, които Гестрин дава, е правенето на анализи, базирани на информация от социални мрежи. Дадено приложение ще може да преглежда наличните данни и да дава предложения за филми и продукти, които са харесвани от останалите потребители, както и такива, които биха се харесали на базата на досегашната активност и познати интереси.

От по-сериозна гледна точка GraphChi ще може да се използва и за мащабни научни и IT проекти. Софтуерът може да работи и на мощни сървъри, което допълнително ще увеличи неговата производителност. Възможно е той да се обвърже и с облачни услуги и така изчисленията да се извършват от сървърите, а потребителите да получават само крайните резултати.

Освен това алгоритъмът ще намали сериозно и разходите на компаниите, което ще е добре дошло за по-малките и стартиращи фирми. Няма да е необходимо да се наемат клъстъри или облачни услуги, които да вършат огромните изчисления вместо компаниите. Те просто ще ползват своите обикновени компютри. GrapChi може да се пригоди и като тестова среда за нови услуги, преди те да се вградят в по-голяма инфраструктура, казва още Гестрин.

Дотук чудесно, но ще бъде ли GraphChi достъпен за всички, или просто е амбициозен научен проект с минимално реално приложение? Всъщност абсолютно всеки може да се сдобие с алгоритъма веднага. Необходимо е просто да посети официалната му страница в интернет. GraphChi се базира на отворен код и може да бъде използван свободно. Проектът има подкрепата и на онлайн корпорацията Google. Именно интернет гигантът осигурява достъп до кода и допълнителната системна информация, която е от ключово значение за успешното прилагане на GraphChi.

Представете си ситуация, при която вашият лаптоп може да изчислява големи масиви от информация по-бързо от суперкомпютър. Не, това не е футуристична визия за бъдещето. Това е реалност. Днес.

Всичко това е възможно благодарение на учените и студентите от екипа Select Lab на университета Carnegie Mellon в Питсбърг, САЩ. Те са създали иновативен софтуерен алгоритъм, който използва наличния хардуер в обикновените компютри по революционен начин, съобщава онлайн изданието Technology Review.


Благодарим ви, че четете Капитал!

Вие използвате поверителен режим на интернет браузъра си. За да прочетете статията, трябва да влезете в профила си.
Влезте в профила си
Всеки потребител може да чете до 10 статии месечно без да има абонамент за Капитал.
Вижте абонаментните планове

16 коментара
  • 1
    contxt avatar :-|
    conTXT

    Звучи повече от чудесно! Подобно мащабно оптимизиране на работата определено ще има и значителен екологичен ефект.

  • 2
    payakoff avatar :-|
    Payakoff

    Графите имат широко приложение и в електротехниката - с тях могат да се анализират процесите в електрическите вериги, както и редица други процеси в електротехниката и механиката. Изобщо всякакви процеси могат да се представят с графи. Ще проверя дали тази програма може да се приложи и в тези области... :)

  • 3
    tarator9 avatar :-|
    tarator9

    Ох... 6GB данни (пък дори и компресирани) са малък размер от данни.

    Алгоритмите за обхождане на графи не се разпареляват лесно, нормално е на 1000 компютъра да отнема повече време, просто защото 99% от времето се губи в бавната комуникация между сървърите.

  • 4
    epoc avatar :-|
    epoc

    Решаваме частни математически проблеми и се бием в гърдите. Браво, супер, но теория на графите е просто една малка част от математиката и не всичко се описва с нея. Я да видим, как ще предскажат прогнозата за времето (стандартна цел за която се купуват суперкомпютрите) или моделиране на флуиди или процеси в ядрени централи (друга стандартна цел, за която се купуват суперкомпютрите) - всичко от описаното са или модели, които нямат нищо общо с графите, или хаотични процеси, които поне със съвременната математика не се подават на прогнозиране.

  • 5
    brutester avatar :-P
    brutester

    До коментар [#4] от "epoc":

    Съгласен съм с горното, но пък можем да се ползва за да решим проблема, кои "независими блогъри" трябва да напишат няколко хубави неща за нас за да се харесаме на много хора (освен за политика се отнася и за частни фирми и техните продукти).

  • 6
    gligi avatar :-|
    gligi

    Хардуерът скоро ще стигне до физическите си ограничения, но от софтуера има да се изстисква още много.


    [quote#4:"epoc"]моделиране на флуиди или процеси в ядрени централи ... нямат нищо общо с графите[/quote]

    да бе, верно ли?

  • 7
    tarator9 avatar :-|
    tarator9

    До коментар [#6] от "gligi":

    Абсолютно "верно", нямат ама съвсем нищо с графите. Други въпроси?

  • 8
    nick11 avatar :-|
    Николай_1

    Твърдите дискове изживяват последните си години - тяхното място вече се заема от памети/макар скъпи за сега/ чиято скорост на достъп е равна на тази , която я имат сегашните ОП , а в същото време обемите им са огромни.
    Всъщност техния праобраз , ние отдавна държим в ръцете си - USB Flashe Drive или т.н. "флашка".
    Изработването на HD-вете изисква също така и невероятни точности , защото става дума за механични движения /въртене и премествания/.
    При новите памети тези проблеми отпадат. Ето защо при бойните изчислителни комплекси , които сега се въвеждат във ВВС , ВМФ и друг вид бойни състави , твърдите дискове въобще липсват.
    По този начин до голяма степен се обезмислят усилията за изготвяне на програмно осигуряване даващо възможност за -
    "" създаване на ред, който оптимизира подготвянето на данните, изпращането им до процесора за изчисление и записването обратно в твърдия диск.""

  • 9
    veny_g avatar :-|
    Вени Г.

    До коментар [#8] от "Николай_1":

    Това приложение може да е следващата крачка - за увеличаване бързодействието на новите памети.

  • 10
    sinergy avatar :-|
    Sinergy

    Капитал, интересна статия, но не разбрах нищо за метода на изчисляване освен, че програмите ще работят "асинхронно" или "паралелно", а тези две понятия някак се самоизключват...


Нов коментар

За да публикувате коментари,
трябва да сте регистриран потребител.


Вход

С използването на сайта вие приемате, че използваме „бисквитки" за подобряване на преживяването, персонализиране на съдържанието и рекламите, и анализиране на трафика. Вижте нашата политика за бисквитките и декларацията за поверителност. OK