Илюстрация
Големите информационни масиви вече не са проблем за обикновените компютри.
Увеличаване
Големите информационни масиви вече не са проблем за обикновените компютри.
Автор: capital
Смаляванеа>
|
Още по темата
42*
Какво се случва с българския суперкомпютър четири години след закупуването му
6 апр 2012
Представете си ситуация, при която вашият лаптоп може да изчислява големи масиви от информация по-бързо от суперкомпютър. Не, това не е футуристична визия за бъдещето. Това е реалност. Днес.
Всичко това е възможно благодарение на учените и студентите от екипа Select Lab на университета Carnegie Mellon в Питсбърг, САЩ. Те са създали иновативен софтуерен алгоритъм, който използва наличния хардуер в обикновените компютри по революционен начин, съобщава онлайн изданието Technology Review.
Програмата се казва GraphChi и е предназначена за обработка на графове и големи масиви от информация. Учените твърдят, че алгоритъмът ще позволи създаването на иновативни приложения и услуги, които да създават персонализирана информация и предложения. Разбира се, GraphChi ще може да се ползва и за мащабни научни анализи.
Графовете са абстрактни математически структури, които представят връзките между отделните елементи на дадено множество. Графовите анализи разкриват много детайли за изследваната информация. Например отношението на връзките между потребителите в една социална мрежа или връзките, които се осъществяват в интернет между отделни компютри, домейни и др.
Революцията "Компютрите нямат достатъчно оперативна памет, в която да съхраняват графа на интернет например. Но те имат твърди дискове, които могат да държат много информация", казва Карлос Гестрин, директор на Select Lab. Той е помагал при създаването на GraphChi, която всъщност е дело предимно на студенти.
Софтуерният продукт прекроява начина, по който компютрите използват наличния хардуер. По принцип оперативната памет съхранява данните, които ще са необходими за изчисление от процесора. Тази памет обаче е доста малко, особено като се имат предвид размерите на днешните информационни масиви.
Това кара процесора постоянно да изисква нова информация от твърдия диск, която се качва в оперативната памет, като за всичко това губи време и ресурси. Разбира се, данните могат просто да се изискват директно и от твърдия диск, но скоростта на четене и запис на информацията от него винаги е доста по-бавна и това забавя изчисленията.
Затова GraphChi използва друг принцип на работа, чрез който (тук започва да става сложно) програмите вървят асинхронно и/или паралелно. Тоест промените, които се въвеждат в данните или графовете, се отразяват моментално в следващите изчисления. Целта е създаването на ясно изградена структура и порядък при използването на информацията от твърдия диск. По този начин се създава ред, който оптимизира подготвянето на данните, изпращането им до процесора за изчисление и записването обратно в твърдия диск.
Софтуерът е изграден на базата на стандартния език за програмиране C++, като в момента се разработва и Java базирана версия. Тя е малко по-бавна, но значително по-лесна за препрограмиране, казва в официалния сайт на проекта Аапо Кирола - човекът, който е в основата на GraphChi.
+14
Звучи повече от чудесно! Подобно мащабно оптимизиране на работата определено ще има и значителен екологичен ефект.
_____
give me an idea to believe in and I can move the world-2 +5
Графите имат широко приложение и в електротехниката - с тях могат да се анализират процесите в електрическите вериги, както и редица други процеси в електротехниката и механиката. Изобщо всякакви процеси могат да се представят с графи. Ще проверя дали тази програма може да се приложи и в тези области... :)
_____
Post tenebras spero lucem-1 +7
Ох... 6GB данни (пък дори и компресирани) са малък размер от данни.
Алгоритмите за обхождане на графи не се разпареляват лесно, нормално е на 1000 компютъра да отнема повече време, просто защото 99% от времето се губи в бавната комуникация между сървърите.
_____
Romanes eunt domus!+13
Решаваме частни математически проблеми и се бием в гърдите. Браво, супер, но теория на графите е просто една малка част от математиката и не всичко се описва с нея. Я да видим, как ще предскажат прогнозата за времето (стандартна цел за която се купуват суперкомпютрите) или моделиране на флуиди или процеси в ядрени централи (друга стандартна цел, за която се купуват суперкомпютрите) - всичко от описаното са или модели, които нямат нищо общо с графите, или хаотични процеси, които поне със съвременната математика не се подават на прогнозиране.
_____
НЕ КУПУВАМ НИЩО, РЕКЛАМИРАНО В bTV! БОЙКОТ НА bTV!+12
До коментар [#4] от "epoc":
Съгласен съм с горното, но пък можем да се ползва за да решим проблема, кои "независими блогъри" трябва да напишат няколко хубави неща за нас за да се харесаме на много хора (освен за политика се отнася и за частни фирми и техните продукти).
-9 +3
Хардуерът скоро ще стигне до физическите си ограничения, но от софтуера има да се изстисква още много.
моделиране на флуиди или процеси в ядрени централи ... нямат нищо общо с графите- цитат на коментар #4 от “epoc”
да бе, верно ли?
+5
До коментар [#6] от "gligi":
Абсолютно "верно", нямат ама съвсем нищо с графите. Други въпроси?
_____
Romanes eunt domus!+10
Твърдите дискове изживяват последните си години - тяхното място вече се заема от памети/макар скъпи за сега/ чиято скорост на достъп е равна на тази , която я имат сегашните ОП , а в същото време обемите им са огромни.
Всъщност техния праобраз , ние отдавна държим в ръцете си - USB Flashe Drive или т.н. "флашка".
Изработването на HD-вете изисква също така и невероятни точности , защото става дума за механични движения /въртене и премествания/.
При новите памети тези проблеми отпадат. Ето защо при бойните изчислителни комплекси , които сега се въвеждат във ВВС , ВМФ и друг вид бойни състави , твърдите дискове въобще липсват.
По този начин до голяма степен се обезмислят усилията за изготвяне на програмно осигуряване даващо възможност за -
"" създаване на ред, който оптимизира подготвянето на данните, изпращането им до процесора за изчисление и записването обратно в твърдия диск.""
-1 +7
До коментар [#8] от "Николай_1":
Това приложение може да е следващата крачка - за увеличаване бързодействието на новите памети.
_____
Най-добрият аргумент против демокрацията е 5-минутен разговор с избирател - Уинстън Чърчил-1 +2
Капитал, интересна статия, но не разбрах нищо за метода на изчисляване освен, че програмите ще работят "асинхронно" или "паралелно", а тези две понятия някак се самоизключват...
+1
До коментар [#6] от "gligi":
Като писах ядрени централи имах предвид това, което се случва в активната зона на реактора, а не уравненията, по които работи автоматичната система за управление. Моя грешка, трябваше да се изразя по-ясно.
_____
НЕ КУПУВАМ НИЩО, РЕКЛАМИРАНО В bTV! БОЙКОТ НА bTV!-3 +4
До коментар [#8] от "Николай_1":
Хайде стига с пророкуването! Има време SSD дисковете да навлязат и това няма да стане нито утре, нито догодина.
А специално за военните комплекси изказването доста ми хареса, направо се сетих за компютрите, управляващи руските бойни глави, при които статуса на машината се записва онлайн на харддиск и в случай на ядрен взрив наблизо (предполага се, че електромагнитния импулс ще ресетира цялата електроника) състоянието се зарежда от харддиска....Я пробвай това с SSD-та.....
_____
НЕ КУПУВАМ НИЩО, РЕКЛАМИРАНО В bTV! БОЙКОТ НА bTV!+1
До коментар [#10] от "Sinergy":
Защо да се изключват? Асинхронно значи, че едната нишка не чака другата да свърши (обратното е при DSP процесорите и цифровата обработка на сигнали, където нещата пак се обработват паралелно, но резултатът от едната операция е необходим за следващата), а паралелно - че се обработват много едновременно.
_____
НЕ КУПУВАМ НИЩО, РЕКЛАМИРАНО В bTV! БОЙКОТ НА bTV!До коментар [#13] от "epoc":
Асинхронно предполага (и включва) паралелно. Последователните програми по дефиниция са синхронни.
_____
Romanes eunt domus!-4
Някъде наскоро четох, че ако се намали точността при някои изчислителни процеси при компютрите, също може да се увеличи бързината и да се намали времето за обработка на данните.
До коментар [#8] от "Николай_1":
Добре но прочети новината:
"За целта той е използва лаптоп Apple Mac Mini със SSD устройство, на който е инсталирал GraphChi и с него е изчислил социалния граф на Twitter за цялата 2010 г. Той включва 40 млн. потребители и 1.2 млрд. осъществени връзки между тях. Размерът на архива е около 6 GB преди декомпресирането му с подходящ софтуер."
Точно за такава памет е правен този софтуер.
преглед на коментар
Нов Коментар