([email protected]) Ez a dokumentum le�rja hogyan k�sz�tettem el a kutat�saimhoz sz�ks�ges nagy teljes�tm�ny� Linux f�rt�ket.
Az al�bbi inform�ci�kat a saj�t felel�ss�gedre haszn�ld. Nem v�llalok felel�seget semmilyen cselekedeted�rt, amelyet ezen HOGYAN elolvas�s�ra alapozol. Eme HOGYAN legfrissebb v�ltozata megtal�lhat� a http://www.ram.org/computing/linux/linux_cluster.html honlapon.
Szemben m�s dokumentumokkal, melyek �ltal�ban besz�lnek arr�l hogyan kell f�rt�ket k�sz�teni, ez egy specifikus le�r�s arr�l, hogy a mi laborunk mik�nt k�sz�tette el azt. �gy nem csak a sz�m�t�si szempontok r�szleteit, hanem az asztali sz�m�t�g�p, laptop, �s a szerver �ltal�nos szempontjait is tartalmazza. A dokumentum f�leg bels� haszn�latra k�sz�lt, de feltettem webre is, mivel sz�mos e-mail-t kaptam amik ugyanezekr�l az inform�ci�kr�l �rdekl�dnek. Mostan�ban - ahogy egy m�sik 64 csom�pontos f�rt�t tervezetem - azt tal�ltam, hogy nincs inform�ci� arr�l, pontosan hogyan gy�jthetsz �ssze olyan komponenseket amib�l Linux alatt megb�zhat�an m�k�d� csom�pontokat hozhatsz l�tre. Olyan inform�ci� ami nem csak a csom�pontokkal t�rt�n� sz�m�t�st, hanem azok sz�ks�gleteit is tartalmazza. Legink�bb arra haszn�lhat� ez a HOGYAN, hogy bemutassa milyen t�pus� hardverek m�k�dnek j�l Linux alatt �s milyenek nem.
Ez a fejezet a hardver v�laszt�sommal foglalkozik. Az ismert hardver probl�m�k fejezetet lesz�m�tva feltettem, hogy minden t�nyleg j�l m�k�dik.
A hardver telep�t�se egyszer�, a legt�bb r�szlet benne van a k�zik�nyvben. Minden r�szben a hardverlista a megrendel�s sorrendj�ben tal�lhat� (a leg�jabb a legels�).
32 db g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
32 db g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
32 db g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
32 db g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
1 db szerver k�ls� haszn�latra (inform�ci� terjeszt�s) az al�bbi �ssze�ll�t�ssal rendelkezik:
1 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
2 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
1 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
1 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
2 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
2 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
2 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
2 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
3 db asztali sz�m�t�g�p az al�bbi �ssze�ll�t�ssal rendelkezik:
1 db t�zfal az al�bbi �ssze�ll�t�ssal rendelkezik:
1 �tj�r� (gateway) az al�bbi �ssze�ll�t�ssal rendelkezik. Az �tj�r� t�kr�z�se a t�zfalnak, arra az esetre, ha az �sszeomlana/elromlana.
Biztons�gi ment�s:
Monitorok:
Nyomtat�k:
KVM monitor kapcsol�kat haszn�lunk egy olcs� monitorral, hogy "l�ssuk" az �sszes g�pet.
Ez egy j� megold�s, de azt hiszem nem felt�tlen�l sz�ks�ges. Amire sz�ks�g�nk van, az egy kis hordozhat� monitor amely a PC h�t�ra csatlakoztathat� (stylus-al m�k�dik, mint a Palm). Nem tervezem t�bb monitorkapcsol� illetve KVM k�belt haszn�lat�t.
A h�l�zat fontos:
A mi sz�ll�t�nk a Hard Drives Northwest ( http://www.hdnw.com). Minden sz�m�t�si csom�pont�rt a f�rt�nkben (a k�t processzort is bele�rtve) k�r�lbel�l 1500-2000 USD-t fizett�nk ad�val egy�tt. Az �ltal�nos c�lunk az volt, hogy a k�lts�g 1000 USD alatt legyen processzoronk�nt (bele�rtve az egy�b alkatr�szek �r�t is).
Az al�bbi kerneleket �s disztrib�ci�kat haszn�ljuk:
Ezek a disztrib�ci�k j�l m�k�dnek mi�ta a friss�t�seket CD-n k�ldik �s nem kell megb�zni a k�ls� h�l�zatban a friss�t�sek beszerz�s�hez. "Tiszt�bbnak" t�nnek mint a szok�sos Red Hat disztrib�ci�k �s a be�ll�t�sa nagyon stabil.
A Shorewall 1.3.14a programot ( http://www.shorewall.net) haszn�ljuk t�zfalnak.
Mi a saj�t szoftver�nket haszn�ljuk alkalmaz�sok p�rhuzamos�t�s�ra, de vannak tapasztalataink PVM-el �s MPI-al. Szerintem ezeknek az el�re csomagolt programoknak az t�bbletterhel�se t�l nagy. Azt aj�nlom �rj�l alkalmaz�s specifikus k�dot a feladatodhoz (mag�nv�lem�ny).
A Linux �s a legt�bb szoftver ami Linux rendszeren fut ingyen m�solhat�.
Ez a fejezet a merevlemez-part�cion�l�si strat�gi�t �rja le.
f�rt�z�tt g�pek:
hda1 - swap (2 * RAM)
hda2 - / (marad�k hely)
hdb1 - /maxa (teljes lemez)
asztali sz�m�t�g�p (windows n�lk�l):
hda1 - swap (2 * RAM)
hda2 - / (4 GB)
hda3 - /spare (marad�k hely)
hdb1 - /maxa (teljes lemez)
hdd1 - /maxb (teljes lemez)
asztali sz�m�t�g�p (windows-szal):
hda1 - /win (teljes disk)
hdb1 - swap (2 * RAM)
hdb2 - / (4 GB)
hdb3 - /spare (marad�k hely)
hdd1 - /maxa (teljes lemez)
laptop-ok (egy lemez):
hda1 - /win (a teljes lemezm�ret fele)
hda2 - swap (2 * RAM)
hda3 - / (marad�k hely)
A f�rt g�peire a csomagok minim�lis halmaz�t telep�tett�k. A felhaszn�l�knak megengedt�k, hogy �gy konfigur�lj�k az asztali sz�m�t�g�peket, ahogy akarj�k.
Az FAI ( http://www.informatik.uni-koeln.de/fai/) egy automatiz�lt rendszer, amely Debian GNU/Linux oper�ci�s rendszer telep�t�s�re haszn�lhat� PC f�rt�k�n. Veszel egy vagy t�bb sz�z PC-t, bekapcsolod �s n�h�ny perc m�lva a Linux fel van telep�tve �s be van �ll�tva, futtat�sa az eg�sz f�rt�n semmilyen beavatkoz�st nem ig�nyel.
A SystemImager ( http://systemimager.org) egy szoftver, ami automatiz�lja a Linux �s szoftverek telep�t�s�t �s a termel�s beind�t�s�t.
Van egy teljesen elosztott rendszer�nk. Ezt azt jelenti, hogy minden g�p az oper�ci�s rendszer egy p�ld�ny�t tartalmazza. Az oper�ci�s rendszert minden g�pre manu�lisan telep�teni k�nyelmetlen. A telep�t�s optimaliz�l�s�hoz el�sz�r egy g�pet telep�tettem �s �ll�tottam be pontosan �gy, ahogy akartam. Azt�n k�sz�tettem egy t�m�r�tett tar �llom�nyt az eg�sz rendszerr�l amit egy CD-ROM-on helyeztem el. V�g�l err�l kl�noztam minden g�pet a f�rtben.
A tar �llom�ny k�sz�t�s�re az al�bbi utas�t�st haszn�ltam:
tar -czvlps --same-owner --atime-preserve -f /maxa/slash.tgz /
Egy go nev� szkriptet haszn�lok, ami veszi a hosztnevet �s az
IP c�met mint argumentumot, �s kicsomagolja a slash.tgz �llom�nyt
a CD-ROM-r�l, majd lecser�li a hosztnevet �s az IP c�met a megfelel� helyeken.
A go szkript �s bemeneti �llom�nyai el�rhet�ek a
http://www.ram.org/computing/linux/linux/cluster/ c�men.
Ezt a szkriptet m�dos�tani kell a TE f�rt�d fel�p�t�sednek megfelel�en.
A Tom's Root Boot csomagot is haszn�lom (
http://www.toms.net/rb/) arra, hogy
ind�tsam a g�pet �s kl�nozzam a rendszert.
A go szkriptet el lehet helyezni a CD-ROM-on vagy egy floppy lemezen
ami a Tom's Root Boot csomagot is tartalmazza.
(t�r�lhetsz n�h�ny programot ebb�l a csomagb�l, ha kifutsz a floppy lemez
kapacit�s�b�l).
M�g k�nyelmesebb, ha k�sz�tesz egy ind�t� CD-ROM-ot ami a
Tom's Root Boot csomagot �s a go szkriptet, valamint
a kl�nozni k�v�nt rendszer tar �llom�ny�t tartalmazza.
M�dos�thatod a Tom's Root Boot csomag inicializ�l� szkriptj�t, hogy a
go szkriptet futtassa
(mindig be kell majd �ll�tanod az IP c�met, ha nem haszn�lsz DHCP szolg�ltat�st).
Egy alternat�v lehet�s�g, hogy k�sz�tesz egy saj�t ind�t� lemezt (mint egy ment� lemez), amely tetsz�sed szerinti kernelt �s programokat tartalmaz. Sz�mos dokumentum l�tezik, ami le�rja ezek k�sz�t�s�nek m�dj�t. A Linux Bootdisk HOWTO ( http://www.linuxdoc.org/HOWTO/Bootdisk-HOWTO/) is tartalmaz hivatkoz�sokat m�s el�re gy�rtott boot/root lemezekre.
�gy kifejleszthetsz egy rendszert ahol az �sszes dolog amit tenned kell csak annyi, hogy behelyezed a CD-ROM-ot bekapcsolod a g�pet, veszel egy cs�sze k�v�t (vagy s�tit) �s visszaj�ssz megn�zni a k�sz kl�nt. Ezt az elj�r�st ism�telheted annyiszor, ah�ny g�ped van. Ez az elj�r�s nagyon j�l m�k�dik nekem �s ha van valaki aki beteszi �s kiveszi a CD-ROM-okat akkor m�g jobb.
Rob Fantini ( [email protected]) m�dos�totta a fenti szkriptet, Mandrake 8.2 rendszer kl�noz�s�hoz. Ez el�rhet� a http://www.ram.org/computing/linux/cluster/fantini_contribution.tgz c�men.
Jelenleg egy olyan rendszeren dolgozok, amelyikben minden egy CD lemezre van felrakva, err�l indul a g�p �s k�nnyen kl�nozhat�. A k�zelj�v�ben k�zz�teszem a m�dszert.
Ha van egy m�k�d� DHCP szolg�ltat�sod, akkor nem sz�ks�ges �jra be�ll�tanod az IP c�met
�s ezt a r�szt t�r�lheted a go szkriptb�l.
A DHCP el�nye, hogy nem kell vacakolnod az IP c�mekkel mert a megfelel�en be�ll�tott DHCP szerver szolg�ltatja azokat. Egy h�tr�nya, hogy egy k�zponti szerveren van megval�s�tva (�s ahogy mondtam azon vagyok hogy elosszam a dolgokat amennyire csak lehet). Az IP c�mek hardver ethernet c�mekhez val� k�t�se is kellemetlen lehet, amennyiben a g�pet vagy a hosztn�v cser�t a szok�sos m�don k�v�nod v�grehajtani.
A hardverek �ltal�ban t�nyleg igaz�n j�l m�k�dtek. Specifikus k�rd�seket az al�bbiakban sorolunk fel:
Az AMD dual 1.2 GHz g�pek igaz�n melegszenek m�k�d�s k�zben. Kett� m�r �rezhet�en n�veli a szoba h�m�rs�klet�t. M�g j�k lehetnek asztali sz�m�t�g�pekhez, de a h�t�s �s az energia fogyaszt�s megfontoland�, amikor nagy f�rt�k r�szek�nt haszn�ljuk �ket. A kor�bban bemutatott AMD Palmino konfigur�ci� igaz�n j�l m�k�dik, de azt aj�nlom vegy�l k�t ventil�tort minden esetben, ez megoldotta az �sszes instabilit�s probl�m�nkat.
N�h�ny tar program nem �gy k�sz�ti el a tar �llom�nyt, ahogy azt elv�rn�nk (k�l�n�sen a szimbolikus hivatkoz�sok visszafejt�s�ben mutatkozik ez meg). A megold�s, hogy haszn�lj olyan tar programot, ami j�l csin�lja, p�ld�ul a Red Hat 7.0 disztrib�ci�ban l�v�t.
Ez a fejezet �gy fejl�dik ahogy a f�rt�m haszn�lata alakul. Eddig azon voltam, hogy meg�rjam a saj�t �zenet k�ld� elj�r�saimat, amellyel k�l�nb�z� g�peken fut� processzek kommunik�lnak egym�ssal.
Sok alkalmaz�s - k�l�n�sen a sz�m�t�g�pes genomika ter�let�n - massz�van �s k�nnyen p�rhuzamos�that�. Ez azt jelenti, hogy j� eloszt�s �rhet� el az�ltal, hogy azonos feladatokat sz�runk sz�t a g�pek k�z�tt (p�ld�ul amikor a teljes genomot analiz�ljuk azt a technik�t haszn�ljuk, ami egy g�nen, proteinen dolgozik �s minden processzor egy g�nen, proteinen dolgozhat id�ben, f�ggetlen�l a t�bbi processzort�l).
Eddig nem kellet haszn�lunk profi queue rendszereket, de ez nyilv�nval�an er�sen f�gg a futtatni k�v�nt alkalmaz�st�l.
Egyszer�en a legfontosabb programot futtattuk (a mi ab initio protenin folding szimul�ci�s programunkat) egy Pentium 3 1GHz processzoros g�pen referenci�nak. A k�vetkez� eredm�nyek sz�lettek:
Athlon 1.2 GHz processzor k�r�lbel�l 16% gyorsabb
Xeon 1.7 GHz processzor k�r�lbel�l 27% gyorsabb
Athlon 1.5 GHz processzor k�r�lbel�l 38% gyorsabb
Athlon 1.7 GHz processzor k�r�lbel�l 46% gyorsabb
Xeon 2.4 GHz processzor k�r�lbel�l 62% gyorsabb
Igen, az Athlon 1.5 GHz gyorsabb, mint a Xeon 1.7-es mivel a Xeon csak hat utas�t�s per �rajelet (IPC), m�g az Athlon kilenc �rajelet futtat (sz�molj!).
A g�pek, mind hardver, mind szoftver tekintetben hihetetlen�l stabilnak bizonyultak. Egyszer lettek debuggolva (rendszerint az �j g�pek k�z�l n�h�ny hardver probl�m�val �rkezik) folyamatosan nagyon nagy terhel�s alatt. Egy p�lda l�that� alul. �jraind�t�sok �ltal�ban akkor t�rt�nnek, amikor elektromos zavar keletkezik.
2:29pm up 495 days, 1:04, 2 users, load average: 4.85, 7.15, 7.72
A k�vetkez� szem�lyek seg�tettek ennek a HOGYANnak az elk�sz�t�s�ben:
Az al�bbi dokumentumok hasznosak lehetnek - ezek referenci�k olyan forr�sokra, amelyek a nagy teljes�tm�ny� f�rt�k haszn�lat�val foglalkoznak:
A magyar ford�t�st Szalai Ferenc k�sz�tette (2003.05.19). A lektor�l�st Daczi L�szl� v�gezte el (2003.05.21). B�rmilyen ford�t�ssal kapcsolatos �szrev�telt a [email protected] c�mre k�ldjetek. Eme dokumentum legfrissebb v�ltozata megtal�lhat� a Magyar Linux Dokument�ci�s Projekt honlapj�n. A ford�t�s jav�tva 2003.05.26.-�n.