Prijava na forum:
Ime:
Lozinka:
Prijavi me trajno:
Trajanje:
Registruj nalog:
Ime:
Lozinka:
Ponovi Lozinku:
E-mail:

ConQUIZtador
nazadnapred
Korisnici koji su trenutno na forumu 0 članova i 0 gostiju pregledaju ovu temu.
Idi dole
Stranice:
Počni novu temu Nova anketa Odgovor Štampaj Dodaj temu u favorite Pogledajte svoje poruke u temi
Tema: Kako radi RAID  (Pročitano 483 puta)
16. Jun 2005, 04:28:40
Administrator
Capo di tutti capi


Underpromise; overdeliver.

Zodijak Gemini
Pol Muškarac
Poruke Odustao od brojanja
Zastava 44°49′N - 20°29′E
mob
Apple iPhone 6s
RAID je tehnologija koja je ušla u upotrebu 1987. godine i razvijena je za potrebe serverskih sistema. RAID je skraćenica od Redundant Array of Inexpensive Disks (srp. Redundanti niz jeftinih diskova). Ona je razvijena...


...zbog potreba većih performansi i veće sigurnosti, bez velikih troškova (zato se nalazi inexpensive u nazivu).

Kako je vreme odmicalo RAID je polako počeo da se spušta u "narodne" mase, kao što biva i sa svim serverskim tehnologijama. Počeli su da se pojavljuju dodatni kontroleri (HPT, Promise) na matičnim pločama, kao i zasebni, koju su nudili mogućnost pravljenja RAID 0 ili 1 niza (eng. array), po niskoj ceni, to su takozvani softverski kontroleri.

 

Softverski i hardverski RAID kontroleri

Sigurno se pitate koja je razlika između softverskog i hardverskog RAID-a ?
Softverski kontroleri rade na sledeći način...
RAID kontroler pripremi podatke o tome kako bi taj niz trebao da funkcioniše, pa ih prosledi procesoru (CPU). Procesor radi kalkulaciju dobijenih podataka i nakon izračunavanja (na koliko se delova fajl deli, kolika je veličina trake (eng. stripe), gde koji deo fajla treba da ide) vraća podatke kontroleru, koji ih nakon toga samo šalje na, prethodno, određena mesta.
Softverski RAID kontroleri rade identično kao i standardni IDE kontroler iz južnog mosta (eng. southbridge) vašeg čipseta (eng. chipset), osim nekih manjih dodataka koje smo gore spomenuli.
Izračunavanje podataka potrebnih za RAID 0 i 1 nizove nisu mnogo procesorski zahtevne operacije, pa je zato ovakva implementacija moguća bez, skoro, ikakvih uticaja na performanse sistema.




Adaptec softverski ATA RAID kontroler



Sada vam sigurno nije jasno za šta nam služe hardverski RAID kontroleri ako nam, gore navedana izračunavanja, ne oduzimaju procesorsko vreme. Vidite... RAID 0 i 1 nisu jedini RAID nizovi koji postoje, tu su još, od najčešće korišćenih, RAID 5, 10 i 0+1, kao i manje poznati RAID 2, 3, 4, 6, 7, 50, 53 (oni su u stvari pod varijante prethodnih i koriste se retko, ako uopšte). Mi ćemo obraditi samo ove najpoznatije.

RAID 5 je procesorski zahtevan, iz razloga koje ćemo dalje u tekstu objasniti, pa kada bi smo kalkulacije potrebne za njegovo izračunavanje prepustili, centralnom, procesoru, ne bi smo bili u mogućnosti da koristimo kompjuter. Tu na scenu dolaze hardverski RAID kontroleri.
Oni su dodatne (eng. add-in) kartice koje na sebi imaju, specijalizovani, procesor koji isključivo radi kalkulacije potrebne za RAID niz, kao i dodatnu keš memoriju. Procesor koji se najčešće koristi na ovim karticama je Intel i960, a veličina memorije varira od 64 do 256MB. Oni omogućuju podršku za RAID 5, jer njihov procesor obavlja sve potrebne kalkulacije koje bi za CPU bile pogubne. Zbog toga su oni jedino pouzdano rešenje kada je RAID 5 u pitanju.
Zbog svoje kompleksnosti njihova cena je znatno viša od softverskih RAID rešenja, ali osim rasterećivanja centralnog procesora (CPU), oni donose i mnoge dodatne opcije.




Adaptec hardverski SATA RAID kontroler

 

RAID 0 - Striping (srp. rastavljanje)

Ili kako se još naziva Striped Set without Parity (srp. skup za rastavljanje bez parnosti).
Iako nosi RAID u svom nazivu, ovaj niz nije validan RAID niz, jer nema toleranciju greške. Prostije rečeno - u slučaju otkaza bilo kog diska u nizu, gubite sve podatke. To je njegova najveća mana, ali njegova prednost se ogleda u tome što dobijate dosta na brzini. RAID 0 koristi algoritam za rastavljanje fajlova u segmente, veličinu segmenta određuje korisnik (segment tj. traka (eng. stripe size)). Zatim svaki disk, u nizu, dobija po jedan segment. Npr. ako je fajl veličine 128KB, algoritam ga deli u dva dela od po 64KB i šalje ih simultano diskovima. Tako se vrši upis, dok se čitanje odvija u suprotnom smeru. Istovremeno se pristupa segmentima na oba diska i kontroler ih, onda, sklapa u jednu celinu.
Prednost se ogleda u tome što se fajl od 128KB, u RAID 0 nizu, ponaša identično kao fajl od 64KB na jednom disku. To je zbog toga što se segmentima pristupa simultano. Iz tog razloga je RAID 0, u teoriji, dva puta brži od jednog diska.
U slučaju da je fajl manji od veličine segmenta, ne deli se i ubrzanja neće biti. Veličina segmenta je jako bitna, ali o tome više reči dalje u tekstu.
Da bi ste mogli da napravite ovaj niz potrebna su vam, minimalno, dva hard diska istih veličina, brzine i od istog proizvođača. Ne preporučuje se mešanje različitih diskova, jer će onda RAID 0 niz raditi kao najslabiji (najsporiji, najmanjeg kapaciteta) disk iz niza.



Prednosti:
• nema pravljenja parnosti (ne gubi se na brzini usled toga)
• lak za implementaciju
• jeftin
• maksimalno iskorišćenje mesta na diskovima

Mane:
• nije pravi RAID niz
• nema toleranciju greške
• otkaz jednog diska dovodi do gubitka podataka
• loš za servere gde su podaci bitni

Upotreba:
• priprema za štampu
• video montaža i produkcija
• grafički dizajn
• svi oni koji žele veće performanse, a rade redovan back-up

 

RAID 1 - Mirroring (srp. refleksija)

Ime sve govori - sadržaj jednog diska ima identičnu kopiju na drugom disku u nizu. Koristimo ga kada nam je važnost podataka, daleko, važnija od brzine njihovog upisa. RAID 1 je možda sporiji u upisu podataka, čak i od jednog diska, jer treba jednu informaciju upisati na dva mesta. Začuđujuće je to što bi, u teoriji, čitanje podataka trebalo da bude dva puta brže od jednog diska.
Dobra osobina ovog RAID niza je što u slučaju otkaza jednog diska ne gubite podatke, a takođe ne gubite ni vreme u zameni diska. Sistem će u tom slučaju nastaviti da radi sa jednim diskom, a po zameni diska koji je otkazao, RAID 1 niz će se ponovo izgraditi. Softversko rešenje može znatno usporiti rad celog sistema, zato se preporučuje korišćenje hardverskog kontrolera.
Da bi se ovaj niz napravio potrebna su minimalno dva hard diska, a za njih važe ista pravila kao i kod RAID 0 niza - diskovi moraju biti identični.



Prednosti:
• nema generacije parnosti
• laka implementacija
• visoka tolerancija grešaka
• koristi pun kapacitet diska
• dva diska minimum

Mane:
• nekorisno iskorišćavanje mesta na diskovima
• visoki troškovi po upotrebljivom GB
• duplo veći broj upisa

Upotreba:
• web serveri
• knjigovodstvo
• banke
• svugde gde je sigurnost podataka na prvom mestu

RAID 5 - Rotating Parity Array (srp. niz sa rotirajućom parnošću)

Najčešće korišćeno rešenje u serverima i radnim stanicama, jer pokušava da objedini brzinu RAID 0 (striping) i sigurnost RAID 1 (mirroring). Kažemo da pokušava, jer performanse nisu jednake, kako, ni RAID 0, tako ni RAID 1.
Njegove performanse najviše zavise od kvaliteta kontrolera. Na kvalitetnom kontroleru sa dovoljnom količinom keš memorije, performanse RAID 5 mogu biti ekvivalentne RAID 0 nizu.
Da bi ovaj niz funkcionisao, za razliku od prethodna dva niza, potrebna su vam tri diska. Na dva diska se šalju rastavljeni (eng. striped) podaci, dok se na treći upisuje informacija o parnosti (eng. parity bit). Parity bit se generiše od originalnog fajla, u procesoru kontrolera, specijalnim algoritmom koji proizvodi podatke pomoću kojih se mogu rekreirati, u slučaju otkaza jednog od diskova, podaci koji se nalaze na druga dva diska (striping).
Ovaj niz se naziva rotirajući, jer se informacija o parnosti ne upisuje uvek na isti disk, već svaki put na drugi. U ovom nizu uloga diskova se stalno smenjuje, time se eliminiše usporavanje do koga bi došlo da se informacija o parnosti konsantno upisuje na isti disk (RAID 4). Zbog toga je potreban hardverski kontroler, jer on ne samo da generiše informaciju o parnosti, već on određuje smenu diskova, kao i to gde će koji podatak biti upisan.
Primer: imamo tri diska u nizu, sa veličinom trake od 64KB, a vršimo upis fajla od 128KB. Kontroler prvo generiše informaciju o parnosti tako što radi XOR kalkulaciju za taj fajl, onda se fajl deli u dva dela (2x 64KB), prvi deo ide na jedan hard disk, drugi na drugi disk (isto kao kod RAID 0), a nakon toga se informacija o parnosti upisuje na treći disk u nizu. U sledećem "krugu" parity bit se ne upisuje na treći disk, već na jedan od druga dva, kako kontroler odredi.



Prednost RAID 5 je u tome da, u slučaju otkaza bilo kog diska, niz i dalje može da nastavi da radi. Mana je ta što će raditi sporije, a i samo rekreiranje niza, posle zamene pokvarenog diska, traje znatno duže nego kod RAID 1 (informacija o parnosti se mora ponovo generisati). Još jedna od prednosti se ogleda u tome što se istovremeno može odvijati više upisa i čitanja bez zagušenja (što je veći broj diskova u nizu to se više ovih operacija istovremeno može vršiti).
Kada već spominjemo mane ovog niza moramo napomenuti jednu koja može biti jako iritirajuća, a manifestuje se pri menjanju sadržaja samog fajla. Da bi smo promenili fajl, potrebno je da ga iščitamo sa hard diska, izmenimo i ponovo upišemo na disk (procedura kod korišćenja jednog diska). Kod RAID 5 je malo drugačije. Dva diska, na kojima se nalazi rastavljeni fajl, se istovremeno aktiviraju radi iščitavanja fajla, mi menjamo sadržaj fajl, promena fajla se šalje u kontroler koji ponovo izračunava informaciju o parnosti, zatim se fajl rastavlja i šalje diskovima, a informacija o parnosti se ponovo upisuje na treći disk u nizu. Sa većim brojem diskova u nizu ova operacija postaje sve komplikovanija.
Da bi ovaj niz bio efikasan potrebno je da svi diskovi budu identični

Prednosti:
• najfleksibilniji od svih nizova
• najbolji balans cena/performanse/sigurnost od svih RAID nizova
• mogućnost više simultanih upisa
• visoka brzina čitanja
• osrednja brzina upisivanja
• visoka efikasnost
• za kreiranje potrebna minimalno tri diska

Mane:
• neefikasan sa transferom velikih fajlova
• otkazivanje diska ima uticaj na performanse
• za najbolje performanse potrebni su skupi kontroleri

Primena:
• baze podataka
• fajl i print serveri
• web, e-mail i news serveri
• intranet serveri
• radne stanice

 

RAID 10 (RAID 0+1)

RAID 10 je u stvari RAID 0 uparen sa RAID 1. Odatle vidimo da je RAID 10 isto što i RAID 0+1.
Najbržem RAID nizu, RAID 0, dodata je sigurnost podataka sa RAID 1. Ovo je najskuplji RAID niz za korišćenje, jer zahteva minimalno četiri diska, a proširenje je veoma ograničeno. Ovo je prvi takozvani "dvo-dimenzionalni" niz, jer se zasniva na direktnoj saradnji između dva niza. I ovde važi da diskovi koji se koriste moraju da budu isti.



Prednosti:
• nema generisanja parnosti
• lak za implementaciju
• koristi pun kapacitet diskova
• veće performanse od RAID 5
• visoka tolerancija greške
• odlične performanse pri upisu i čitanju podataka

Mane:
• neefikasno iskorišćenje mesta na diskovima
• visoka cena
• mala skalabilnost

Upotreba:
• fajl serveri
• baze podataka
• gde se zahtevaju viske performanse sa visokom sigurnošću

 

Veličine traka (eng. stripe size) i njihova važnost

Predpostavimo da je vaš glavno interesovanje za RAID vezano za uvećanje performansi vašeg hard disk podsistema.
Veličina traka (eng. stripe size) je izuzetno bitna da bi ste dobili veće performanse RAID nizova i zato je važno da razumete njihov ulogu, pre nego što pređemoo dalje u diskusiju.
Stripes (srp. trake) su blokovi jednog fajla koji su razbijeni u manje delove.
Stripe size (odnosno veličina u koju se podaci razbijaju) definiše korisnik u rasponu od 1KB do 1024KB i više.
Princip rada je takav da RAID kontroler deli podatke u blokove (jedan ili više u zavisnosti od veličine trake i fajla) i zatim ih distribuira na diskove u nizu (različiti delovi fajla idu na različite diskove). Podatak će biti brže upisan zato što hard disk upisuje manje fajlove, koji u su u stvari deo jednog većeg fajla. Čitanje je takođe brže, jer se podaci preuzimaju istovremeno sa diskova u nizu, a onda sklapaju u kontroleru.

Najbolje je objasniti preko primera.
Napravili smo dva RAID 0 niza od po dva hard diska. Prvi RAID 0 niz ima veličinu trake od 64KB, dok kod drugog ona iznosi 1024KB. Na oba niza upisaćemo 2 fajla, jedan od 128KB, a drugi od 4096KB (4MB).
Pri upisu fajla od 128KB, na prvi niz, fajl se deli u dva dela. Prvih 64KB ide na prvi disk u nizu, a drugih 64KB ide na drugi disk u nizu. Posao se deli jednako na dva dela i izgleda kao da radi jedan disk sa fajlom od 64KB. Prosto, zar ne ? Kod čitanja situacija je ista. Mi želimo da vidimo taj fajl od 128KB, oba diska istovremeno šalju svaki svoj deo od 64KB i dobijamo ceo fajl od 128KB za isto vreme koliko bi jednom disku trebalo za fajl od 64KB.
Ovo je prošlo dobro, da vidimo šta će se desiti kada pokušamo da upišemo fajl od 4096KB... U ovom slučaju RAID kontroler mora da razbije fajl na 64 dela, sa veličinom svakog dela od 64KB! Kontroler sada rastavlja fajl u 64 dela i šalje prva dva dela diskovima da ih upišu, kada su ti delovi upisani na disk kontroler šalje sledeća dva dela i tako 64 puta... Ni kod čitanja situacija nije ništa bolja. Ako želimo da pristupimo fajlu od 4096KB, diskovi moraju, ukupno, 64 puta da posalju po 64KB kontroleru.
U oba slučaja nastaja zagušenje. Kako god da pogledate u pitanju je prava noćna mora.

Pogledajmo sada kako se drugi niz snalazi...
Na drugi niz upisujemo fajl od 128KB, pošto je veličina fajla manja od veličine trake (1024KB), fajl se ne deli u delove, već upisuje direktno na jedan od diskova. Isto se dešava i pri čitanju, pošto fajl nije podeljen on se direktno učitava sa diska na kome je upisan. U ovom slučaju nema ubrzanja.
Sada ćemo upisati fajl od 4096KB. Kontroler deli ovaj fajl na četiri dela. Svaki od diskova dobija dva dela od po 1024KB koji treba da se upišu. Ovo je mnogo lakše od upisivanja jednog fajla od 4096KB, pa je i ubrzanje primetno. Pri čitanju, takođe, primećujemo ubrzanje, jer se čitaju dva manja fajla sa svakog diska.

Predpostavljam da se sada pitate koja je najbolja veličina trake za najbolje performanse?
Odgovor i nije tako jednostavan. Iz našeg iskustva smo utvrdili da ne postoji univerzalno rešenje, već da zavisi od kontrolera do kontrolera, nekima odgovara veći, a nekima manji stripe. Najidealnije bi bilo da probate sve kombinacije i da ih testirate sa nekim programom i vidite koja veličina trake najviše odgovara vašem kontroleru, ali isto tako možete posetiti forume na internetu i raspitati se kod ljudi koji su to već probali.

 

Zaključak ?

RAID, kao tehnologija, dolazi u više "ukusa", mi smo vam objasnili kako ona funkcioniše. Sada je na vama da odlučite da li vam je ona zaista potrebna ili je to još jedan dodatak vaše matične ploče ili disk kontrolera koji nikada nećete upotrebiti.
Ako ste nakon ovog teksta shvatili da vam je ova tehnologija potrebna, nadamo se da smo vam razjasnili njene osnove i pomogli vam da se odlučite za ono što vam je, zaista, potrebno.

Tekst preuzet sa Computer Killers




Ispravke & dopune by silverglider

Prvo sto se tice podele RAID-ova glede hw podloge; postoje tri grupe:
    cisti softverski iliti OS RAID; to je RAID veza koju odrzava OS na najobicnijem hdd kontroleru (obican IDE ili obican SCSI), tj. kontroleru bez ikakvih nominalnih RAID sposobnosti na nizem nivou. Opterecenje lezi na CPU-u. Podrzavaju i windowsi i linuxi, itd. To znaci da se moze RAID napraviti na bilo kojem kontroleru, ali ce raditi sporije u odnosu na RAIDove na za to pravljenim kontrolerima.
    soft RAID kontroleri; kao sto Vocko rece, za osnovne modove, posto oni ne traze posebnu procesorsku snagu. Koriste isti trik koji se koristi i kod softverskih modema ili drugih "softverskih kartica": kombinacija firmwarea (BIOSa u ovom slucaju) na kartici i posebno napisanih drajvera koji tu informaciju iz firmwarea koriste. Znaci, RAID veza se kod njih formira na nivou BIOSa i dalje se rad prepusta drajverima koji koriste CPU. Primer disfunkcionalnosti: iako se na takvim kontrolerima formira RAID u njihovom BIOSu, pod linuxom recimo se ti diskovi i dalje vide kao dva odvojena diska, pa treba linuxu explicitno reci da je to taj-i-taj RAID. Tu se recimo najjasnije vidi da to nije "puni" RAID kontroler.
    full hw RAID kontroleri; pojednostavljeno receno, kontroler sve radi sam Smiley Kako se u njegovom BIOSU formira veza, tako ce OS videti taj blok. Od svih pomenutih resenja, najmanje vuce CPU, jer karta ima svoj procesor.


Treba samo imati na umu da su svi RAID-ovi prvo bili pravljeni za SCSI veze. Tu nije bilo nikakvih soft- ili polu- varijanti. U tadasnje vreme, IDE diskovi se jednostavno nisu tretirali kao fault tolerant vrsta medija (pa ni danas u ozbiljnim krugovima). Prvenstvena namena RAID veze je povecana sigurnost - odatle ono R (redundant) u nazivu. Zato se tu IDE nije gurao, jer kako napraviti blok sa povecanom sigurnoscu baziran na IDE diskovima, kada sam proizvodjac procenjuje vek trajanja IDE diska na mnogo manje radnih sati nego kod SCSI-ja? Plus sto IDE nije ni bio pravljen da podrzava neke naprednije stvari, kao sto su npr. hot swapping (tek je SATA tu nesto korektnije uradio stvari), command queueing, itd.

Imajuci opet u vidu datum nastajanja RAID-a (i kao koncepta i kao naziva) ono "inexpensive" u nazivu stoji zbog poredjenja sa ozbiljnim storage resenjima  na enterprise nivou, koji se koriste po velikim korporacijama, bankama, bolnicama, itd. koja se prilicno razlikuju od ovog koncepta (pogledati tape library, disk factory, fibre channel, SAN, itd). Kao su PC racunari poceli da bivaju jaci, poceli su i da zadovoljavaju za ulogu manjih servercica. Pa su ljudi formirali RAID koncept da bi mogli neki fault tolerant princip da strpaju i u obican PC. Ma koliko i tada SCSI diskovi i RAID SCSI kontroleri bili skupi, u poredjenju sa ovim corporate resenjima su bili "inexpensive".
U skladu sa tim i ispravka Vockovog navodjenja namena pojedinih RAID veza - da li ce se upotrebiti u bankama, bolnicama, itd. ovo ili ono resenje, zavisi prvenstveno od velicine organizacije; ovo opisano ide u entry do eventualno middle nivoa, za sve preko toga predstavlja deciju igracku. Za vise nivoe svratiti do sajtova IBM-a, HP-a, Suna, itd. pa pogledati pod stavku "storage".

I sad, naravno, prica oko RAIDa 5 Smiley
RAID5 moze takodje kompletno softverski da se napravi i to ne ugusi procesor skroz - sa danasnjim procesorima i nije neka frka. Jedino sto su performanse nize nego sa hardverskim kontrolerima. Ima kod Tome sad skoro postavljen bas takav test - RAID5 sa Windows XP-om.
Mala preformulacija Vockovog teksta da vam za RAID5 trebaju tri diska: za RAID5 vam treba minimum tri diska, sto znaci da moze da ih ima i vise.

Pitanje performansi kod poredjenja nije najtacnije, a sve zavisi od skaliranja velicine veze. Sto je vise diskova u RAID5 vezi, kompletan disk podsistem je brzi. Ako posmatramo RAID10 (sa dakle cetiri diska), on moze da se "kolje" po performansama sa nominalnim RAID5 sistemom od tri diska. Ali kada u taj RAID5 dodamo i taj cetvrti disk (da izjednacimo broj diskova), petica ce po performansama ubiti desetku samo tako. Objasnjenje je sasvim lako - kada gledamo 10 sa cetiri diska, sistem ima stripe od dva diska - bas kao i petica od tri uvezana diska: dva formiraju stripe. Jedino sto se sigurnost kod desetke ostvaruje sa dva dodatna diska i cistim mirrorom, a kod petice se koristi jedan disk i xor princip. Znaci, kod oba sistema vazi da se jedan fajl od 1MB deli na 2x512KB i svaki od tih delova snima na diskove. Ako medjutim, dodamo cetvrti disk u RAID5 vezu, stripe ce porasti na tri diska i taj fajl od 1MB ce se podeliti na 3x333KB. Ma koliko da traje racunanje xora, to je procesorski deo posla koji je za barem red velicine brza operacija od smestanja na disk. A svaki od diskova u ovom slucaju snima manje parce, sto znaci da je pre gotov; to snimanje je i dalje najsporija operacija u celom tom lancu. Dakle, samo racunanje se nadoknadjuje "usitnjavanjem" blokova za snimanje.

Takodje iznesena ocena o trajanju regenerisanja zamenjenog diska nije fixna. Rebuild traje na svakom RAIDu, a od opcija samog kontrolera zavisi na koji nacin ce je izvrsiti - da li odmah, da li postepeno, da li ce cekati idle momente, itd.
Dosta toga zavisi kako je dobro ceo sistem konfigurisan i tu admin mora dobro da pazi. Na primer, Vocko je naveo da RAID5 ima problema sa transferom velikih fajlova. Naravno, ako je admin bio tupson, pa za server koji radi sa velikim fajlovima definisao suvise mali osnovni blok za seckanje - pa ima mnogo xor racunanja. Zato se za servere gde su performanse kriticne lako konfigurisu recimo dva RAID niza, jedan obican mirror sa malim osnovnim junitom za operativni sistem i osnovni softver, a recimo posebna petica na kojoj ce lezati ta velika baza. U skladu sa velicinom stripeta, admin mora da prilagodi i velicinu clustera fajl sistema koji ide na takvu RAID vezu. Nakon toga, sledi optimizacija u krajnjem softveru; npr. veliki sql serveri daju da se definise takodje velicina bloka u kojima se podaci snimaju, pa se opet gadjaju prethodno unesene velicine, a sve sa ciljem da nema nepotrebnog dodatnog seckanja, formiranja slacka, itd.
IP sačuvana
social share
Pobednik, pre svega.

Napomena: Moje privatne poruke, icq, msn, yim, google talk i mail ne sluze za pruzanje tehnicke podrske ili odgovaranje na pitanja korisnika. Za sva pitanja postoji adekvatan deo foruma. Pronadjite ga! Takve privatne poruke cu jednostavno ignorisati!
Preporuke za clanove: Procitajte najcesce postavljana pitanja!
Pogledaj profil WWW GTalk Twitter Facebook
 
Prijava na forum:
Ime:
Lozinka:
Zelim biti prijavljen:
Trajanje:
Registruj nalog:
Ime:
Lozinka:
Ponovi Lozinku:
E-mail:
Prijatelj foruma
Jet set burekdzija


Blago kuci koju zaobidjem :D

Zodijak Taurus
Pol Muškarac
Poruke 5996
Zastava Tako blizu a tako daleko
mob
Nokia 6130
 Smile Smile Smile
IP sačuvana
social share
Pogledaj profil WWW
 
Prijava na forum:
Ime:
Lozinka:
Zelim biti prijavljen:
Trajanje:
Registruj nalog:
Ime:
Lozinka:
Ponovi Lozinku:
E-mail:
Idi gore
Stranice:
Počni novu temu Nova anketa Odgovor Štampaj Dodaj temu u favorite Pogledajte svoje poruke u temi
nazadnapred
Prebaci se na:  
Oznake: status rebuild

Poslednji odgovor u temi napisan je pre više od 6 meseci.  

Temu ne bi trebalo "iskopavati" osim u slučaju da imate nešto važno da dodate. Ako ipak želite napisati komentar, kliknite na dugme "Odgovori" u meniju iznad ove poruke. Postoje teme kod kojih su odgovori dobrodošli bez obzira na to koliko je vremena od prošlog prošlo. Npr. teme o određenom piscu, knjizi, muzičaru, glumcu i sl. Nemojte da vas ovaj spisak ograničava, ali nemojte ni pisati na teme koje su završena priča.

web design

Forum Info: Banneri Foruma :: Burek Toolbar :: Burek Prodavnica :: Burek Quiz :: Najcesca pitanja :: Tim Foruma :: Prijava zloupotrebe

Izvori vesti: Blic :: Wikipedia :: Mondo :: Press :: Naša mreža :: Sportska Centrala :: Glas Javnosti :: Kurir :: Mikro :: B92 Sport :: RTS :: Danas

Prijatelji foruma: Triviador :: Nova godina Beograd :: nova godina restorani :: FTW.rs :: MojaPijaca :: Pojacalo :: 011info :: Burgos :: Sudski tumač Novi Beograd

Pravne Informacije: Pravilnik Foruma :: Politika privatnosti :: Uslovi koriscenja :: O nama :: Marketing :: Kontakt :: Sitemap

All content on this website is property of "Burek.com" and, as such, they may not be used on other websites without written permission.

Copyright © 2002- "Burek.com", all rights reserved. Performance: 0.057 sec za 15 q. Powered by: SMF. © 2005, Simple Machines LLC.