Plyta serwerowa pod Opterona.

Witam,

Jaka plyte glowna polecacie pod procesor AMD Opteron?
Zastosowanie: Cache www
Wymagania: PCI-X lub zintegrowany kontroler SCSI z obsluga RAID0.

Jezeli ktos mial jakies doswiadczenia z taka konfiguracja to prosze o
podzielenie sie informacjami o ew. problemach z takim sprzetem pod
linuxem.

Z gory dziekuje za wszelkie odpowiedzi.

Poleciłbym raczej mompletną maszynkę typu v20z Sna.

kloczek

Poleciłbym raczej kompletną maszynkę typu v20z Sna.
Ciężko znaleźć cos w tej klasie co by było za w niższej cenie,a z  tego
tytułu ze jest to maszynka Suna są inne plusy.

kloczek

po co RAID0 do WWW cache?

i po co taki mocny sprzęt?

ludzie wy naprawde macie 100 krotny przerost manii nowosci i wielkosci nad
konkretna wiedza

kolejny maniak

Rozwiń to.

kloczek

Bo jest tyle pieniedzy do wydania, i ma to byc sprzet ktory ma starczyc
na dluuugo, i nie tylko na WWW cache, ale rowniez NAT, konta
uzytkownikow (ok 700), poczta, i w przyszlosci moze cos jeszcze.
Poprostu sa fundusze i trzeba je jak najlepiej wykorzystac, bo predko
kolejnych nie bedzie.

jak rozumiem ten cache www bedzie wisial jako open proxy otwarte na
internet a przewidywany ruch to pare/nascie tysiecy wywolan na minute ?
bo jak nie to zapomnij o tym sprzecie

Pozdrawiam.

Masz niedorost poziomu doświadczeń eksploatacji czegoś więcej niż w3cache na
własne potrzeby czy potrzeby.
Pytanie było o maszynke z SCSI. Jeżeli nie jest jasne dla Ciebie to, że
sprzęt z tego typu rzeczami musi spełniać pewne wymogi to przyjmin to od

tworzy to założenia do takich rozmów jak ta).

kloczek

Masz niedorost poziomu doświadczeń eksploatacji czegoś więcej niż w3cache na
własne potrzeby czy potrzeby kilku znajomych.
Pytanie było o maszynke z SCSI. Jeżeli nie jest jasne dla Ciebie to, że
sprzęt z tego typu rzeczami musi spełniać pewne wymogi to przyjmin to od

tworzy to konkretne założenia do takich rozmów jak ta).

kloczek

[...]

Ta sygnaturka to się nawet nieźle wkomponowuje w treść postu :

i takim oto sposobem nasze piekne uczelnie kupuje Itanium prosto od
IBMa :/ :(((
nic tylko za jajka powiesic.

Pozdrawiam.

a czego byś się spodziewał?

a i tak fajna uczelnia że zgadzają się na coś != intelowskiego.
u mnie na samo wspomnienie o athlonach dziwnie patrzą...

A wiesz cos na temat upustów jakei IBM daje dla EDU ?
Znasz może warunki serwisowania na jakich jest to sprzedawane ?

kloczek

Wybacz ale ciążko określić Cie inaczje niż *cięki przypadek ignoranta* :
Najgorsze w tym wsystkim, że takich ignorantów jak Ty po ulicach naszego
kraju chodzi całkiem sporo. Zatrważajjące jest to jak często spotykam się
ludzi którzy nie mając *żadnego* styku z czymś wyrywają się do krytyki jako
pierwsi.

Wiesz coś na temat upustów jakie IBM daje specjalnie dla EDU ? (i to nie
tylko w Polsce). A może znasz warunki serwisowania na jakich jest to
sprzedawane ? A wiesz może jeszcze, że takie zakupy na sprzęt EDU robi w
wyniku przetargów ? Jeżeli jesteś w stanie dostarczyć sprzęt o podobnych
parametrach jakie oferuje IBM to dlaczego nie szaczniesz stawać do
przetargów ? Skoro to takie proste i wręcz opłacalne to nic tylko codzinnie
monitorwać biuletyny przetargowe uczelni i kosić kasę .. :
Uczelni w PL ejst tyle że dokładnie na każdy dzień roku będziesz miał roboty
i potencjalnego zarobku po dziurki w nosie (wszystko przy założeniu że Twoje
pretensje mają jakiekolwiek zaczepienie w realiach).

Cen sprzętu IBM nie znam ale mogę coś więcej powidzieć o Sunach.
Przykładowo v20z o którym tu wspominałem to (ceny w złotówkach):

http://www.sun-catalogue.com/partpricing.xml?site=PL_ENG&catalogue=FC...

Wiesz o tym że Sun dla EDU bez żadnego gadania na starcie *sam proponuje*
30% upustu od cen jakie znajdziesz na tej stronie i na innych ? W tego typu
upustach nie ma żadnej tajemnicy ani magii (i tak nie dojdziesz samodzielnie
do tego dlaczego tak jestbo o realiach tego typu zaków nie masz zielonego
pojęcia). Proponuję usiąść do tych cen z kalkulatorem w ręku i poodejmować
sobie po te 30% (niektóre jednostki EDU i to nawet w PL z racji wielkości
zakupów jakie robią rok w rok mają wyższe upusty) i zastanowić się czy
jesteś w stanie dostarczyć maszynkę za podbną cenę na podobnnie
wyśrubowanych jak *najniższe* (czytaj: podstawowe) warunki serwisowania
(serwis brąz) ale na sprzęt typu składak.
Przykładowo u Suna w przypadku awarii na podstawowym (najniższym) serwisie
cokolwiek co padnie w praktyce mam naprawione często tego samego dnia
(elementy na wymianę dostarczane są pocztą kurierską), a najpóźniej
następnego i to po mimo tego że według umowy mają na to do dwuch tygodni.

czy kilka innych) ma koniec roku rozliczeniowego w czerwcu (amerykanie są tu
dość praktyczni .. w grudniu nie meczą sie z rozliczeniami i myslą o
świętach, a w czerwcu po rozliczeniach jadą na wakacje) i tuż końcem tego
okresu zdarzają się upusty do 50%. Masz wogóle o tym pojęcie ?

W tym roku mam do zakupu jeszcze maszynę 4 x opteron z 16GB RAM. Proponuję
sobie przemożyć cenę v20z przez dwa (v40z najprawdopodobniej pojawi się u
Suna na GA w czerwcu). Jak wskazesz mi firmę która w PL w czwartym kwartale br.
będzie w stanie stanąć do przetargu z niższą ceną od tej jaka Ci wyjdzie to
daj mi znać to sam do nich z miłą chęcią zadzwonie żeby podrzucić
dokumentację przetargową.

Skala upstów w Polsce dla EDU to jeszcze nic. Jest podstawowe 30% i od
okazji do okaji na niektóre rzeczy 40%, a czasami od świeta 50%. Dla
porównania proponuje się przyjrzeć temu upusty dla EDU daje Sun w US w tym
ruku:

http://www.sun.com/products-n-solutions/edu/promotions/matchinggrant/

"2004 US Education Matching Grant Program

Sun Microsystems and Authorized Sun Education partners are offering a unique
opportunity for your campus to purchase equipment at a deep discount in
support of your institution's academic and research computing initiatives.
This investment will be in the form of a Matching Grant - a discount of 50%
                                                          ^^^^^^^^^^^^^^^^^
on selected products, Desktop workstations will be priced at 60% off list!
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
This Matching Grant period is from March 15 - June 18, 2004. However,
supplies are limited and grants will be processed on a first-come,
first-served basis. Please follow the process outlined below to apply."

Powyższe to w sumie nieco papki marketingowej, a w powyższym na początku
tego tekstu możnaby dodać "As usual" lub "As same as year before".

Czy teraz teza, że zakupu w EDU w PL na składaki to *w wielu* przypadkach
marnortawienie publicznych pieniędzy będzie dla Ciebie czymś niedorzecznym ?

kloczek

popieram.

kolego rush, a ty co bys kupil? pewnie fajnego skladaczka, co?
ale po co skoro dla "edu" mozna za *te same* pieniadze kupic o wiele lepsza,
przetestowana, sprawdzona konstrukcje?

a wiem, to bo sam ostatnio kupilem 6 v20z-ek, wczesniej takze itanium2.
a sun dal nam 50% upustu.

ProLiant DL585 (4P) - ten mnie interesuje
http://h18004.www1.hp.com/products/servers/proliantdl585/index.html
ProLiant DL145(2P)
http://h18004.www1.hp.com/products/servers/proliantdl145/index.html

To są dość interesująse serwery.
W przyszłym roku mają być dostępne Opterony dual Core, czyli istnieje łatwa
możliwość migracji do 8P
tylko poprzez wymiane procesorów. Podobnie jak obecnie chyba HP daje moduły
2x Itanium do swoich serwerów wkładane do pojedynczego gniazda - podwojenie
ilości procesorów tylko przez wymiane modułu.

Dark

Primo: IIRC żadna firma z tych większych nie daje upustów typu EDU na
upgrade sprzętu. U Suna dla EDU zawsze opłaca się kupić na starcie nawet
wiekszą konfigurację niż nawet jest w danjej chwili nawet potrzebna (co nie
jest takie złe bo eksploatację maszyn Suna rzadko kalkuluje się na krócej
niż 7-8 lat). Ergo: upgrade jest tylko hipotetyczne bo w prorównywalnej
cenie co za upgrade jesli nie taniej nawet (a bywało juz tak) wyjdzie kupić
drugą maszynkę .. dwa razy większą (za jakiś czas). Obecne opterony nie mogą
pracować w konfiguracjach więcej niż cztery procesory w SMP (odsyłam do
stron AMD). Jeżeli są takie maszyny to nie jest to juz SMP tylko np. NUMA
i/lub HP zapewne _zakłada_ że nowe wersje procesorów będą na ich płytach
chodzić stabilnie (nie jest to pocieszające). Po drugie:

http://www.enter.pl/techno/archiwum.asp?id=2468

"Cena wersji dwuprocesorowej (z procesorami Opteron 848) wynosi około 12000
USD"

Także:
http://www.windows2003.pl/news.aspx?cat=A&id=745
"Domyślna konfiguracja nowego serwera HP ProLiant DL585 posiada tylko dwa
procesory AMD Opteron serii 800, które mogą być taktowane zegarem 1,60GHz,
1,80GHz lub 2,20GHz, a aby zakupić wersję czteroprocesorową należy
skontaktować się bezpośrednio z producentem."

Nigdzie nie znalazłem informacji o DAS w wersji podstawowej (czyżby wogóle
nie było dysków w powyższych cenach ?).

U Suna za konfigurację v20z z:

http://store.sun.com/CMTemplate/CEServlet?process=SunStore&cmdViewPro...

2 AMD Opteron Model 248 Processors
4-GB Memory
1 36-GB 10000 RPM Ultra320 SCSI Disk Drive
2 10/100/1000 Ethernet Ports

list price wynisi $6,995. Czyli niela połowe tej ceny. Mam wstępnie
zapewnienie, ze v40z będzie w cenie około 2 do 2.2 większej za dwukrotnie
większą konfugurację (4 AMD Opteron Model 248 Processors, 8-GB Memory, 2 x
36-GB 10000 RPM Ultra320 SCSI Disk Drive, 4 x NIC T1000 na miedzi). Czyli za
cenę tego HP w wersji dwuprocesorowej teraz za kilka miesięcy potencjalnie
będzie Sun z czterema procesorami. Ciężko uwzględnić co się w tym czasie
stanie ale wątpie żeby HP ścięło ceny aż tak mocno.

Italium to trup. Za piewszy kwartał tego ruku już tylko sam Sun sprzedał
więcej maszyn na operonach niż wszyscy inni producenci razem wzięci na
Italium. Sam Intel zapowiadając wypuszczenie wersji swoich procesorów
akceptujacych rozszerzenia 64bit dla x86 podkopuje Italium. Na operonie w
tej chwili uruchomić można Linuxa, Solarisa (za kawałek wersję 64bit) i
Windows. Na Italium praktycznie tylko Linuxa. Już tylko to będzie miało
poważne konsekwencje dla prędkości rozwoju runku maszyn na tych procesorach.

kloczek

to oczywiscie grube generalizowanie :)
popatrz na przyklad na rynek HPC. na liscie top500 jest 32 superkomputery
na itanium2 i 4 na opteronach...

skad masz te dane?

"akceptujacych" to dobre okreslenie. tak jak teraz itanium2 "akceptuje"
kod 32-bitowy :D

co i tak nie zmienia faktu, ze (np. dla mnie) liczy sie stosunek
wydajnosc/cena.

Kilka nawet dużych konfiguracji HPC niestety nie decyduje o masie rynku.

Dokładnego aderesu nie pamiętam ale było ze trzy tygodnie na stronach IDG
albo Gartnera w podsumowaniach rynku IT za pierwszy kwartał.
Możesz nawet na to nie patrzeć, bo w sumie wystarczy spojrzeć na tempo rozwoju
kernela Linuxa na operona i ia64 .. różnicę o której mówię widać niemal gołym
okiem.

Opteron wychodzi dużo lepiej.
Po za tym sparc na HPC nadaje się dużo lepiej. Przykładowo usparc IIIi czyli
nawet zuborzona wersja Usparc III ma tyle pamięci podręcznej co Italium.

Jeżeli masz HPC z narzutem na komunikację to i ile nie masz dobrego
interlinka (np. jakieś SCI) to praktycznie obecnie jeden procesor musisz
wyłączyć z obliczeń na rzecz komunikacji (obsługa przerwań). Tym samym
maszynka dwuprocesorowa staje się efektywnie niewiele więcej niż
jednoprocesorową o ile masz już powiedzmy średnio obciążoną kartę ściciową
np. T1000 jako interlink. O tym bardzo często się zapomina.
W typowym HPC także liczy się bardzo mocno latency na komunikacji (dopiero
na drugim miejscu przepustowość). Tu też choćby SCI bije na głowę ethernet
(różnica o rżad do dwuch w czasach zależnie od typów karty SCI).
Także o ile te Italim nie masz połączone np. SCI to sporo tracisz.

Z testów robionych już tylko w TASK widomo że Solaris w konfiguracji dwu i
więcej procesorowej nadaje się dużo lepiej do HPC niż Linux (różnice
dochodzą do nawet 30% na tym samym sprzęcie). Wynika to pośrednio z tego że
na Solku można przeprowadzić tunuing który funkcjonalnie jest niemożliwy w
ramach tego co dostarcza Linux. Przykładowo dla typowego procesu
obliczeniowego mieszającego na dużej macierzy zwiększasz rozmiar strony na
max przez co nie tracisz za dużo czasu na obsługę page table. Testy w TASK
były robione na Solku 9 na x86 także na Sol 10 teraz różnica powinna być
jeszcze o kawałek większa. Solarisa na Italium nie będzie .. wnioski same
się nasuwają.

Drugi klaster obliczeniowy (nowszy) w TASK to właśnie maszynki typu Italium.
Niemniej sporo mocy tego czegos idzie właśnie w gwizdek ze względów
komunikacyjnych (jako interlink jest 2 x NIC T1000 na miedzi).
O ile w testach do top500 cała ta konfiguracja wygląda całkiem nieźle o tyle
faktyczna różnica prędkosci w porównaniu do starego klastra na interlinkach
na SCI wygląda mniej optymistycznie.

O ile dwuprocesorowa maszynka to jeszcze nie to na nod do HPC o tyle
czteroporocesorowe Italium to już cena wyższa niż np. za v440 na USparc
IIIi. Typowo także większy pobór mocy (co przy klastrach po pareset
procesorów nie jest bez różnicy bo parędzisiat czy paręset watów per nod
przkłada się na na kilowaty zapewnienia zapewnienia zasilania dla całości ..
już tylko w rurze do zasilania, a gdzie dalej klimatyzacja, czy np. UPS-y).
Przykładowo nowy klaster w TASK ciągnie IIRC ~90KW.

Powtórzyć moge tylko tyle co mi Rafał Tylman swego czasu powiedział, że
jeżeli w momencie kiedy decydowali na czym postawić nowy klaster wiedzieliby
o maszynkach typu v210/v240 to za Chiny nie weszliby w Italium. Akurat
v210/v240 na GA pojawiły się w momencie finalizowania przetargu (gdyby TASK
miał podpisane NDA to mogliby się wcześniej dowiedzieć o tym sprzęcie .. po
części TASK dał ciała, a poczęści także Sun bo ośrodków w PL gdzie tego typu
rzeczy sie dzieją jest raptem kilka i NDA dla tych klientów powinno być wręcz
proponowane bo zyskują na tym sporo obie strony i to bardzo niwielkim kosztem).

kloczek

zgadzam sie, ale ...

robilem testy na IIIi, takze miedzianych i wyniki byly zalosne. takze
niezalezne testy pokazuja, ze z itanium2 moge miec wynik 2x wiekszy poer cpu.
wybacz, ale sun praktycznei nie istnieje na rynku hpc. musza byc tego jakies
powody...

nie zgadzam sie. jesli nie mam dobrego linka, to aplikacja po prostu dusi sie
na opuznieniach sieci. procesor jest niedociazony, ale w systemie i tak
spedza <1% czasu.

to prawda, ale interlinki takie kosztuja ~1000$/port. to sie kompletnie
nie oplaca (25% ceny maszyny 2x Itanium2). pamietaj jednak o najwazniejszym:
istony jest profil wykorzystania instalacji. jesli nie masz aplikacji
masywnie rownolegych, to nie ma sensu placic za szybkie linki.

jest o tyle dziwne, ze aktualnie trwa w kraju duzy projekt hpc,
oparty o linux/64-bit i jakos task ani pisnal o opteronach.

        Kolega rush jeszcze jakies pol roku temu sprzedawal
watpliwej jakosci sprzet z odzysku klasy P200MMX, wiec trzeba
pamietac ze ma dosc ograniczony horyzont.

[..]

Owszem istnieje ale na maszynach klasy v440 i większych.
Na ostatnim NC było całkiem sporo o Sunach w tym kontekście.
Najwiekszę HPC wręcz są bardzo często realizowane na Sunach ale są to
maszyny klasy V6800, F10/F15. Mowa o takich typach oblizeń w których ilość
jednocześnie pracujących zadań/wątków wacha się w okoliczach setek tysięcy i
więcej. Wszystko to dlatego, że Sun w praktyce to jedyna obecnie dostępna
platforma która skaluje się niemal liniowo powyżej dzisiąt procesorów, a wszystko
to pracyje na SMP, a nie NUMA (IBM z PPC64 dopiero zaczyna ten rynek skrobać
dotujać bardoz mocno największe instalacje). Poprostu pewnych typów obliczeń
za rozsądną cenę nie daje się robić wstawiając kilka tysięcy małych
jednostek (raz że częstotliwość awarii nodów będzie taka że w praktyce
niemal ciągle coś będzie wymieniame, a po drugie dlatego, że całość zatka
się na połączeniach).

Coś tu mylisz. Sygnał do obsługi przerwania nie pochodzi od aplikacji.
Tak czy inaczej wynik tego o czym mówisz (a z czym się nie do końca się zgadzam)
jest taki że całość stoi i nic nie robi.

Też nieprawda. Całkiem przyzwoite karty zaczynaja się od około połowy tej
ceny (wówię o kartach do włożenia do maszyn z Opteronem/Italium).
Nikt nie każe Ci kupować kart Dolphin.
Sporo zależy od tego jaka topologię sieci chcesz uzyskać (2d czy 3d torus).

Pomyłka jeżeli chodzi o mówienie o TASKu w czasie teraźniejszym. TASK
zaczynał prace nad klastrem (druga wersja) blisko dwa lata temu. W praktyce
ruchy zaczęły się zagęszczać ponad rok temu. Wtedy operona wogóle nie było
na rynku. Italiunm wydawało się nowatorskie (w praktyce można było kupić
sporo tańsze maszyny na xeonach). Wybór po części był swego rodzaju
eksperymentem (jak to często bywa przy tego typu inicjatywach).
Z tego co wiem w TASK założenia do klastra następnej generacji są w fazie
bardzo wstępnej .. na tym etapie typ sprzętu jeszcze wogóle nie jest
omawiany (tak czy inaczej szanse na to że kolejny klaster stanie na sparc
lub opteronach są mniejwięcej IMO pół na pół .. Italium po obecnych
doświadczeniach jednak ma mniejsze szanse).

kloczek

na liscie top500 jest 9 maszyn na sparcach.

ok, co tu myle?
oblsuguje przerwania i nie robi nic innego? jak to poznac? moim zdaniem tak,ze
rosnie czas spedzony w systemie. ja tego nie obserwuje. obserwuje natomiast, ze
aplikacja po prostu dusi sie na opuznieniach sieci (nie na pasmie).

#define przyzwoite
to sa ceny jakie podano mi ostatnio w phoenix na sc2003 dla myrinetu i quadricsa.
ceny rzekomo dla edu.
ceny *per port* czyli topologa nie ma znaczenia.
btw, aktualnie interesuje mnie hiperkostka.

tak sie sklada ze *w tej chwili* decyduje sie zakup 100 wezlow 2x itanium2
na potrzeby projektu stworzenia ogolnopolskiego gridu hpc. task uczesniczy w tym
projekcie, ktory trwa juz pol roku, i jest jednym z najwiekszych jego udzialowcow.
nie padl z ich strony ani 1 argument za opteronami, przynajmniej w oficjalnych
dyskusjach a decyzje o platformie podjelismy mniej niz pol roku temu.
i byc moze opterony by przeszly (ja bym sie cieszyl), solaris z zalozenia nie.

eot dla mnie.

ps. jestem pracownikiem centrum hpc dla edu we wroclawiu, tylmana znam osobiscie.

[..]

kloczek

Ozimek jest klamca.

Pozdrawiam.

przykro mi

nie

przetestowane -tak
z dobrym supportem -tak
z ladnymi naklejkami -tak
optymalne pod wzgledem wydajnosc/zl -NIE

Od roku jest alternatywa dla Itanium. Powiedz mi z reka na sercu ze te
komputery licza cos zmiennoprzecinkowego, bo jak nie to topisz po
prostu kase w Intelu. Nie interesuje mnie vendor, interesuje mnie
technologia. Kupowanie czegokolwiek na Itanium jest tak samo chore jak
kupowanie czegokolwiek na Xeonach.

Pozdrawiam.

ok, mowie: uzywam tych maszyn wlasnie do obliczen zmiennoprzecinkowych.

powiemm tez to: ja uzywam komputerow nie do zabawy a do swiadczenia
uslug na wysokim poziomie. sieciowych i obliczeniowych. i przekonalem sie,
ze *taniej* moja firme wynosi kupowanie markowego sprzetu. i wynika to
nie z mojego przekonanie ale z faktur.

eot dla mnie.

Opterony maja 8 linkow HT, a co za tym idzie dzialaja w konfiguracjach
8 procesorowych 'out of the box'. Sa rowniez plyty pod 8 opteronow. Nie
wiem co dla ciebie "nie jest to pocieszające" poza nazwa "HP" ktora sam
wymieniasz. Istnieje cos takiego jak "Black Widow", jest to wlasnie
system umowliwiajacy spinanie duzej ilosci 2 procesorowych plyt z
Opteronami w duze clastry dzialajace w oparciu o architekture cNUMA.

plyta Tyana 1700$, 4 opterony 844 2800$, 250$ za obudowe, 1000$ za 4GB
ramu (po 1 giga na procesor, zadnej dzielonej szyny jak w przypadku
Xeona/Itanium)
To samo kupowane u jakiegos vendora kosztuje x2 czyli okolo 12000, ale
za CZTEROPROCESOROWY server. Jesli bardzo chcesz przeplacac to
oczywiscife idziesz do Enter.pl :/

Ok, teraz piszesz calkiem sensownie o Itanium a jeszcze 4 posty wyzej
zjechales mnie za krytykowanie zakupu Itanium ? Zgubilem sie.

Pozdrawiam.