Usuario: Contraseña:      ¿Olvidó la clave?   registrar

Usuarios revisando este tema :   1 Invitados:



(1) 2 »


Hardware, Presupuesto de una supercomputadora casera
Simpatizante en Boinc
Registrado:
6/10/2008 13:17
Desde: España
Grupo:
Usuarios Inscritos
Mensajes: 187
Ausente
Voy a redactar un presupuesto con el fin de enviar un mensaje a toda la gente que le gustaria hacer una supercomputadora, que no es tan caro si sabes donde buscar, pero el problema reside en el consumo, ya que utilizaremos 10 CPUs.

Primero haré un presupuesto con los precios de MAOBOX que son de otro pais pero sale muy barato, aunque para crearte una cuenta no dejan elegir pais, aunque si quieres comprar 10 unidades quizas hablando con ellos si te dejen exportar el producto.

Para que el costo salga economico utilizaremos AMD con arquitectura de 64 bits a ser posible la tecnologia X2 del modelo 6000.

Las placas seran Micro ATX, no os asusteis no son tan micro que 24cmx24cm esta muy bien para un diseño, ademas tienen los agujeros en las esquinas para poder unir las placas con varillas, pero eso es tema ya de diseño.

10 CPU AMD Athlon 64 X2 6000 3.1GHz de socket AM2 89W Dual core tiene memoria cache de L1 1MB mas 2MB en la L2.

El precio de MAOBOX es de 76$ en euros 59,8 x10 =598,2Eur

Total, 10 procesadores 598,2 Eur.


La placa sera ASUS M3A78-EM de socket AM2 AMD 780G HDMI micro ATX por 65$, seran unos 51.1Eur x10 511.64Eur.

Total 10 CPU +10 Placas = 1109,8 Eur.

Y por ultimo las fuentes de alimentacion.

Case Gears Black Steel 580w por 18$ x 10 unos 141,68 Eur.

La potencia de dicha fuente de alimentacion es elevada porque se le pueden conectar dos ordenadores.

Es decir, por lo general un ordenador no chupa mas de 250w a no ser que uses la grafica a tope y el lector de dvd o cd es te girando a toda leche, ya que, esta diseñado para que solo procese y no lleve venteladores salvo la fuente de alimentacion y el ventilador de la CPU.

Ya que, está pensado para que no lleve, puesto que estas 10 placas iran en vertical y se refrigerarían con un gran ventilador, es decir, que no llevan caja con ventiladores,es una torre de placas donde se le podría poner 2 ventiladores grandes.

Pero el precio final lo pondremos como 10 fuentes de alimentacion.


Bueno los Cpu`s son los mejores y mas baratos que creo que encontraréis, por que éstos rulan muy bien en linux con la arquitectura de 64 bits.

Las placas no hacen falta que sean P5Q deluxe que te cuestan 150 Eur o por ahi.

Esta placa micro ATX tiene un FSB de 2000/1600 pero la CPU es aprovechada porque tiene un sistema de Hypertransport version 3.0 que es compatible con la placa quedando en que el FSB, tiene una velocidad final en el BUS de 5200 MT/s FSB 5200 Sistema del Bus, aunque no me atrevo a decir que son MHz por que no me he informado sobre ellos pero F suena a frecuency quedando pues la S y la B para System Bus. FSB.

Bueno, la refrigeracion sale a 17$ por unidad contando la unidad como ventilador y el disipador, muy bueno por cierto.

El la marca no es una de las mejores de refrigeracion, el kit se llama VENTILADOR TTCL P0200 SILENT K8 HEATPIPE EN BASE DE COBRE.

en total 10 uds sale por 114 eur.

En total 10 CPU +10 PLACAS + 10 F.A +10 REFRIG

TOTAL: 1365.2Eur y cabe destacar que muchos incluidos los CPUs mas las placas ya venian con el IVA incluido en el precio.

Los portes de envio no son calculados porque al alza contrarestaria el precio por comprar 10 unidades , es decir, que talvez hagan descuento o por que el iva no se te sumaria por cada unidad, te lo sumarian del total.

Pero todo ello depende de enque compañia lo compraras.

Normalmente las unidades de proceso deberian ser 8 o 4 , ya que los switch (EL NODO) sueles ser de 4 o 8 puertos.


No he contado los Switch ni las targetas de red ni la memorias, y he pensado en hacer un nodo de con un solo disco duro pero como hoy por hoy son tan baratos....
La unidad de cd enchufando y desenchufando una por una a las palacas para instalar linux y tampoco he contado la memoria, aser posible si comprais memoria que sea Kingstown a la mayor frecuencia que os permita vuestro bolsillo. DDR2, la mas barata y la que soporta por cierto la placa micro ATX.

Pero no se puede comparar ni la potencia ni el costo con el cluster beowulf que montaron en la universidad de Kentuchy de solo 4 ordenadores con el modelo de cpu X2 64 3800 que salio por 2500$.

Ahora con aproximadamente 1500 Eur hariamos un superordenador mas del doble de potente, no por tener 10 CPUs , sino porque el modelo 3800 solo opera a 2 GHz y ademas tiene la mitad de memoria de trabajo o cache que el model 6000.

Creo que seria hasta 4 veces mas rapido,

Con 4 CPUs consiguieron con linux con un cluster beowulf 26 Gflops a 2Ghz.

Por lo tanto 10 CPUs a 3GHz 26x3 --> 78Gflops fijos.

Yo si tuviera dinero y una seccion del cable de la luz aceptable para 2Kw para el sotano lo comprava.

Para una tension 225V 2Kw supondrian casi 9 Amperios.

El cable rigido de 1.5mm2 soporta 10 A, aunque le metería de 2.5mm2, para tomas schuko de 16A y a correr.

Finalizando cada vez la gente ve mas cerca el de montarse un superordenador y veo cada vez mas fotos por ahí, como esta u otra que era de un usuario en BOINC de finlandia que me parecio muy original su diseño.

http://img208.imageshack.us/my.php?image=6767hn1.png

Saludos.

Enviado el: 29/11/2008 20:05
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Editor
Registrado:
16/5/2008 1:27
Desde: Madrid
Grupo:
Editor
Mensajes: 1039
Ausente
muy interesante... me lo he leído todo del tirón sin pestañear...

Enviado el: 29/11/2008 23:07
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Guest_
muy interesante, todo.

por cierto, alguien sabe la complejidad de configurar un cluster de esos usando linux.
antes de investigar a lo loco, lo pregunto por si hay documentacion en castellano en algun sitio.

gracias, por tu aporte.

Enviado el: 30/11/2008 9:20
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Administrador
Registrado:
30/12/2007 0:13
Desde: Madrid
Grupo:
Administradores
Mensajes: 1142
Ausente
Acotación:

por cierto, alguien sabe la complejidad de configurar un cluster de esos usando linux.


Si es para uso "exclusivo" Boinc lo más sencillo que he encontrado es configurar un server boot, otro DHCP y otro NFS. Y (por supuesto) que las placas admitan arranque en LAN.

Hay sistemas más complejos, usados en grandes supercomputadoras pero que en resumen terminan paralelizando los procesos que ejecutan. Para qué meterse en esos líos si ya, naturalmente, Boinc está paralelizado...

Saludos.

Enviado el: 30/11/2008 11:34
_________________
Ruleta rusa versión linux: [ $[$RANDOM % 6] == 0 ] && rm -rf / || echo "Uff..."
Open in new window
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Moderador
Registrado:
18/10/2006 11:39
Desde: Córdoba - España
Grupo:
Moderadores
Comprometido con Boinc
Mensajes: 5841
Ausente
Hace algún tiempo me comentaron (yo nunca lo usé) que con el VMWare GXServer se puede practicar con la instalación y uso de un clúster al poder crear en una máquina tantos servidores virtuales como esa máquina dé de si. Lo comento por si alguien quiere meterse en probar estas cosas antes de hacer la inversión....

Enviado el: 30/11/2008 12:17
_________________
Open in new window

Open in new window
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Simpatizante en Boinc
Registrado:
6/10/2008 13:17
Desde: España
Grupo:
Usuarios Inscritos
Mensajes: 187
Ausente
Microwulf de cluster Beowulf es que aprovecha el maximo rendiemiento, es decir:

El maximo rendiemiento de un equipo realmente se logra en un punto de referencia o de otro tipo de mediecion de desempeño del programa.

Los Fabricantes de ordenadores a menudo presentan una lista del equipo de rendiemiento utilizando su maximo rendimiento, lo que resulta una ejecucio exagerada.

En el uso real el ordeando rinde 50-60% de su maximo rendimiento.

Un último factor en la medicion de desempeño es la precision de las operacion en punto cama flotante (la velocidad).

El estandar de referencia para medir el rendiemiento es supercomputadora de alto rendimiento Linkpack (alias HPL), un programa de ejercicios e informes de un superordenador de doble precision de punto en coma flotante de rendimiento.

Para instalar y ejecutar HPL, primero deberias instalar una version básica de los subprogramas de Álgebra lineal (BLAS) las bibliotecas, ya que HPL depende de ellos.

Utilizando como punto de referencia Microwulf, ir a HPL y BLAS.

Despues de compilar e instalar cada paquete, que era la norma de doble precision version HPL, variando sus valores de los parametros de la siguiente manera: Tenemos variados entre PxQ (1x8, 2X4) VARIANDO ENTRE NB (100,120,140,160,180,200) y utiliza cada vez mas los valores de N, a partir de 1000. Para los valores de los parámetros siguientes:
PxQ=2x4;NB=160; N=30000
HPL informó sobre microwulf en los 4 ordenadores que montaron con una puntuacion de 26,25Gflops.
Esto es o era un importante poder computacional, comparado con el Cray T3D-256 con solo 25,3Gflops de medir el rendimiento (rmax) dividido por su maximo rendimiento RPeack .

Se calcula asi RPeack nodos=#x# nucleos por nodo x punto sen coma flotante-unidadesx nucleo velocidad de reloj.

Para microwulf en el superordenado que montaron en la universidad de kentachy seria la siguiente ditribucion.

RPeack= 4nodos x 2 nucleos por nodo x unidades de coma flotante 2Gflops x 2GHz = 4 x 2 x 2 x 2= 32,0

Eficiencia = rmax /RPeack

rmax=26.25
RPeack=32

compEff= 26.25/32= 0.8203= 82% del rendimiento .
En general, cualquier cosa mas del 60% de eficiencia se considerabuena, Microwulf del 82% de eficiencia computacional es excelente.
Por comparacion, la eficiencia computacional de un Cray de 1996 T3D-256 era la siguiente.

Ef=25,3/33,4=0.6588 --> 66%,

En fin que microwulf un ordenador rindmas, el problema es que quizas se tenga que configurar para un trabajo en concreto.


Otra Opcion es el Open Mosix de linux donde puedes configurar los nodos para dividir el trabajo en partes, es decir , entre cada ordenador o hilo de proceso.

Aun tengo que escribir mas sobre el Open Mosix

saludos

Enviado el: 30/11/2008 14:56
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Simpatizante en Boinc
Registrado:
6/10/2008 13:17
Desde: España
Grupo:
Usuarios Inscritos
Mensajes: 187
Ausente
ESTA ES INFORMACION ENCONTRADA EN UNA PAGINA WEB LLAMADA ZONADEVICIO.

Cluster sobre Open Mosix

Necesitamos que un sistema basado por varios equipos se comporten como uno solo y estos se repartan los trabajos entre ellos de forma trasparente, de forma que el usuario ni se de cuenta de ello.

En este caso vamos a emplear la solucion que nos da OpenMosiX, que es justamente lo que necesitamos: Balanceo de carga trasparente y hecha al nivel del kernel. Wapo.

En la practica esto se consigue parcheando un kernel vainilla (uno sin parches) con el openmosix, y ya el mismo se encargara de todo

Bien, pues vamos alla, bajamos de la web de openmosix el parche del kernel. La ultima version estable del proyecto es la 2.4.26, asi que necesitaremos tambien el kernel vainilla 2.4.26, el de kernel.org.

Una vez todo listo y descomprimido en /usr/src, ejecutamos:

Código:

mv /root/openMosix-2.4.26-1.gz /usr/src/linux-2.4.26
cd /usr/src/linux-2.4.26
zcat openMosix-2.4.26-1.gz | patch -Np1

Con lo que el kernel limpio ha sido parcheado con openmosix

A continuacion hay que configurar dicho kernel para nuestra maquina, a divertirse solo hay que tener en cuenta un nuevo menu, el de openmosix, en el que configuraremos lo siguente, tal y como viene en el .config :

Código:

...
CONFIG_MOSIX=y
# CONFIG_MOSIX_TOPOLOGY is not set
CONFIG_MOSIX_UDB=y
# CONFIG_MOSIX_DEBUG is not set
# CONFIG_MOSIX_CHEAT_MIGSELF is not set
CONFIG_MOSIX_WEEEEEEEEE=y
CONFIG_MOSIX_DIAG=y
CONFIG_MOSIX_SECUREPORTS=y
CONFIG_MOSIX_DISCLOSURE=3
CONFIG_QKERNEL_EXT=y
CONFIG_MOSIX_DFSA=y
CONFIG_MOSIX_FS=y
CONFIG_MOSIX_PIPE_EXCEPTIONS=y
CONFIG_QOS_JID=y
...

En realidad es como viene por defecto, solo hay que cambiar el CONFIG_MOSIX_DISCLOSURE a 3, que creo que venia a 1.

Bien, hacemos lo tipico.. make bzImage... modules... configuramos el lilo/grub ... ya sabeis, y reiniciamos la maquina con el kernel openmosix

Okey, ahora nos hacemos con los utiles para manejar el cluster, es decir, las opemosix_tools. Las bajamos, las compilamos y las instalamos.

Esto nos creara el fichero de configuracion de openmosix /etc/openmosix.map en el que configuraremos nuestro cluster.

Este archivo tiene la siguente estructura:

Código:

ID_Nodo IP(o hostname) Tamaño
-------------------------------------------
Nodo1 192.168.0.1 1
Nodo2 192.168.0.2 1

Hay que crear en dicho archivo una linea por cada nodo, en la cual pondremos un nombre a ese nodo (ID_Nodo), su ip (o su hostname especificado en el /etc/hosts de TODAS las maquinas del cluster) y el tamaño (numero de procesadores que tiene el nodo)

Pues ya casi lo tenemos señores, una vez que esto esta configurado en todos y cada uno de los nodos ejecutaremos:

Código:

setpe -w -f /etc/openmosix.map

Y listo! El cluster esta funcionando de manera trasparente. Podemos monitorizarlo con las ordenes mps (ps para el cluster) mtop (top para tal...) y mosmon (monitor del cluster).

Solo restaria poner dicha orden en el arranque del sistema, para ello vemos que en las fuentes del openmosix_tools, en scripts, hay uno muy mono llamado openmosix lo copiamos a /etc/init.d/ y hacemos un update-rc.d y listo, todo automatico.


Enviado el: 30/11/2008 15:06
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Simpatizante en Boinc
Registrado:
6/10/2008 13:17
Desde: España
Grupo:
Usuarios Inscritos
Mensajes: 187
Ausente
La manera mas sencilla es:

Configurando IP a cada ordenador y conectarlos todos al Switch en Boinc, porque al fin y alcbo la faena te la dan troceada los de boinc, hariamos varios ordenadores unidos al nodo , que seria el switch, ordenadores en paralelo.

Pero la idea de Openmosix o microwulf es:

que los ordenadores se hagan en uno, muy potente con la mayor eficiencia en el caso de un cluster microwulf.

Es decir que los datos a procesar se dividen en varios hilos como tantos nucleos tengas.

Open Mosix quizas sea mas facil.

Entrando en el tema de los clusters tambien el codigo abierto de la PS3 de sony esta a la orden del dia ya que con Linux, en especial la distribucion Yellow Dog puedes, pero hay entra el tema de programar las funcionalidades puesto que muy pocos programas permiten darle provecho, los únicos que conozco como el PS3Grid o el Folding at Home, dichos poryectos se han modificados para que funciones y procesen en la arquitectura Cell.

Si quereis aprender el Hardware de la PS3 aqui teneis el link

One second pease

Pero ahora os mostrare, una empresa IBM que en una pagina web se dedica a vender clusters,

http://us.fixstars.com/store/index.php?submit=software&submitimg[hardware][solutions]=1


Bueno pues lo bueno de esto es que los de IBM, que inventaron la arquitectura Cell venden 8 o mas nodos de computacion con PS3 tomando como nodo la PS3 y un director de los 8 nodos una torre, luego hay mas, creo que hasta 32 nodos, pero ello cuesta muuuuucho, quizas sea el software que empeña IBM, pero desde luego la PS3 no vale tanto.


Enviado el: 30/11/2008 15:45

Editado por NOSTRUMARE enviado el 30/11/2008 16:27:20
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Simpatizante en Boinc
Registrado:
6/10/2008 13:17
Desde: España
Grupo:
Usuarios Inscritos
Mensajes: 187
Ausente
Sobre el VMWare GX server

Comentario de chuni y mas comentarios de la web PSICOFXP.com

si es que vas por vmware server.

Pero para sacarle el maximo provecho, el server que utilices si vas a ponerlo en produccion el sistema host tiene que ser si o si linux, por un tema de rendimiento, no instalas ningun window manager y solamente tienes 60mb de consumo en memoria. Si piensas tener un buen rendimiento en los guest necesitas 2 gb de ram para correr 3 maquinas virtuales bien.

Con windows server 2003 como host, y me consumia mucho, no te voy a decir que funcionaba mal, pero me ponia todo muy lento..
Linux como host en vitualizacion.
Yo uso Centos como host, lo tengo en 32bits y 64bits, funciona barbaro.. ahora estoy probando con ubuntu. es muy sencillo de cualquier forma.
Y fuera del rendimiento de memoria, algo muy critico en virtualizacion es el acceso al disco rigido, por eso utilizo reiser, busca en internet y te vas a dar cuenta que diferencia tenes con ext3 o ntfs.

Conclusion, que en linux el rendieminto es mayor.

En centos va de 10 ya que vmware I3 (esx) esta basado en rhel3 asi que por el storage no es un problema, igualmente cuando compras un storage fijate siempre que diga soporte para vmware o rhel. La verdad que no eh usado uno de esos. Siempre lo que probe fue con discos ide/sata/scsi

Conclusion :Con la distribucion de Linux en Centos va de categoria puesto que se basa en rhel3.


Enviado el: 30/11/2008 16:24
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Administrador
Registrado:
30/12/2007 0:13
Desde: Madrid
Grupo:
Administradores
Mensajes: 1142
Ausente
Acotación:

Configurando IP a cada ordenador y conectarlos todos al Switch en Boinc, porque al fin y alcbo la faena te la dan troceada los de boinc, hariamos varios ordenadores unidos al nodo , que seria el switch, ordenadores en paralelo.


Esa es la idea, sistemas como Beowulf, Openmosix o distribuciones especializadas en clusteres de alto rendimiento lo que buscan es agregar hardware para cómputo de propósito general. Si ya tenemos los problemas paralelizados desde la aplicación, no tienen sentido (para los propósitos que nos ocupan).

Los servidores virtuales resuelven otro tipo de problemas en los que se requieran altos niveles de seguridad en proceso y disponibilidad.

La forma más simple para configurar varios ordenadores "ligeros" en paralelo es la que indicaba en un mensaje anterior.

Saludos.

Enviado el: 30/11/2008 18:39
_________________
Ruleta rusa versión linux: [ $[$RANDOM % 6] == 0 ] && rm -rf / || echo "Uff..."
Open in new window
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Administrador
Registrado:
30/12/2007 0:13
Desde: Madrid
Grupo:
Administradores
Mensajes: 1142
Ausente
No es ninguna tontería, es un capítulo más (y muy importante) de cualquier serio presupuesto. Tengo varios ordenadores dual core almacenados para el reciclado de la basura. Su consumo los hace inviables...

Yo agregaría a este presupuesto su consumo estimado durante un periodo como de un año. Maximizaría en la elección el ratio (proceso total / importe invertido).

Enviado el: 30/11/2008 21:38
_________________
Ruleta rusa versión linux: [ $[$RANDOM % 6] == 0 ] && rm -rf / || echo "Uff..."
Open in new window
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Simpatizante en Boinc
Registrado:
6/10/2008 13:17
Desde: España
Grupo:
Usuarios Inscritos
Mensajes: 187
Ausente
Relacionada con el consumo, la PS3 consume 380W.

Preguntas que me hago

En la PS3 con linux yellow dog iría el BOINC?
En la PS3 con linux yellow dog virtualizando windows xp iría BOINC?

El problema es la Memoria RAM ya que solo dispone de 256MB, no funcionaria el windows demas.


Solucion: un cluster de PS3 para que se sumara la RAM de cada una?

En caso de que no funcionara el Boinc con ninguna de las dos cosas.

Conclusion: las unidades de proceso o trabajo no estan preparadas para la tecnologia cell.

Solucion Hallar el algoritmo de un proyecto y su programacion para compilarla en un compilador Cell, es decir, que se interpretara el lenguaje expresado en la tecnologia cell, para que fuese comprendida y procesada por la PS3.

Estoy mirando lenguajes que sirvan para todas las tecnologias como el C# cesar.


Enviado el: 1/12/2008 0:35
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Editor
Registrado:
16/5/2008 1:27
Desde: Madrid
Grupo:
Editor
Mensajes: 1039
Ausente
se está volviendo rentable montarte un par de placas fotovoltaicas y un generador eólico... si te montas una granja, al menos que tengas coste cero una vez hecha la inversión...

lo del alquiler de verdad se plantea como una opción rentable... sobre todo porque no te tienes que encargar de la máquina una vez se va quedando anticuada, pillas otra y punto...

la ps3 sí mueve el yellow dog linux, pero es inestable... vamos, que hace cosas más raras que el sistema hormonal de una mujer premenopáusica... le cuesta mucho moverlo, supongo que por la birria de ram que tiene... paradójicamente, el boinc funciona a la perfección...

Enviado el: 1/12/2008 1:18
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Simpatizante en Boinc
Registrado:
6/10/2008 13:17
Desde: España
Grupo:
Usuarios Inscritos
Mensajes: 187
Ausente
Haber si programan algun tipo de sistema operativo, ditribucion linux para Ps3 mas estable, reduciendo los procesos, consecuebtemente de la memoria que utilicen para que no se quede obsoleta en la PS3.

Tengo que buscar haber si hay distribuciones, parches o aplicaciones para la PS3 , se habla mucho de ello y en la Universidad de santander daban premios para el primero que programara un programa para la PS3, ya que una asignatura del curso era programar en cell son su compilador, ya que la forma mas barata de comprar un aparato que lleve la tecnologia cell era la PS3.

Por cierto el primer premio eran o son 3000Eur.

Lo leí pero no se si acabó el concurso.

Saludos

Enviado el: 2/12/2008 14:06
Transferir el mensaje a otras aplicaciones Transferir a


Re: Hardware, Presupuesto de una supercomputadora casera
Editor
Registrado:
16/5/2008 1:27
Desde: Madrid
Grupo:
Editor
Mensajes: 1039
Ausente
se que hay parches que adaptan seti y simap para ejecutar en ls ps3, pero el rendimiento es inferior que ejecutando gpugrid...

Enviado el: 2/12/2008 14:24
Transferir el mensaje a otras aplicaciones Transferir a






Puede ver mensajes.
No puede enviar mensajes.
No puede responder mensajes.
No puede editar mensajes.
No puede eliminar mensajes.
No puede crear encuestas.
No puede votar.
No puede adjuntar archivos.
No puede hacer un envío sin aprobación.

[Búsqueda Avanzada]


 

CANAL@Boinc 1997-2008  |  Diseño Rafa Hens sobre idea original de Fran | Reservados todos los derechos