Clster de alto rendimiento con OpenMosix

Clster de alto rendimiento con openmosix

Jess Miguel Muoz Rodrguez Proyecto Integrado 2 ASI 16/12/11

Clster de alto rendimiento con OpenMosix

ndice de contenido
Introduccin..........................................................................................................................................3 Conceptos bsicos................................................................................................................................3 Qu es un clster de alto rendimiento..............................................................................................3 Clster homogneo..........................................................................................................................4 Clster heterogneo.........................................................................................................................4 Alto rendimiento y balanceo de carga.............................................................................................4 Clster transparentes y no transparentes..........................................................................................4 Flops.................................................................................................................................................4 Beowulf................................................................................................................................................4 Openmosix............................................................................................................................................5 Cluster-knoppix....................................................................................................................................6 Instalacin de cluster-knoppix..............................................................................................................6 Configuracin de red..........................................................................................................................22 Montar el sistema de ficheros MFS....................................................................................................25 Configuracin de SSH........................................................................................................................27 Monitorizando el clster con Openmosix y sus herramientas............................................................30 OpenMosixView............................................................................................................................30 OpenMosixProcs............................................................................................................................31 OpenMosixAnalyzer......................................................................................................................32 OpenMosixMigmon.......................................................................................................................33 OpenMosixHistory.........................................................................................................................35 Mosmon.........................................................................................................................................35 Probando clster con OpenMosix......................................................................................................36 Conclusiones finales...........................................................................................................................42 Bibliografa y webs.............................................................................................................................43

Clster de alto rendimiento con OpenMosix

Introduccin
El objetivo de nuestro proyecto consiste en implementar un cluster de alto rendimiento mediante el manejo de mquinas de recursos bsicos. Pudiendo llegar a crear con ellas una supercomputadora con capacidad de clculo alta y bajo coste. En estos tipos de clsters, la carga se reparte entre los disitntos nodos para que el tiempo de proceso sea menor. Siempre sera 1/n(nodos). Los clster surgieron como solucin a ciertos problemas que se presentaban a la hora del cmputo de alto nivel. Haba empresas que necesitaban equipos que pudieran realiza tareas pesadas en un corto espacio de tiempo; y esto collevaba a que lo costos de compra y mantenimiento de equipos con ests caractersticas eran muy altos y costosos. De ah surgi la idea de conectar dos equipos medios y convertirlos en uno solo, con la capacidad de cmputo sumda de los dos. Lo cierto es que el origen de las tecnologas de clster no se sabe con seguridad, aunque est aproximado a los aos 50 y principios de los 60. Hacia el ao 1967 Gene Amdahl de IBM, publico la conocida ley de Amdahl, la cual describa matemticamente el aceleramiento que se puede dar a una tarea cuando la paralelizamos. Esta ley se convirti en la base de la computacin de multiprocesador y clster. Actualmente los clster son ampliamente utilizados para proyectos con gran capacidad de clculo, por lo que suelen estar limitados a universidades y centros de proceso de clculo a gran escala. Hay una curiosidad en cuanto a los clster interesante: aprovechando el concepto de computacin distribuida, la universidad de Berkley en California (EE.UU.) ha creado el proyecto SETI para buscar vida extraterrestre. Este proyecto consiste en que cualquiera que quiera participar en l puede descargar un pequeo software e instalarlo en su equipo. Este sofware se activa cuando no se est usando el equipo y convierte a este en un nodo del clster el cual procesa imgenes y datos obtenidos por telescopios y sondas en el espacio, mandando los resultados obtenidos a la central del proyecto. Con esto se intenta que el procesamiento de los datos, el cual sera muy pesado para un clster convencional, crezca de manera espectacular debido a los millones de personas que participan en el proyecto a pequea escala. (Para ms informacin se puede consultar la pgina del proyecto: http://setiathome.ssl.berkeley.edu/)

Conceptos bsicos
Qu es un clster de alto rendimiento
Un clster es un conjunto de computadoras que trabajan como una nica, conectadas entre s por una red. Se conectan de forma coordinada y centralizada para procesar una mayor carga que la que podra soportar una mquina sola. Cada mquina por separado se denomina nodo, por lo que para que el clster funciona ha de tener 2 o ms nodos conectados entre s. Para llevar a cabo esto se requiere un parche en el kernel (lo que hace que prcticamente casi todos los clster que existen el mercado sean bajo el ncleo de unix). Este parche hace que el sistema reconozca las computadoras aadidas como parte del clster y que se pueda llevar a cabo la migracin y el balanceo de los procesos. Tambin permite que se lleve una monitorizacin de los diferentes procesos que realiza el clster as como de la gestin de memoria y del procesador.

Clster de alto rendimiento con OpenMosix Existen dos tipos de clster: homogneo y heterogneno.

Clster homogneo
Son clster en los que todos los nodos tienen las mismas caractersticas de hardware y sofware. Son idnticos y por lo tanto la capacidad de procesamiento y rendimiento de cada nodo es la misma.

Clster heterogneo
Al contrario que los anteriores, en estos tipos de clster los nodos son completamente distintos en cuanto a hardware y software se refiere. Esto conlleva a que las posibilidades de expansin del clster crezcan de forma exponencial, debido a que es ms facil conseguir computadoras con carectersticas distintas que muchas con iguales carctersticas. Estos tipos de clster presentan una escabilidad (capacidad de un sitema de crecer o acomodarse a las exigencias del usuario o del administrador del mismo) pasmosa. Esta puede ser de forma elevada, cuando se aaden nodos para formar parter del clster; o de forma disminuida, cuando se quitn nodos. Con openmosix se pueden llegar a tener hasta 65536 nodos trabajando de forma simultnea en el clster.

Alto rendimiento y balanceo de carga

Cuando se habla de un clster de alto rendimiento, es inevitable referirse tambin al balanceo de carga que este lleva a cabo. Con el fin de mejorar la capacidad de procesamiento que va a llegar a tener nuestro clster, se lleva a cabo una tarea de blanceo la cual reparte los procesos de forma completa o por partes a los distintos nodos del clster, respetando la carga que ya tenga cada nodo. Esta tarea tambin se denomina paralelizacin.

Clster transparentes y no transparentes

Los clster no transparentes deben tener una configuracin paralela previamente predeterminada. Tambin se tiene que conocer previamente la topologa con la cual funcionar el clster y adems la utilizacin de unas libreras para el paso de mensajes entre las diferentes tareas. Un ejemplo de ellos es Beowulf. Los clster transparentes no tienen que tener la configuracin parallela previamente predeterminada, ni tampoco se tiene por qu conocer la topologa con la cual se va a funcionar. Ofrecen una forma mucho ms cmoda a la hora de configurar el clster, as como del balanceo de la carga. Con este tipo, uno no se tiene que preocupar de paralelizar los procesos, puesto que se hace de forma automtica. Este tipo es el que vamos a comprobar con OpenMosix.

Flops
Un flop es la medida utilizada para las operaciones de coma flotante por segundo. Mide la velocidad del procesamiento numrico del procesador. Se utiliza en unidades de millones de flops (MegaFlops), miles de millones de flops (GigaFlops), etc...

Beowulf
Un Beowulf es una clase de computador masivamente paralelo de altas prestaciones principalmente construido a base de un clster de componentes hardware estndard. Beowulf

Clster de alto rendimiento con OpenMosix ejecuta un sistema operativo de libre distribucin como Linux o FreeBSD, y se interconecta mediante una red privada de gran velocidad. Los nodos en el clster de computadoras no se hayan en los puestos de trabajo de los usuarios, sino que estn totalmente dedicados a las tareas asignadas al clster. El software puede ejecutarse ms rpido en un Beowulf si se dedica algn tiempo a reestructurar los programas. En general es necesario partirlos en tareas paralelas que se comunican usando alguna librera como MPI o PVM, o sockets como SysV o IPC. Con ellas se permite el hecho de partir los procesos a realizar en partes ms pequeas las cuales son controladas por un nodo master, el cul reparte la carga entre los dems nodos en funcin de la capacidad de cmputo que tengan y de la carga que tengan en ese determinado momento. En 1994, Donald Becker y Thomas Sterling construyeron la primera Beowulf. Fue construida con 16 computadores personales con procesadores Intel DX4 de 200 MHz, que estaban conectados a travs de un switch Ethernet. El rendimiento terico era de 3,2 Gflops. Debido a que requiere de conocimientos en cuanto a programacin y paralelizacin de tareas su uso se limita a sistemas muy grandes, como los clster de centros de alto rendimiento para procesamiento de datos as como ciertas universidades.

Openmosix
Openmosix es un proyecto que surgi de la separacin de los dos principales desarrolladores de mosix: Ammon Barak: actual desarrollador principal de mosix; y Moshe Bar: quien empez Openmosix bajo licencia GPL. Openmosix es un sistema de clster para linux que consiste en un parche en el kernel responsable de las migraciones transparentes de procesos, y unas herramientas de rea de usuario, necesarias para calibrar y administrar el clster. Esto permite que no tengamos que reprogramar nuestras aplicaciones para que aprovechen el clster. Los procesos no saben en qu nodo del clster se ejecutan, y es el propio openMosix el responsable de "engaarlos", y redirigir las llamadas del sistema al nodo del clster en el que se lanz el proceso el cual acta en ese momento de master. El parche para el kernel funciona en las versiones 2.4 y 2.6, aunque en esta ltima solo de forma experimental. Actualmente el desarrollo del proyecto est parado. Las ventajas de utilizar openmosix frente a otras arquitecturas de clster es que no hay que preocuparse por agregar libreras, no es necesario programar las aplicaciones y cuenta con un demonio para descubrir nodos de forma automtica denominado omdiscd. Omdiscd se encarga de crear automticamente una lista con las mquinas existentes en la red, y de estar escuchando en caso de que haya otros demonios de deteccin de nodos; as como de informar al kernel sobre los nodos operativos para la migracin de procesos. Algunas desventajas que ofrece openmosix en comparacin a otros es que, como se mencion anteriormente tiene un ncleo dependiente; y como no funciona totalmente en el ncleo 2.6 puede dar problemas para el hardware que no soporte la versin de kernel 2.4. Encuanto a la estructura interna de openmosix utiliza un sistema de archivos propio denominado oMFS (openMosix File System) que permite que todos los nodos de un clster tengan acceso al sistema de archivos de todos los otros nodos

Clster de alto rendimiento con OpenMosix

Cluster-knoppix
Para la realizacin de nuestro proyecto vamos a usar una distro de linux ya preparada para el clstering con openmosix denominada Cluster-knoppix. ClusterKnoppix es una derivada de Knoppix. Provee a los usuarios todas las prestaciones de Knoppix (la abundancia de aplicaciones, booteo desde el CD live, auto deteccin del hardware, y el soporte para muchos perifricos y dispositivos) junto con las capacidades del clster de openMosix. ParallelKnoppix, PlumpOS, Quantian, y CHAOS son algunas de las distribuciones de linux para hacer un clster, pero ClusterKnoppix es probablemente la ms popular por su sensillez de uso y configuracin. Vaeamos como se instala y configura a fin de crear el clster.

Instalacin de cluster-knoppix
Pasamos a lo que nos ocupa: Cmo crear el clster? Lo primero que hemos de hacer es instalar las mquinas que van a ser nodos del clster. Para ello utilizamos el live cd de clusterknoppix el cual podemos descargarlo de este link: http://linux.softpedia.com/dynpostdownload.php?p=2063&t=0&i=1 1. Como en nuestro caso lo vamos a hacer mediante mquinas virtuales con VirtualBox pasaremos a configurar una mquina llamada knoppix-4:

La configuraremos como SO Linux y la distribucin otras, debido a que cluster-knoppix pude funcionar con el kernel 2.4 o 2.6 respectivamente. As no tendamos problemas de compatibilidad al usar uno u otro. 2. Ahora pasamos a asignar la memoria RAM para nuestra mquina, en este caso ser de 512M:

Clster de alto rendimiento con OpenMosix

3. Luego nos pregunta sobre el nombre que le queremos dar al disco virtual y el tamao del disco duro:

Clster de alto rendimiento con OpenMosix 4. Finalmente le damos a crear la mquina con las caractersticas anteriormente indicadas:

5. Una vez creada la mquina virtual hay que configurar el tipo de arranque, la red y la iso que utilizar. Para ello, en el panel de administracin de VirtualBox, sealamos la mquina knoppix-4 y pulsamos sobre configuracin. Ahora nos vamos a sistema y elegimos como primer arranque al CD y como segundo al disco duro:

6. Posteriormente nos colocamos en almacenamiento y aadimos a la unidad de cd la iso de cluster-knoppix:

Clster de alto rendimiento con OpenMosix

7. Por ltimo, hay que configurar la interfaz de red para que utilice el modo puente. Este modo har que la tarjeta de la mquina virtual funcione como un nodo de red conectado a nuestra red local. Con esto no tendremos problemas de red y permitir que todas las mquinas de nuestro clster formen parte de la misma red LAN:

Clster de alto rendimiento con OpenMosix

8. Ya tenemos la mquina virtual configurada de forma correcta, ahora pasamos a iniciar el cd e instalarlo en el disco duro. Cuando iniciemos, pulsamos F3 y nos saldrn los mtodos de inicio distintos para ejecutar clster-knoppix:

9. En nuestro caso lo haremos en modo "expert". Este modo permite la configuracin completa de la mquina como el lenguaje del teclado, la configuracin de la tarjeta de sonido, el ratn as como los distintos mdulos que ha de ejecutar la mquina:

Clster de alto rendimiento con OpenMosix

10. Una vez iniciado el modo "expert" nos pregunta si queremos cargar los mdulos para los dispositivos SCSI. Como nosotros no tenemos ninguno de estos dispositivos no nos har falta. En caso de la instalacin se vaya ha hacer en un servidor dedicado s sera necesario cargar estos mdulos para dichos dispositivos:

11. Luego pasa a escanear los dispositivos USB y Firewire conectados, as como las unidades de disquetes. Como tampoco tenemos le diremos que no cargue los mdulos:

12. Nos preguntar si queremos reconfigurar el dioma del teclado que por defecto es "us" (teclado americano). En este caso lo vamos ha hacer:

Clster de alto rendimiento con OpenMosix

13. Elegimos la configuracin de teclado espaola y aceptamos:

14. Ahora configura la tarjeta de sonido, si no hay problemas de compatibilidad con el hardware debera de configurarla por defecto. De no ser as la podramos configurar a mano, aunque en nuestro caso ya est preconfigurada por lo que decimos que no y seguimos:

15. La configuracin del ratn tambin la obtiene por defecto por lo que tampoco habra que configurarlo. En cuanto a esto, virtualbox tiene un sistema de integracin del ratn automtica, por ciertos problemas esta ha de estar deshabilitada para que podamos usar el ratn de forma adecuada, de no ser as por mucho que lo intentemos cluster-knoppix no detectar el ratn aun a pesar de que lo configuremos. Decimos que no configuraremos el ratn y avanzamos:

16. Una vez realizadas todas las opciones de configuracin que nos pide el cd, accedemos al SO live. Lo primero que deberamos de hacer es configurar el sistema para que siempre utilie el espaol como lenguaje para el teclado, puesto que cada vez que iniciemos sesin se podr el idioma por defecto "us" (teclado americano). Para hacer esto hemos de clikear en la bandera que tenemos en la barra, abajo a la derecha; y elegimos que el idioma por defecto solo sea el espaol:

Clster de alto rendimiento con OpenMosix

En la lista de la derecha aparcen los idiomas que tenemos cargados, nosotros vamos a borrarlos y cargar solo el paquete espaol:

Clster de alto rendimiento con OpenMosix 17. Vamos a instalar ahora nuestro sistema, para ello podemos usar el comando knoppix-instaler que nos ejecutar el instalador del sistema. Hay que ejecutarlo con privilegios de root:

18. Una vez iniciado el instalador nos aparece un recuadro que nos indica que el disco aun no est particionado y nos sugiere cual es el espacio recomendado para ello. Pulsamos ok:

19. Nos pregunta si queremos particionar el disco, pulsamos ok para hacerlo:

20. Al darle a particionar nos aparce el programa qtparted, el cual es una herramienta para la gestin de las particiones de disco que incorpora el liveCD. Nos vamos al disco, damos click derecho sobre l y pulsamos sobre "crear nueva tabla de particiones". Nos pregunta si estamos seguro, pulsamos que s:

Clster de alto rendimiento con OpenMosix Ya tenemos la tabla de particiones creada:

21. Una vez creada la tabla de particiones pulsamos sobre crear particiones. Hay que crear la particin que tendr el sistema y la de swap. Como ya sabemos la particin de swap ha de ser el doble de la memoria RAM aunque se recomienda que este valor no supere los 512mb pues sera espacio desperdiciado. Creamos la swap primero, le ponemos una etiqueta y el tamao:

22. Ahora creamos la particin que soportar todo el sistema. La configuramos como tipo ext3, de nombre knoppix y con el resto del espacio libre en el disco duro:

Clster de alto rendimiento con OpenMosix

23. En la ventana que aparece en la parte superior izquierda hay un disquete, pulsamos sobre l y le decimos que s para que inicie el proceso de formateo de las particiones creadas. Una vez finalizado cerramos la ventana de qtparted:

Clster de alto rendimiento con OpenMosix

24. Cuando hallamos cerrado la ventana, nos aparece un nuevo recuadro con disitintas opciones, la primera es la configuracin de la instalacin, cliekeamos sobre ella:

25. Ahora seleccionamos la ltima opcin: debian: sistemas como debian (mtodo del antiguo instalador):

Clster de alto rendimiento con OpenMosix

26. Seleccionamos el disco y continuamos:

27. Nos pregunta el sistema de ficheros a usar, en nuestro caso ext3:

28. Ingresamos el nombre completo del usuario que va a utilizar la mquina (en nuestro caso ser knoppix):

29. Tambin ingresamos el nombre de usuario de la mquina (tambin es knoppix):

Clster de alto rendimiento con OpenMosix

30. La clave del usuario:

31. La clave de root:

Clster de alto rendimiento con OpenMosix

32. Ahora nos pide el nombre del host, le vamos a decir que se llame knoppix4:

33. Pasamos a indicar el gestor de arranque que ser "mbr: sector de arranque primario":

34. Ahora nos devuelve de nuevo al men de instalacin, como ya est configurada la instalacin pasamos a comenzarla:

35. Nos muestra una ventana con la configuracin que le dimos previamente, si est todo correcto continuamos, de no ser as siempre podemos volver a configurar la instalacin:

Clster de alto rendimiento con OpenMosix

36. Ya est inciado el proceso de instalacin:

37. Por ltimo nos pide que introduzcamos un disquete, pero le decimos que no y seguimos:

38. La instacin se llev a cabo de forma satisfactoria:

Clster de alto rendimiento con OpenMosix

39. Reiniciamos el equipo y desmontamos la iso para que inicie desde el propio disco duro. De ser as nos saldr esta pantalla de inicio:

Configuracin de red
Una vez iniciado el sistema de clster-knoppix, lo primero que deberiamos hacer es la configuracin de la interfaz de red. La podramos hacer de forma manual pero clusterknoppix ya trae herramientas para realizarlo de forma automtica. 1. Para ello nos serviremos de una aplicacin dentro del sistema para la configuracin de la red (utiliza un comando llamando netcardcofig):

Clster de alto rendimiento con OpenMosix

2. Lo primero que nos pide es si queremos configurar la tarjeta mediante dhcp, como nos interesa que sea de forma manual para poner las ip estticas, le decimos que no:

3. Le indicamos que ip va a tener, en nuestro caso ser 192.168.1.54:

Clster de alto rendimiento con OpenMosix

4. La mcara ser /24 como el resto de equipos de la red:

5. Tambin ponemos la direccin de broadcast:

6. La puerta de enlace ser nuestro router de la red que da salida a Internet, este tiene ip 192.168.1.1:

7. El servidor DNS tambin es el router:

8. Con el comando ifconfig podemos comprobar que la configuracin se ha hecho de forma correcta:

Clster de alto rendimiento con OpenMosix

Con esto tendremos configurada la red de la mquina para que funcione el clster de openmosix.

Montar el sistema de ficheros MFS

Como dijimos antes, openmosix funciona con un sistema de fichero llamado MFS, este permite que se puedan repartir los distintos procesos entre los nodos del clster para aumentar el rendimiento. Sin este sistema de ficheros nuestro clster no funcionara por lo que es algo imprescindible. Pero por defecto no est montado, por lo que hay que realizar dos tareas: 1 editar el fichero /etc/fstab para que monte el mfs de forma automtica y 2 montarlo en un directorio que nosotros crearemos. Veamos como hacerlo. 1. Configuramos el fichero /etc/fstab con el editor de texto vim que ya viene instalado con el siguiente comando:

2. Para montar el sitema de fichero hay que agregar la siguiente lnea: mfs /mfs mfs dfsa=1 0 0:

Clster de alto rendimiento con OpenMosix

Para los que no estamos acostumbrados al uso del editor de texto vi, podramos entrar en caos al intentar editar algn fichero con vim. Para ello podemos usar estos pasos sencillos: 1 Pulsamos la letra "i" para insertar cambios. 2 Una vez hayamos hecho los cambios pertinentes pulsamos "Esc" para salir del modo de edicin. 3 Para guardar los cambios pulsamos ":x" se guardan y salimos. 3. Volviendo al montaje de mfs, una vez que hayamos editado el fichero fstab hay que crear el directorio donde va a ser montado el sistema de ficheros, el cual ser /mfs con el siguiente comando:

4. Ahora solo queda montarlo con el comando mount:

5. Para asegurarnos de que est funcionando podemos probar con reiniciar el demonio de openmosix y veremos si se est ejecutando el sistema mfs:

Clster de alto rendimiento con OpenMosix

Con esto tendremos el sistema de ficheros prepardo para usarlo en el clster y configurado para que se ejecute en cada inicio de sesin de la mquina.

Configuracin de SSH
Openmosix comunica todos y cada uno de sus nodos mediante conexiones de SSH. A travs de este canal pasa los mensajes de los procesos a los ditintos nodos y estos a su vez lo devuelven al nodo que acte en ese momento de master (el nodo que ejecut el proceso). Esto mediante el mtodo convencional de conexiones ssh no sera del todo factible. La razn es que cada vez que se iniciara un proceso, saldra peticiones para introducir la clave del usuario del nodo al que se va a conectar por ssh y un nuevo mensaje cuando dicho nodo quiera conectarse al master. Si se quiere automatizar este proceso la nica forma es utilizar claves pblicas y privadas de ssh para que la comunicacin sea transparente para el usuario o administrador del clster. Eso es precisamente lo que vamos a configurar. Crearemos la claves y le diremos al clster que toda comunicacin se haga a travs de las claves pblicas que estarn aadidas en el fichero authorized_keys. Veamos cmo hacerlo. 1. Para crear las claves usamos el siguiente comando de ssh:

2. Nos pedir dnde guardar las claves (le diremos que en el fichero /root/.ssh/id_rsa), tambin una frase de paso que no le diremos para que no nos pida ningn tipo de clave. Con esto ya tendremos creadas la clave pblica y privada de la mquina y nos indica donde se han guardado:

3. Verificamos que ambos archivos se han creado de forma satisfactoria. La clave privada en

Clster de alto rendimiento con OpenMosix /root/.ssh/id_rsa y la pblica en /root/.ssh/id_rsa.pub:

4. Para que la conexin transparente tenga xito vamos a crear el fichero authorized_keys para autorizar la conexin ssh de ese nodo y as igualmente con las claves de los nodos a los cuales se quiere que se conecten. Para ello usamos la siguiente salida del comando cat para redirigir el contenido al fichero antes indicado:

5. Una buena prctica es publicar en el servidor web que incorpora nuestro clster-knoppix, la clave pblica para que desde los otros nodos podamos aadirla al fichero de autorizacin de los dems con el fin de que todos se puedan conectar con todos de forma automtica. Para ello copiamos el fichero id_rsa.pub al directorio del servidor web:

6. Para que los cambios surtan efecto reiniciamos el servidor web apache:

7. Verificamos desde el navegador que est pblicada la clave:

Clster de alto rendimiento con OpenMosix

8. Ahora hay que configurar el fichero SSHD para que utilice la utenticacin por claves al usar conexiones ssh con el siguiente comando:

9. En el fichero agregamos las siguientes lneas: RSAAuthentication no: no realiza autenticaciones de llaves RSA. PasswordAuthentication yes: requiere autenticacin de claves. PubkeyAuthentication yes: realiza autenticacin de claves pblicas. PermitEmptyPasswords yes: permite el ingreso de claves vacas (sin caracteres). AutorizedKeysFile /root/.ssh/authorized_keys: Ruta del archivo con las claves pblicas.

10. Comprobamos que se realizan login remotos sin pedir clave:

Clster de alto rendimiento con OpenMosix Esta configuracin de SSH permite que las conexiones del clster siempre se hagan de forma cifrada. Evitando que intrusos se cuelen en ella, as como que nodos no autorizados accedan a los procesos y estos puedan llegar a ser alterados. Ya tenemos la configuracin ssh creada ahora ya solo nos falta ejecutar el clster y realizar pruebas sobre l para ver si responde de forma correcta.

Monitorizando el clster con Openmosix y sus herramientas

Con esto ya tendremos nuestro clster configurado para que funcione. Ahora pasaremos a explicar las distintas herramientas para monitorizar el clster y posteriormente pasaremos a verlo funcionando con distintas pruebas de ejecucin de proceso; as como algunas pruebas de estrs para ver como funciona cuando se le mete carga masiva. Todas estas herramientas estn incluidas en el sistema de clster-knoppix por lo que no habr que instalarlas posteriormente. Pasemos a ver las distintas herramientas. Openmosix usa un total de 6 aplicaciones controladas por una principal, que son las siguientes: OpenMosixView: principal herramienta de monitorizaciny administracin del clster. OpenMosixProcs: aplicacin para la administracin de procesos. OpenMosixAnalyzer: analizador de la informacin capturada por OpenMosixCollector. OpenMosixHistory: proporciona un historial de los procesos ya ejecutados en el clster. OpenMosixMigmon: visor que representa como se lleva a cabo la migracin de los procesos entre los distintos nodos. Mosmon: visor para la monitorizacin de datos. Pasemos a verlas una a una.

OpenMosixView
Esta es la herramienta principal de administracin del clster. Con ella podemos gestionar cul es la memoria usada, el porcentaje de procesador de cada nodo; as como la capacidad de cmputo y memoria total que tiene nuestro clster. Para ejecutarla solo hay que abrir una consola y teclear el comando siguiente:

Clster de alto rendimiento con OpenMosix Como se observa este comando se ha ejecutado como usuario master, aunque lo ideal es que se haga como usuario root para tener los privilegios necesarios sobre las aplicaciones de la suite de OpenMosix. Como tambin se observa en la captura de arriba, openmosix nos indica que el demonio omdiscd ha encontrado dos nodos, a parte de donde se est ejecutando que ha aadido al clster.

Aqu vemos las distintas partes de la pantalla de adminsitracin. Como vemos nuestro clster ya est funcionando como un solo equipo con 3 procesadores y 3GB de RAM.

En esta captura se ve las 3 mquinas que ahora mismo forman parte del clster. Lo primero es el nmero de nodo que OpenMosix le asigna (306, 308 y 309). Lo segundo son las Ips de cada uno de los nodos. La barra que se ve en tercer lugar es la eficiencia del nodo, podemos configurarla a nuestro gusto aunque por defecto OpenMosix la asignar en funcin de como est cada nodo. El nmero siguiente es la velocidad de procesamiento del nodo. El resto es lo dicho anteriormente la RAM, el procesador y el nmero de CPUs del nodo.

OpenMosixProcs
Esta herramienta es un monitor de procesos del clster. Nos indica cul es el nmero del proceso y en qu nodo se est ejecutando dicho proceso:

Clster de alto rendimiento con OpenMosix

Los procesos que aparecen con un icono verde, como el sealado, son los procesos que han sido migrados a otros nodos del clster. Tambin aparece el nmero de migraciones que se ha hecho de ese proceso.

OpenMosixAnalyzer
Con OpenMosixAnalyzer tendremos un historial continuo de nuestro clster en tiempo real. Los historiales generados por OpenMosixCollector (recoge informacin capturada por los demonios del clster) se mostrarn de forma grfica y continua, lo que nos permitir ver la evolucin del rendimiento y dems parmetros de nuestro clster a travs del tiempo. Si queremos analizar el rendimiento antiguo podemos abrir backup viejos y verlos en l:

Clster de alto rendimiento con OpenMosix

Podemos ver el historial tanto del procesador como de la memoria, as como acceder de nuevo a OpenMosixProcs para ver los procesos que se estn ejecutando. Como se observa, nos da la informacin total, as como de cada uno de los nodos.

OpenMosixMigmon
Monitoriza las migraciones de procesos que se hacen dentro del clster.

Clster de alto rendimiento con OpenMosix

El nodo que acta como master, donde se est ejecutando la aplicacin, aparece como un pigino en el centro del crculo. Los pequeos cuadrados que hay a su alrededor son los procesos que se estn ejecutando. Los dems pinginos son el resto de nodos. Cuando un proceso es migrado aparece una lnea entre el cuadradito del proceso y el nodo al que ha sido migrado. (En este caso ha sido migrado al nodo nmero 309 desde el que acta de mster que es el 306). Si mantenemos el ratn sobre uno de los procesos nos mostrar su PID y la descripcin del comando:

Clster de alto rendimiento con OpenMosix Con OpenMosixMigmon podemos migrar procesos de forma manual. Solo tenemos que arrastrar un proceso hacia uno de los nodos, y en ese momento el proceso ser migrado hacia dicho nodo. Para dejar de migrarlo solo tenemos que dar doble click sobre el proceso en el nodo remoto y volver de forma automtica a la mquina que lo gener.

OpenMosixHistory
Con esta herramienta podemos acceder a la lista de procesos ejecutados en el pasado. Nos da la lista de los procesos que fueron ejectuados en cada nodo. Para iniciarlo ejecutamos el siguiente comando en una consola de usuario:

Aqu podemos ver el comportamiento de nuestro clster en un momento especfico. Con la barra de la parte superior podemos movernos por las distintas horas que el clster ha estado funcionando. Si la mquina es reiniciada los contadores pasan a estar a 0. Como OpenMosixProcs, ofrece informacin del cdigo del proceso, la descripcin y en que nodo fue ejecutado as como el nmero de migraciones realizadas para el proceso.

Mosmon
Esta herramienta monitorea la carga en el Clster, la memoria disponible, memoria que fue utilizada y otras cosas en tiempo real:

Clster de alto rendimiento con OpenMosix

Estas son todas las herramientas para la gestin y monitorizacin del clster. Y ahora, como podemos probar que nuestro clster funciona?. Vemoslo.

Probando clster con OpenMosix

Para probar el funcionamiento de nuestro clster lo nico que hemos de hacer es ejecutar un programa cuya necesidad de proceso de cmputo sea alta. Veamos tres pruebas: a) Prueba simple: para probar de forma sencilla nuestro clster hemos creado un scrip sencillo con el siguiente cdigo: awk 'BEGIN' {for(i=0;i<100000;i++)for(j=0;j<100000;j++);}' & Con esto solo estamos diciendo que realice un for dentro de otro for y que cuente hasta llegar 100.000 elevado a 100.000 veces. Con esta sencilla prueba nuestro clster empezara a funcionar y migrar procesos de forma automtica.

Clster de alto rendimiento con OpenMosix

Como se puede apreciar en la captura, el proceso con PID:27029 ha sido migrado al nodo 309 con ip: 192.168.1.53; y hasta el momento de tomarse la imagen solo haba sido migrado una sola vez. Si esperramos algo ms veramos que el proceso sera migrado a otros de los nodos para aprovechar el mayor rendimiento posible. Nuestro clster esta funcionando de forma correcta.

Para poder saber si el demonio de OpenMosix estaba escuchando en caso de aadir un nuevo nodo, hemos levantado la mquina que habiamos creado (Knoppix-4) y

Clster de alto rendimiento con OpenMosix como se observa la ha reconocido de forma automtica y la ha aadido al clster. b) Prueba de estrs con OpenMosixTest: El proyecto Openmosix contiene una serie de tests para que probemos el funcionamiento de nuestro clster con el fin determinar si es correcto y ver como responde bajo carga, generando un informe con los resultados obtenidos. Para hacerlo basta con abrir el navegador en uno de los nodos y teclear la siguiente direccin: http://openmosixview.com/omtest/ Aqu nos muestra toda la informacin referente al testeo del clster como qu programas va a ejecutar y que hacen cada uno de ellos. Pichamos donde nos indica para descargar el archivo y lo hacemos. Una vez tengamos descargado el paquete omtest-0.1-4.tar.gz lo descomprimimos con el siguiente comando:

Cuando lo hayamos descomprimido pasamos a desempaquetarlo con este comando: Cuando ya est desempaquetado accedemos a la carpeta y ejecutamos la compilacin e instalacion del paquete con el comando siguiente:

Una vez instalado pasamos a ejecutarlo:

Todo est funcionando de forma correcta:

Clster de alto rendimiento con OpenMosix

Los procesos estn siendo migrados y repartidos entre los distintos nodos. Nuestro clster reacciona a la perfeccin con carga. Aqu podemos ver un informe sobre los tiempos de procesamiento de los test:

c) Prueba geek: Ahora pasaremos a hacer una prueba sobre un caso real. Algunos clster construidos se dedican para operaciones aritmticas especifcas como obtener nmeros primos o sacar decimales de "pi". En nuestro caso vamos a lanzar el clster para que busque decimales de "pi": Primero hemos crado un scrip con el algoritmo para que busque los nmeros con lo siguiente:

Clster de alto rendimiento con OpenMosix echo -e "scale=5000;4*a(1);" | bc -l Con ello vamos a decirle al clster que busque los 5000 primeros decimales de "pi". Veamos como se comporta el clster al lanzarlo:

Solo lo vamos a ejecutar con 2 nodos para ver si migra procesos, luego lo haremos con todos los nodos.

Clster de alto rendimiento con OpenMosix

Como se observa ha migrado el proceso al nodo 309 que estaba activo. Entre los dos estn sacando decimales para hacerlo en un menor tiempo:

Clster de alto rendimiento con OpenMosix Aqu tenemos los 5000 primero decimales de "pi". Este proceso lo hemos calculado y ha tardado 40,81 segundos en realizarlo con dos nodos. Veamos cuanto dura con 4 nodos:

El proceso ha sido migrado a otro de los nodos finalizando con un tiempo de 22,26 segundos.

Conclusiones finales
Tras analizar la construccin y el comportamiento del clster llegamos a la conclusin de que es una gran solucin para cuando se nos presente un problema de necesidad de alto nivel de computacin. Usando el clster de openmosix tenemos la posibilidad de crear el clster de forma sencilla, a bajo coste y con alto rendimiento. Adems, al ser una aplicacin con licencia GPL de software libre, no tendramos problemas a la hora de reprogramar algunos aspectos que nos sean necesarios especficamente para la actividad que necesitemos procesar. Tambin con el clster de openmosix abarcamos dos conceptos necesarios como son la velocidad y la eficencia que es lo que necesitaramos de un clster de alto rendimiento. La velocidad o "speeedup" es el tiempo que tarda en ejecutarse un mismo programa en un solo procesador, divido entre el tiempo que toma en ejecutarse en N procesadores. s=T(1)/T(n)

Clster de alto rendimiento con OpenMosix Para nosotros la velocidad sera si tardamos 4 minutos en ejecutar un programa: s=4/1 s=4 Tendramos una velocidad de 4. Aunque esto depende del nivel de cmputo de cada procesador en caso de que sea un clster heterogneo. La eficiencia es la relacin entre el costo computacional y el funcionamiento del clster; y lo que indica es la eficiencia con que se est utilizando el hardware y se expresa de la siguiente forma: e(n)=T(1)/T(n)n Siguiendo el ejemplo de antes: e(4)=4/4 e=1/4 e=0,25 Cuanto ms nodos aadamos al clster mayor velociad y eficiencia tendremos.

Bibliografa y webs
http://sistemasdistribuidos4xiezar.blogspot.com/2007/03/cluster-express-conclusterknoppix.html http://www.taringa.net/posts/info/928120/ClusterKnoppix_-convertir-una-red-de-PCs-enuna-superPC.html http://www.taringa.net/posts/linux/1784930/Creacion-de-una-super-computadorabasandose-en-cpu_s-comunes.html http://www.youtube.com/watch?v=ZbYo5P31vVs&feature=related https://forums.virtualbox.org/viewtopic.php?f=6&t=35106 http://www.sadikhov.com/forum/index.php?/topic/149819-clusterknoppix-building-mysupercomputer-an-ongoing-project/ http://doc.zentyal.org/es/appendix-b.html http://www.ubuntu-es.org/node/125232 http://www.esdebian.org/foro/15736/alguien-pobado-clusterknoppix https://bbs.archlinux.org/viewtopic.php?id=114983 http://www.eslomas.com/2005/03/como-cambiar-el-hostname-en-linux/ http://www.ubuntu-es.org/node/78309