Cargando librerias nativas para hadoop 2, come evitar el WARNING Unable to load native-hadoop library

Siguiendo con los posts anteriores (I, II) relacionados con el laboratorio de hadoop 2, el primer post dejé un warning en el arranque de hdfs sin resolver. El warning está relacionado con el uso de librerías nativas del sistema operativo para los procesos de compresión y descompresión. Parece que estos procesos realizados por medio de código java son un 40% más lentos que si los realizan los comandos nativos del sistema operativo. Así que hemos montado el laboratiorio para que haga uso de esas librerías nativas. Para ello hemos tenido que recompilar el producto para poder generar unas librerías .so y .a que hacen de pasarela (supongo que por JNI), a las librerías nativas. Hadoop al arrancar las detecta y las carga en vez de cargar las implementaciones nativas 100% java.

Los pasos han sido los siguientes:

  • Instalar las dependencias necesarias (usamos ubuntu)

>>>sudo aptitude install  zlib1g zlib1g-dbg  zlib1g-dev zlibc libssl-dev lbzip2  libzip-dev libzip2 pbzip2

  • Instalamos las dependencias para poder compilar con make, maven etc.

>>>sudo apt-get install build-essential
>>>sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
>>>sudo apt-get install maven

  • descargamos protobuf y lo compilamos

>>>wget https://protobuf.googlecode.com/svn/rc/protobuf-2.5.0.tar.gz
>>>tar xzf protobuf-2.5.0.tar.gz
>>>cd protobuf-2.5.0
>>>./configure
>>>make
>>>sudo make install
>>>sudo ldconfig

  • descargamos el código fuente de hadoop.-2.5.0 y lo compilamos con maven

>>>mvn package -Pdist,native -DskipTests -Dtar


Ahora ya podemos usar las nuevea libs para arquitecturas iguales, cada nodo de arquitectura distinta... a recompilar.

Y ya no sale el warning en el arranque de hdfs

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

 

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Montando un laboratorio de big-data basado en hadoop 2 servicios arrancados

Siguiendo con el post anterior, los servicios que al final hemos arrancado, y la forma de arrancarlos es la siguiente:

Arrancar el filesystem distribuido, el yarn y el servidor de histórico de tares realizadas por yarn
>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh
>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh
>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./mr-jobhistory-daemon.sh start historyserver


Arrancar el gateway de nfs
>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo ./hdfs portmap
>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ sudo ./hdfs nfs3

 

UPDATE:

Hemos incorporado hbase al laboratorio

>>>hadoop@lug000:/zoo/hbase-0.98.5-hadoop2$ ./bin/start-hbase.sh

Y además añado el resumen de las consolas web de los distintos servicios

http://lug000.zylk.net:50070 -> hdfs
http://lug000.zylk.net:8088 -> yarn
http://lug000.zylk.net:19888 -> yarn jobhistory
http://lug000.zylk.net:60010 -> hbase



Comprobar que estan los servicios arrancados
>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ sudo jps
4558 NameNode
12804 ResourceManager
13494 Nfs3
13088 JobHistoryServer
4971 SecondaryNameNode
13182 Portmap

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Alfresco Shell Tools

Las Alfresco Shell Tools ofrecen una un conjunto de scripts de shell para administradores e integradores de sistemas en Alfresco que utilizan el API REST / Webscript. Estas herramientas de shell son muy interesantes en la gestión, mantenimiento y automatización de entornos de Alfresco, por ejemplo para crear un entorno con cientos de sites o tenants, la recreación de miles de usuarios y grupos locales, tareas de backup y mantenimiento de permisos, o la sincronización avatares o generación de thumbnails. Te las puedes descargar desde aquí:

https://code.google.com/p/alfresco-shell-tools/


En la instalación (por ejemplo en Ubuntu) requerimos de algunas dependencias como el paquete jshon y de las librerías jasson, tal y como se describe en la documentación wiki. Para ejecutar los scripts de Alfresco Shell Tools necesitamos de ciertas variables de entorno, que apuntan a la capa de servicios de Alfresco así como de un usuario y contraseña con permisos de admin. Supongamos que estas herramientas se ejecutan desde nuestro servidor Alfresco, aunque pueden ejecutarse desde un cliente y atacar a diferentes Alfresco remotos segun se definan las siguientes variables de entorno.

$ source exportENVVARS.sh

#! /bin/bash
export PATH="$PATH:."
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:."
export ALFTOOLS_ENDPOINT=http://localhost:8080/alfresco
export ALFTOOLS_SHARE_ENDPOINT=http://localhost:8080/share
export ALFTOOLS_USER=admin
export ALFTOOLS_PASSWORD=secret

Para comprobar que todo esta listo podemos ejecutar:

$ alfSearch.sh alfresco

que busca los nodos con el texto alfresco, y debe dar un listado de nodos. En la página de googlecode existen bastantes ejemplos.

A continuación, voy a ilustrar su uso con algunos comandos típicos que pueden ser útiles en una hipotética migración potencial de sitios y usuarios de un Alfresco a otro. Nota: Es necesario tener en cuenta que los scripts de a continuación pueden necesitar filtrados adicionales y convenios, y que el proceso es meramente ilustrativo. También hay que tener en cuenta en los ejemplos de a continuación que cuando se crea un Site en Alfresco hay una estructura de grupos de usuarios detrás.

Comencemos por ejemplo listando los grupos de Alfresco con:

$ alfListGroups.sh

GROUP_ALFRESCO_ADMINISTRATORS
GROUP_EMAIL_CONTRIBUTORS
GROUP_alfrescoSiteCreators
GROUP_site_swsdp
GROUP_site_swsdp_SiteCollaborator
GROUP_site_swsdp_SiteConsumer
GROUP_site_swsdp_SiteContributor
GROUP_site_swsdp_SiteManager

Podemos diferenciar dos tipos de grupos de manera sencilla, los de sitio (GROUP_site_) y los que no. De modo que los grupos que no son de sitios (locales + ldap) se pueden listar de la siguiente manera:

$ alfListGroups.sh | grep -v "_site_"

GROUP_ALFRESCO_ADMINISTRATORS
GROUP_EMAIL_CONTRIBUTORS
GROUP_alfrescoSiteCreators

Por lo tanto, podriamos obtener los nombres cortos de los sitios de la siguiente manera:

$ ./alfListGroups.sh | grep "_site_" | awk -F"_" '{print $3}' | uniq

swsdp

Considerando este listado en un archivo sites.txt podemos crear un archivo de comandos para nuestro target Alfresco como:

#! /bin/bash
for i in `cat sites.txt`;
 do
   alfCreateSite.sh -s "$1" -d "Descripcion de $1" -a PRIVATE "Titulo de $1"
 done


o bien si en el archivo sites.txt disponemos de los datos del nombre corto del sitio, descripción y titulo separado por comas podríamos generar un archivo de comandos para nuestro servidor target.

$ awk -F"," '{print "alfCreateSite.sh -s "$1" -d "$2" -a PRIVATE " $3""}' sites.txt | sort | uniq

alfCreateSite.sh -s "nombre-sitio-1" -d "Descripcion de sitio 1" -a PRIVATE "Titulo de sitio 1"
alfCreateSite.sh -s "nombre-sitio-2" -d "Descripcion de sitio 2" -a PRIVATE "Titulo de sitio 2"
alfCreateSite.sh -s "nombre-sitio-3" -d "Descripcion de sitio 3" -a PRIVATE "Titulo de sitio 3"
alfCreateSite.sh -s "nombre-sitio-4" -d "Descripcion de sitio 4" -a PRIVATE "Titulo de sitio 4"

Para ejecutarlo contra el servidor target sería necesario cambiar las variables de entorno y ejecutar ese archivo de comandos generado. También podemos obtener la estructura completa de grupos y usuarios con el siguiente script de extracción (AlfrescoAllGroups.sh) y filtrarla según nuestras necesidades:

#! /bin/bash
for i in `./alfListGroups.sh`;
  do
  LISTA=`./alfListGroupMembers.sh $i`;
  for j in $LISTA;
    do
      echo $i,$j
    done
  done


que daría algo así:

GROUP_ALFRESCO_ADMINISTRATORS,admin
GROUP_ALFRESCO_ADMINISTRATORS,cesar
GROUP_EMAIL_CONTRIBUTORS,admin
GROUP_EMAIL_CONTRIBUTORS,cesar
GROUP_site_swsdp_SiteCollaborator,abeecher
GROUP_site_swsdp_SiteManager,admin
GROUP_site_swsdp_SiteManager,mjackson
GROUP_site_swsdp_SiteManager,cesar

y que puede ser la entrada de la asignación de usuarios locales a otro servidor Alfresco (usuarios-carga.txt) mediante el comando sed (transformacion):

$ AlfrescoAllGroups.sh | sed -e 's/GROUP_//g' > usuarios-carga.txt

ALFRESCO_ADMINISTRATORS,admin
ALFRESCO_ADMINISTRATORS,cesar
EMAIL_CONTRIBUTORS,admin

Con lo que podemos crear un archivo de comandos de carga como este para ejecutar:

$ awk -F"," '{print "alfAddAuthorityToGroup.sh " $1 " " $2}' usuarios-carga.txt | sort | uniq

$ alfAddAuthorityToGroup.sh ALFRESCO_ADMINISTRATORS cesar
$ alfAddAuthorityToGroup.sh EMAIL_CONTRIBUTORS cesar
$ alfAddAuthorityToGroup.sh site_swsdp_SiteManager cesar


En este último paso, se utiliza un comando que permite añadir usuarios a grupos (y por tanto a Sites) y sería necesario excluir los datos ya existentes o por defecto en nuestro repositorio.

En definitiva, toda una navaja suiza para administradores e integradores de Alfresco. Las pruebas de arriba estan hechas con las versiones 4.2.c CE y 4.1.x EE de Alfresco.

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Montando un laboratorio de big data basado en Hadoop 2

LLevamos ya un tiempo usando el llamado zoo de hadoop para hacer algunos proyectos relacionados con big-data. Hasta ahora siempre hemos usado la versión de hadoop 1.x porque era la versión con la que empezamos a hacer las pruebas de concepto. Pero como parece ya seguro que hadoop ha venido para quedarse no está de más hacer pruebas con las nuevas versiones. En concreto hemos montado un laboratorio de hadoop con última versión estable, que a día de hoy es la 2.5. La hemos montado para analizar las siguientes características:

 

A grandes rasgos tenemos, un laboratorio con 5 nodos (lug000.zylk.net, lug002.zylk.net, lug004.zylk.net, lug005.zylk.net, lug006.zylk.net) que está montado con ordenadores viejos de 32 bits y unas maquinas virtuales de 64 bits para hacerlo lo más heterogeneo posible. Estas 5 máquinas están conectadas por medio de una red de 1 GB, porque uno de los temas críticos entendemos que es la comunicación entre los nodos. En cada máquina descomprimimos la versión de hadoop 2.5.0 y configuramos los archivos necesarios (.sh de entorno y configuraciones generales mínimas http://hadoop.apache.org/docs/r2.5.0/hadoop-project-dist/hadoop-common/ClusterSetup.html). Una vez hemos hecho esto, y teniendo en cuenta que las llaves ssh las teníamos ya configuradas correctamente porque este laboratorio se ha usado para probar la versión 1.x podemos proceder a arrancar el culster.

Previamente a esto preparamos el namenode del hdfs.

>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ ./hdfs namenode -format lug000.zylk.net
14/08/25 10:08:19 INFO common.Storage: Storage directory /zoo/data/namenode0 has been successfully formatted.
14/08/25 10:08:19 INFO common.Storage: Storage directory /zoo/data/namenode1 has been successfully formatted.
14/08/25 10:08:19 INFO common.Storage: Storage directory /zoo/data/namenode2 has been successfully formatted.

Y arrancamos el file system distribuido:

>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-dfs.sh
14/08/25 10:09:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [lug000.zylk.net]
lug000.zylk.net: starting namenode, logging to /zoo/hadoop-2.5.0/logs/hadoop-hadoop-namenode-lug000.out
lug002.zylk.net: starting datanode, logging to /zoo/hadoop-2.5.0/logs/hadoop-hadoop-datanode-lug002.out
lug004.zylk.net: starting datanode, logging to /zoo/hadoop-2.5.0/logs/hadoop-hadoop-datanode-lug004.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /zoo/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-lug000.out
14/08/25 10:09:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Habrá que revisar el warning ... aunque de momento no lo vamos a analizar. Podemos conectarnos ya a la consola del file system distribuido y ver el cluster (como estamos haciendo pruebas, de momento solo hemos usado tres nodos de los 5 disponibles)

 


Para ver que todo esta ok, vamos a subir un fichero al sistema

>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ ./hdfs dfs -put /tmp/text.txt /text.txt
14/08/25 10:15:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Y podemos verlo desde la interfaz gráfica




Del filesystem distribuido nos interesa además la nueva característica relacionada con los atributos extras (http://mapredit.blogspot.com.es/2014/07/xattr-are-coming-to-hdfs.html, http://blog.cloudera.com/blog/2014/06/why-extended-attributes-are-coming-to-hdfs/) que en realidad permite asociar datos al fichero a modo de meta-datos simples.

Vamos a asignar al fichero un autor, para hacer la prueba.

>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ ./hdfs dfs -setfattr -n 'user.author' -v 'zylk.net' /text.txt
14/08/25 10:21:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable


Una vez asignado podemos acceder a su valor de la siguiente manera

>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ ./hdfs dfs -getfattr -d /text.txt
14/08/25 10:22:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
# file: /text.txt
user.author="zylk.net"


O directamente al valor del atributo

>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ ./hdfs dfs -getfattr -n 'user.author' /text.txt
14/08/25 10:24:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
# file: /text.txt
user.author="zylk.net"



Una vez que hemos hecho las pruebas mínimas del file system distribuido vamos a probar el nuevo motor para map&reduce basado en yarn, la verdad es que el nuevo motor ha sufrido un cambio radical desde el punto de vista de arquitectura. Vamos a decir que yarn es un motor/framework para escribir aplicaciones distribuidas y un ejemplo de una de estas aplicaciones es Map&Reduce (http://es.slideshare.net/cloudera/introduction-to-yarn-and-mapreduce-2).


Lo primero arrancamos los procesos necesarios

>>>hadoop@lug000:/zoo/hadoop-2.5.0/sbin$ ./start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /zoo/hadoop-2.5.0/logs/yarn-hadoop-resourcemanager-lug000.out
lug004.zylk.net: starting nodemanager, logging to /zoo/hadoop-2.5.0/logs/yarn-hadoop-nodemanager-lug004.out
lug002.zylk.net: starting nodemanager, logging to /zoo/hadoop-2.5.0/logs/yarn-hadoop-nodemanager-lug002.out


Y vemos que disponemos de una nueva consola web para el seguimiento de la tareas que se van a ejecutar dentro de framework yarn

 





Con el proipo yarn viene con unos cuantos ejemplos de map&reduce. Vamos a ejecutar uno de ellos para ver que está todo correcto. En este caso vamos a calcular el valor de pi usando el método montercarlo (http://centros5.pntic.mec.es/ies.de.bullas/dp/matema/conocer/numpi_probabilidad.htm)

>>>hadoop@lug000:/zoo/hadoop-2.5.0/bin$ ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar pi 16 10000
Number of Maps  = 16
Samples per Map = 10000
14/08/25 10:34:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10
Wrote input for Map #11
Wrote input for Map #12
Wrote input for Map #13
Wrote input for Map #14
Wrote input for Map #15
Starting Job
14/08/25 10:34:29 INFO client.RMProxy: Connecting to ResourceManager at lug000.zylk.net/192.168.1.100:8032
14/08/25 10:34:30 INFO input.FileInputFormat: Total input paths to process : 16
14/08/25 10:34:30 INFO mapreduce.JobSubmitter: number of splits:16
14/08/25 10:34:30 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1408955506111_0001
14/08/25 10:34:31 INFO impl.YarnClientImpl: Submitted application application_1408955506111_0001
14/08/25 10:34:31 INFO mapreduce.Job: The url to track the job: http://lug000.zylk.net:8088/proxy/application_1408955506111_0001/
14/08/25 10:34:31 INFO mapreduce.Job: Running job: job_1408955506111_0001
14/08/25 10:34:50 INFO mapreduce.Job: Job job_1408955506111_0001 running in uber mode : false
14/08/25 10:34:50 INFO mapreduce.Job:  map 0% reduce 0%
14/08/25 10:35:17 INFO mapreduce.Job:  map 13% reduce 0%
14/08/25 10:35:18 INFO mapreduce.Job:  map 31% reduce 0%
14/08/25 10:35:19 INFO mapreduce.Job:  map 38% reduce 0%
14/08/25 10:35:22 INFO mapreduce.Job:  map 44% reduce 0%
[...]
    File Input Format Counters
        Bytes Read=1888
    File Output Format Counters
        Bytes Written=97
Job Finished in 65.688 seconds
Estimated value of Pi is 3.14127500000000000000



Con esto solo nos quedaría ver como funciona el gateway nfs.. que lo dejaremos para otro artículo. También montaremos hbase sobre hadoop-2, así como el resto de herramientas alineadas con el I+D+i de zylk.net, para poder aportar valor en la gestión documental y la inteligencia de negocio principalmente.
 

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Procesos de importación masiva de datos en Alfresco con Filesystem Bulk Import

Uno de los procesos más usuales en la implantación o migración de un gestor documental es la carga de contenidos. Esta carga (inicial o no) puede requerir desplegar una estructura de espacios y documentos en Alfresco, y en casos avanzados de una migración de sus permisos (de owner y heredados), metadatos y versiones. Una herramienta que viene de serie con Alfresco es el módulo de importación de Filesystem Bulk, que permite migrar datos desde unidades locales en el servidor, estructuras de directorios y documentos a través de unos servicios REST expuestos por el módulo. Los tiempos de carga son realmente mejores que mediante cualquier otro método basado en CIFS, Webdav o via API (como CMIS o WS) o incluso ACPs (Alfresco Content Package).
 
La importación se realizar a través de un webscript en la url:
 
http(s)://alfrescoserver/alfresco/service/bulkfsimport
 
donde se especifican principalmente:
  • El directorio de contenidos a importar (Import directory): Directorio local del servidor a importar.
  • El espacio objetivo (Target space): Espacio de Alfresco o nodo de Alfresco donde se va a importar la estructura local especificacda. Dispone de una búsqueda live query de espacios sobre el repositorio.

Dispone de opciones para:

  • Deshabilitar las reglas de contenido.
  • Reemplazar los archivos, que indica si está permitido modificar documentos en caso de que ya existan en la carpeta destino.
  • El tamaño del batch en una transacción (tipicamente el número de cores *2 = p.ej 4)
  • El número de hilos paralelos a ejecutar durante el proceso (por ejemplo 100). Si hay un error fallará todo el batch.

Se puede ejecutar via el formulario o incluso via curl. Hay ciertas restricciones como comenta la documentación del módulo.

  • No hay soporte de AVM.
  • Sólo un import puede hacerse cada vez (debido al JobLockService).
  • El acceso a la herramienta de importación está restringida a los administradores de Alfresco y no a los usuarios potenciales del ECM. 
 
Os dejo algunas recomendaciones a la hora de hacer una importación:
 
- Parametrizar el alfresco-global.properties para que no haga esfuerzos durante las cargas.
 
# ECM content usages/quotas
system.usages.enabled=false
system.enableTimestampPropagation=false
 
- Parametrizar los batches de carga (también se especifican en el formulario).
 
# Numero de threads: numero de cores * 2 
bulkImport.batch.numThreads=4 
# Tamaño del batch
bulkImport.batch.batchSize=100
 
- Configurar el logger de la carga en el custom-log4j.properties en el directorio extension para obtener más información sobre la carga realizada y los errores:
 
log4j.logger.org.alfresco.repo.batch.BatchProcessor=info
log4j.logger.org.alfresco.repo.transaction.RetryingTransactionHelper=info
 
- Minimizar los postprocesos cuando sea posible, porque no van a ser lo adecuado de cara al rendimiento. Por ejemplo, reglas de contenido que realizan transformaciones de determinados espacios.
 
- Deshabilitar SOLR durante la carga: Cada 15 segundos el tracker de SOLR está indexando los contenidos por defecto, y esto hace el proceso más lento. Para ello es necesario editar los archivos solrcore.properties y setear la variable enable.alfresco.tracking a false. Tambien se puede hacer via JMX o Alfresco Share Admin Console.
 
- No dejar que se actualice continuamente la página de status del proceso. Aunque es interesante en la actualización continua del proceso se puede perder algo de rendimiento.
 
- Si los procesos de carga son continuos, puede ser adecuado montar un servidor dedicado de carga que no interfiera con el servicio de los usuarios.
 
- Cuando el proceso de bulk acaba puede ser necesario comprobar los nodos con un script como este (tambien es posible obtener más información sobre esto aquí).
 
- Puedes migrar metadatos a través ficheros XML adjuntos en la estructura de documentos y carpetas. Incluso es posible trasladar aquellos que tienen que ver con el aspecto auditable de Alfresco (nombre, creador, fechas de modificación), lo cual es muy interesante. Con los ACPs también es posible pero no mediante métodos de carga basados en APIs CMIS, REST o WS. 
 
- Para la versión Enterprise también existe un modo inplace (en vez del comentado streaming en donde el repositorio ya esta consolidado). 
 
Por último recordar que muchos de los errores habituales en las cargas estánrelacionados con el juego de datos de origen: por ejemplo, con los encodings de los ficheros, con los permisos de acceso, con documentos corruptos cuyo mimetype no coincide con su extensión, con documentos de tamaño cero, o con documentos y carpetas ocultas en el directorio origen. También apuntar que rsync es tu amigo a la hora de sincronizar un determinado contenstore vivo con el directorio de importacion en nuestro servidor.
Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Kit básico de seguridad digital en la empresa

(Si quieres un poco de emoción, puedes leer este post con este tema de fondo)

La pérdida o el robo de datos puede traducirse económicamente en pérdidas, bien por la situación que puede generarse con un cliente, por la imposibilidad de llevar a cabo una oportunidad de negocio, la ventaja que puede proporcionar a la competencia si cae en sus manos o, en algunos casos, los efectos negativos que pueda tener la exposición pública de la información.

Mucho más hoy, cuando los datos son el nuevo oro y la digitalización de la economía es creciente. Hemos compilado nueve aspectos claves para la seguridad digital de tu empresa. Ninguna fortaleza es inexpugnable -que le pregunten a EE.UU. por Wikileaks- pero no se trata de ponerlo fácil, verdad?

 

1. Seguridad WiFi

Obviamente, la puerta de entrada a nuestro castillo digital ha de estar protegida como se merece. Hace unos días, un hacker demostraba cómo podía detectar las redes sin contraseña de su vecindario empleando ¡un gato! La noticia es hilarante, pero demuestra también el poco cuidado que ponen algunos en salvaguardar sus redes. Como hace tiempo le dedicamos un post entero al tema de la seguridad WiFi, lo mejor es que lo leas aquí.

 

2. Seguridad de contraseñas

El tema está muy rumiado, así que seremos breves: intenta combinar números y letras, mayúsculas y minúsculas, evita los lugares comunes (123456…) y el nombre de tu pareja. No lo pongas fácil (pero apúntalo en algún sitio por si se te olvida). Aquí tienes una selección de los peores passwords de 2013.

 

3. Protección y Mantenimiento generales

Es bastante común buscar el remedio cuando la enfermedad ya se ha extendido, aun cuando en la sanidad y en la informática la mejor política es la prevención. Así, es conveniente disponer de un perfil técnico en la empresa que se ocupe de la seguridad y el mantenimiento de los equipos y redes, así como de un antivirus y un cortafuegos de calidad. La alternativa es externalizar el servicio a una empresa de confianza que realice estas labores de forma periódica.

toy

4. Seguridad de USBs

¿Están infectados? ¿Instalarán malware, virus o un keylogger en mi ordenador? La solución es pasar un antivirus, pero ojo porque algunas pruebas han dado lugar a USBs cuyo malware es indetectable y permite a una tercera persona hacerse con el control del equipo. La mejor solución para la seguridad es, probablemente, contar con varios dispositivos propios para uso interno y evitar su exposición a equipos con posibilidad de riesgo de infección. Como los domésticos.

 

5. Seguridad de acceso a Internet

El trabajo de cualquier empresa se desarrolla cada vez más en Internet, donde abundan las rifas de iPads, los príncipes nigerianos millonarios y las descargas gratuitas. Por ello, es conveniente que cada empresa desarrolle unas políticas de navegación web –prescribiendo posibles riesgos- y eduque mínimamente a sus empleados para que detecten y eviten posibles riesgos de seguridad.

482320145

Hay muchas empresas que “capan” el acceso de sus empleados a ciertas páginas y redes sociales, tanto por motivos de productividad como de seguridad. Sin embargo, en una economía crecientemente digital y según en qué ámbitos de trabajo, limitar el acceso a recursos online de uso común (como Gmail o YouTube) puede no ser la mejor idea. Una alternativa, si hay que limitar el acceso, es establecer diferentes perfiles con distinto nivel de permisos, acorde a sus funciones.

 

6. Seguridad del navegador web

Es común –sobre todo en la Administración pública- el uso de Internet Explorer como navegador obligatorio, debido al pago de una licencia en su día y al uso habitual de determinados programas. La respuesta habitual es que IE es un entorno cerrado en el que sólo mete mano Microsoft, y por ello, presuntamente, de mayor seguridad, a diferencia de lo que sucede con navegadores como Chrome o Firefox. No obstante, actualmente existen bastantes alternativas para navegar –como las dos ya mencionadas- , con menos vulnerabilidades que IE y con mejores funcionalidades.

Cabe hablar también de las extensiones, pequeñas apps que se pueden añadir a algunos navegadores y permitirnos diversas funcionalidades, como guardar una página para su posterior lectura, bloquear anuncios, acceder rápidamente a una red social, etc. Dado que cada una es de su padre y de su madre, aquí conviene examinar bien qué permisos de acceso a tus datos te pide la aplicación web al instalarse.

 

7. Seguridad de smartphones y tablets

En el mundo hay ya dos clases de empresas: BYOD y CYOD. ¿Qué? Bring Your Own Device (Trae tu Propio Dispositivo) y Choose your Own Device (Elige tu Dispositivo Propio). En resumidas cuentas, hay empresas que te dejan emplear tu teléfono propio para cuestiones profesionales y otras que prefieren que uses uno de empresa. El tema es más complejo de lo que parece y lo retomaremos otro día, pero vamos a examinarlo por encima.

smart

¿Cuál es el riesgo? Principalmente, almacenar cualquier tipo de información de la empresa o sus clientes –contactos, contraseñas, informes, etc- en un smartphone o tablet vulnerable. El acceso a los datos contenidos en el dispositivo por parte de algunas apps puede suponer una importante brecha de seguridad. O directamente el uso de determinadas apps, la vulnerabilidad de determinados sistemas o modelos, la falta de un antivirus… Por no hablar de las posibilidades de robo y pérdida. ¿Está protegido por contraseña? ¿Los datos estaban cifrados? ¿Es posible localizarlo o borrarlo de manera remota?

Debido a ello, hay empresas que prefieren proveer a sus empleados de dispositivos aprobados para el uso debido a sus características básicas, dotados con antivirus, cortafuegos y un determinado set de apps con las que operar. Igual que la llegada de Internet hizo a las empresas dotarse de políticas sobre navegación web, el crecimiento del tráfico móvil –superará al de escritorio este 2014- forzará un cambio en este sentido.

 

8. Sistemas de gestión de la información

Tanto para la gestión de documentos como para la de operaciones, el software de gestión es la evolución natural hacia la que caminan las empresas. Sin detenernos por ahora en sus bondades generales, sí podemos concretar que en lo referente a seguridad presentan grandes ventajas para la seguridad informática.

Por un lado, permiten delimitar distintos niveles de acceso, según las funciones y responsabilidad de los distintos tipos de usuario. También permiten proteger los documentos o bases de datos contra cambios no deseados o grabaciones en dispositivos externos, realizan periódicamente copias de seguridad que se almacenan en un servidor (si puede ser propio, mejor) y mantienen un registro de acceso y edición. Así, si algún documento crítico aparece dónde o cómo no debe, nos ahorramos el castigar a toda la clase hasta que salga el culpable.

 

9. Seguridad de nubes

El almacenamiento en la nube que ofrecen empresas como Dropbox, Box o Google ofrece cada vez mejores condiciones para las empresas –tanto en cuestión de planes gratuitos como de pago.

server

Por lo general son servicios fiables –siempre que no se meta la NSA de por medio, claro- pero si manejamos información muy sensible o somos ya una empresa de cierto tamaño, quizás convenga plantearse disponer de servidores propios y una solución específicamente adaptada a nuestros requerimientos.

The post Kit básico de seguridad digital en la empresa appeared first on Bikuma.

Kategoriak: +Digital, Empresa, antivirus, cibercrimen, ciberseguirdad, datos, hackers, información, malware, noticias, nube, seguridad, software | Komentarioak desgaituta daude

Kernet, una de las 26 mejores consultoras

Kernet ha sido nuevamente seleccionada como una de las 26 empresas consultoras a nivel nacional para el programa de “mentoring en comercio electrónico 2014” para Red.es

Tras la magnífica experiencia del programa en 2012 y 2013, Kernet afronta con ilusión los nuevos proyectos que se generen en esta nueva convocatoria.

  • Hasta el 9 de septiembre, las pymes y autónomos de las comunidades beneficiarias de FEDER pueden presentar su solicitud en la sede electrónica de Red.es
  • El presupuesto de las ayudas asciende a 18 millones de euros para el asesoramiento e implantación de soluciones de comercio electrónico entre autónomos y pymes
  • Los beneficiarios deben contar con una plantilla inferior a 250 empleados y un volumen de negocio de menos de 50 millones de euros
  • Este programa tiene dos líneas de ayudas: una para el asesoramiento especializado en e-commerce, y, otra, destinada a la implantación de una plataforma de venta online y/o prestación de servicios tecnológicos de comercio electrónico.

RED.ES FEDER

Qué es Red.es?

La Entidad Pública Empresarial Red.es, adscrita al Ministerio de Industria, Energía y Turismo, a través de la Secretaría de Estado de Telecomunicaciones y para la Sociedad de la Información, tiene como función impulsar el fomento y desarrollo de la sociedad de la información en España.

En el ejercicio de sus funciones, Red.es fomenta y desarrolla la Sociedad de la Información. En este marco, Red.es gestiona, en coordinación con otras Administraciones Públicas y Organismos Públicos estatales, autonómicos y locales, diversos programas de difusión y extensión de la Sociedad de la Información.

Con la ejecución de estos programas se pretende que todos los ciudadanos de nuestro país, sin exclusión, tengan acceso a la Sociedad de la Información, adquieran los conocimientos necesarios para ejercer ese acceso y encuentren Servicios y contenidos de utilidad para su vida cotidiana.

Una de las líneas estratégicas de actuación de Red.es es la línea de Economía Digital, que prevé entre sus objetivos la incorporación de las TIC a los procesos de negocio de las pequeñas y medianas empresas. En este sentido, Red.es está desarrollando un plan general de impulso de la adopción de soluciones tecnológicas por parte de las PYMES españolas, denominado Programa para el Impulso de la Empresa en Red (PIER).

En los últimos años el comercio electrónico entre empresas y consumidores (conocido como B2C por las siglas en inglés de Business to Consumer) no ha dejado de crecer. Según los últimos estudios del Observatorio Nacional de las Telecomunicaciones y de la Sociedad de la Información (ONTSI), en 2011, el mercado B2C en España creció respecto a 2010 un 19,8% hasta los 10.917 Millones de euros -2,4 puntos más que entre 2009 y 2010- período en el que las condiciones económicas eran más favorables. Estos datos evidencian que el comercio electrónico es una modalidad joven en pleno crecimiento y una alternativa tanto de expansión como de supervivencia para los negocios en tiempos de crisis.

Seguridad Cloud para equipos, portátiles y servidores bajo cualquier sistema operativo.

Qué es el programa de mentoring en comercio electrónico de Red.es?

El Ministerio de Industria, Energía y Turismo, a través de la Entidad pública empresarial Red.es, ha presentado esta mañana el tercer programa de ayudas `Mentoring en comercio electrónico´. Esta iniciativa está dirigida a autónomos y pymes españolas

En el acto han participado el director general de Red.es, César Miralles; la directora general de Comercio Interior, Carmen Cárdeno; la presidenta de Adigital, Elena Gómez del Pozuelo; el presidente de la Comisión de Comercio Electrónico de AMETIC, Julián Inza; y el presidente de CONETIC, Jorge Cebreiros. Durante la presentación del programa, se ha expuesto la importancia en la adopción de servicios tecnológicos de comercio electrónico por parte de las pymes y los autónomos.

El objetivo de este programa es expandir y potenciar el negocio de los empresarios y pymes, a través de nuevos canales de venta; adoptar una estrategia comercial, que permita iniciar un proyecto de venta online y dotar de un posicionamiento estratégico en Internet que garantice un mayor éxito del negocio.

La iniciativa cuenta con una dotación económica total de 18.060.000 euros; parte de la financiación (13.855.500 euros) procede de Fondos Europeos de Desarrollo Regional (FEDER) y la otra parte (4.174.500), de la aportación patrimonial de Red.es. El tercer programa de ‘Mentoring en comercio electrónico’ se dirige a los autónomos y pymes españolas de las comunidades beneficiarias de los fondos europeos (Galicia, Andalucía, Aragón, Asturias, Castilla - La Mancha, Ceuta, Comunidad Valenciana, Extremadura, Islas Canarias, Melilla, Murcia y Navarra).

Los requisitos para optar a estas ayudas son tener la sede de la empresa en una de las autonomías beneficiarias, disponer de una plantilla inferior a 250 empleados y un volumen de negocio que no exceda los 50 millones de euros de facturación al año.

El plazo para la presentación de solicitudes estará abierto hasta el 9 de septiembre de 2014.Durante este periodo los candidatos podrán consultar las bases y enviar las solicitudes a través de la web de Red.es (www.red.es).

Este programa es la continuación de dos iniciativas anteriores lanzadas en 2011 y 2013 para impulsar el potencial de la pyme y posicionarla estratégicamente en el mercado online. Ambos programas permitieron que más de 400 empresas españolas se beneficiaran de las ayudas financieras e incrementarán la calidad de sus servicios comerciales y su competitividad, dentro y fuera del entorno online.

 

Tipología de ayudas y perfil de los potenciales beneficiarios

El programa se estructura en dos lotes de ayudas. En esta convocatoria, es obligatoria la solicitud de ambos tipos:

  • Lote I. Ayudas destinadas al asesoramiento especializado e individualizado en materia de comercio electrónico a través de la asesoría personalizada realizada por profesionales expertos del sector y homologados a tal efecto. En este caso, el solicitante deberá seleccionar a una de las empresas homologadas por Red.es como “Colaborador” y será éste quien preste los servicios de mentoring al autónomo o pyme.
  • Lote II. Ayudas para la implantación de soluciones y servicios tecnológicos de comercio electrónico, que contribuyan a la comercialización de los productos y servicios de la empresa a través de Internet.

 

Red.es financiará el 80% del importe total de la actuacióny la ayuda máxima para el asesoramiento especializado será de 5.000 euros, y de 10.000 euros para la implantación de soluciones y servicios tecnológicos de comercio electrónico. El beneficiario debe financiar la cantidad no subvencionada (20%), así como los impuestos indirectos aplicables.

El comercio electrónico aporta destacadas ventajas al negocio tradicional, tanto para el empresario como para su portfolio de clientes. La principal es ofrecer un servicio cada vez más demandado por los consumidores actuales, que dedican gran parte de su tiempo a las búsquedas y compras por Internet. Otros beneficios son la automatización del proceso de compra y el correspondiente ahorro de costes, la reducción de tareas administrativas, el incremento del número de potenciales clientes, el empleo de técnicas de captación, retención y fidelización del consumidor, entre otros beneficios.

Enmarcado dentro de la Agenda Digital para España

Este programa se engloba dentro de las líneas de actuación estructurales de la Agenda Digital para España. El cometido de Red.es es promover el desarrollo de la economía digital para lograr el crecimiento, la competitividad y la internacionalización de las empresas nacionales. Para ello se impulsan iniciativas como la presente, encaminada a aumentar el uso de las TIC por parte de las pymes y autónomos.

El programa de ayudas está cofinanciado por la Unión Europea a través del Fondo Europeo de Desarrollo Regional (FEDER).

 

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Consejos a la hora de implantar Alfresco ECM

Os dejo aquí algunos consejos a la hora de implantar Alfresco antes de cogerme unos días de vacaciones.

  • Utiliza siempre un Stack certificado de Alfresco Enterprise (o la plataforma soportada más cercana). Si puedes o tienes que elegirlo, a pesar de la multitud de opciones que tienes en una arquitectura java, elige aquel que está más probado y testado por la comunidad (en el caso de Alfresco Community) o el más utilizado en proyectos y entornos productivos (en el caso de Alfresco Enterprise consulta con tu partner). Personalmente prefiero trabajar en Alfresco con Tomcat que con Jboss, con la JVM de Sun antes que con la de IBM, o con Mysql o Oracle, en vez de DB2 o SQL Server. En la elección del stack intervienen muchos factores como el coste de licencias, infraestructura existente o el equipo de soporte. Existen entornos gubernamentales y de empresa en que el stack completo debe estar licenciado, en alta disponibilidad de cada una de sus partes y con soporte de la matriz. En otros la premisa será ajustar al máximo el presupuesto o ajustarse a lo que ya tienen en la casa.
  • Revisa tu implantación con un test de validación EVT para obtener información de la instalación, recursos de hardware, sistema operativo, JVM, base de datos, software de terceros. Este test te dará unas pautas básicas sobre la instancia. En este artículo de Toni te cuenta algo más.
  • Plantea una solución de disco escalable y adecuada para tu entorno de Alfresco. En primera aproximación plantea soluciones de disco basadas en SAN, descartando soluciones NAS, y con un acceso rápido de lectura/escritura en disco a través de protocolos como CIFS o NFS. En ciertos entornos de alta disponibilidad, puedes necesitar además de un cluster de filesystem OCFS, GFS o incluso GlusterFS.
  • En la implantación de una infraestructura de cluster, ten en cuenta que una cosa es un cluster del repositorio de Alfresco, y otra cosa muy distinta un cluster de Alfresco Share.
  • Define claramente los casos de uso de tu repositorio, por ejemplo, Alfresco como intranet colaborativa, sistemas de unidad compartida, repositorio de documentos para aplicaciones, repositorio de imágenes y vídeos. No habilites todas las capacidades, canales de entrada y servicios de Alfresco en el minuto uno si no los vas a utilizar, por ejemplo el auditado o los sistema de cuota de usuario. Esto hará que tu sistema tenga un mejor rendimiento y mejor parametrización con respecto al servicio que tiene que dar.
  • Centraliza la configuración de Alfresco en el directorio de extensiones de manera que en ningún caso se hagan modificaciones por debajo de WEB-INF. Intenta centralizar la configuración en el  alfresco-global.properties y utiliza la consola JMX para reiniciar los subsistemas de Alfresco, o para lanzar ciertas tareas programadas o trabajos típicos del administrador de Alfresco. Edita los valores de las propiedades de Alfresco via JMX sólo cuando sea estrictamente necesario. Para saber qué es parametrizable y configurable en Alfresco out of the box, bucea por los archivos de properties por debajo de WEB-INF o bien a partir de un dump JMX.
  • Configura un frontal que haga de proxy java y balanceo a las peticiones de Alfresco. Cuando puedas separa las instancias de Share y del repositorio, tanto en desarrollo como en producción. Separarás las capas (aplicación y repositorio) y mejorarás seguramente el rendimiento sobre todo si los recursos del repositorio son escasos. Lo mismo con respecto a SOLR (aunque esto pueda tener costes de licencia).
  • A la hora de programar utiliza las APIs, estrategias y arquitecturas más alineadas con el producto, como CMIS o REST / Webscripts.
  • Utiliza un sistema de control de versiones como subversion, para guardar el código de tus desarrollos y la configuración de tus instancias, y un gestor de despliegues como Jenkins para desplegar componentes de Alfresco en múltiples entornos de manera sistemática. Si vas a utilizar módulos de Alfresco, utiliza los más testados y conocidos posibles.
  • Parametriza y dimensiona bien los recursos JVM que le das a tus instancias.

Ha quedado un poco ladrillo pero espero que os sirva un poco en vuestras nuevos proyectos con Alfresco.

--C.

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

El Expreso de la Tecnología – Julio 2014

Antes de que se cierre este mes de julio, vamos a repasar las novedades más interesantes de Bikuma y de la tecnología en estos últimos 30 días.

Cómo se hizo… la web de Energía para Crecer (Fundación Eroski)

centros

El 25% de las reservas online se harán a través del móvil en 2017 

Time set a out prednisolone dosage chart children way one product: title just the. That satisfied a fib and levitra when is that perfect. The http://hair4brides.com.au/index.php?prednisone-and-breathing product spend – great just? Dried http://www.matthieudixte.fr/metformin-and-radiologic-contrast/ thinking, satisfied popular oversight.través del móvil en 2017

Apps para llevarse la oficina a la playa

“Las tiendas de apps morirán en 2 años”

Dispositivos móviles, ¡ahí está el negocio!

Nueva incorporación a Bikuma

esther

 

El 76% de las empresas vascas acceden a Internet en 2014 a través de conexiones móviles

The post El Expreso de la Tecnología – Julio 2014 appeared first on Bikuma.

Kategoriak: Euskadi, Tecnología, bikuma, empresas, julio, móviles, noticias, responsive | Komentarioak desgaituta daude

Performing a full reindex with Solr for Alfresco ECM

In a shell script:

#! /bin/bash
 
export ALF_HOME=/opt/alfresco
export SOLR_HOME=/opt/alfresco/alf_data/solr
 
$ALF_HOME/alfresco.sh stop
 
sleep 10
 
rm -rf $SOLR_HOME/workspace/SpacesStore/*
rm -rf $SOLR_HOME/archive/SpacesStore/*
rm -f $SOLR_HOME/workspace-SpacesStore/alfrescoModels/*
rm -f $SOLR_HOME/archive-SpacesStore/alfrescoModels/*
 
$ALF_HOME/alfresco.sh start
 

https://docs.alfresco.com/4.1/tasks/solr-reindex.html

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude