CDF. Extendiendo el componente tabla en los dashboards de pentaho.

Durante el desarrollo de un proyecto de BI con pentaho, similar al proyecto que describimos el año pasado que hicimos con las empresa cianoplan, nos ha surgido la necesidad de ampliar la funcionalidad del componente tabla del CDF.

La idea es que queríamos calcular algunos totales en la tabla. Buscando por internet en los foros he llegado al siguiente post en el que se explica como ampliar el componente para hacer, precisamente esto. Así que lo he puesto en el CDE y ha funcionando correctamente pero con un pequeño problema, el código del foro sirve para calcular los totales de todos los elementos y resulta que la tabla realiza, o puede realizar, algunos filtros en cliente que son de utilidad (ordenaciones, paginado y filtrado).

Llegados a este punto he modificado el código del ejemplo para que interactue con estas acciones de la tabla y así nos permite calcular los totale correctos cuando se aplican los filtros y la paginación.

El código fuente de las funciones javascritp es el siguiente


function TableTotal(tblObj,totalStr,calcSumFlags, rows) {
    //si existe lo elimino
    if($('#'+tblObj.htmlObject+' tfoot').length > 0){
        $('#'+tblObj.htmlObject+' tfoot').remove();
    }
    
    if($('#'+tblObj.htmlObject+' tfoot').length===0){
        var grandTotalRow = "<tfoot><tr><td class=\"column0 string\">" + totalStr + "</td>";

        for ( var c=1; c <= calcSumFlags.length; c++ ){
            grandTotalRow += "<td class=\"column" + c + " numeric\">";
            sumVal = 0;
            if(calcSumFlags[c-1] == 1)
            {
                for(var i = 0; i < rows.nTBody.children.length; i++){
                    //var value = tblObj.rawData.resultset[i][c];
                    var value = rows.nTBody.children[i].childNodes[c].innerText;
                    value = parsetofloat(value);
                    
                    if (isNumber(value)){
                        sumVal += parseFloat(value);
                    }
                }
                grandTotalRow += addCommas(sumVal.toFixed(2));
            }
            grandTotalRow += "</td>";
        }
        
        grandTotalRow += "</tr></tfoot>";
        $('#'+tblObj.htmlObject).find('table').append(grandTotalRow);
    }
}

function parsetofloat(aaa)
{
    return aaa.replace(/,/,"");
}

function isNumber(n) {
    return !isNaN(parseFloat(n)) && isFinite(n);
}

function addCommas(nStr)
{
   nStr += '';
   x = nStr.split('.');
   x1 = x[0];
   x2 = x.length > 1 ? '.' + x[1] : '';
   var rgx = /(\d+)(\d{3})/;
   while (rgx.test(x1)) {
      x1 = x1.replace(rgx, '$1' + ',' + '$2');
   }
   return x1 + x2;
}


Y la función que va en el evento draw del componente en el CDF

function redraw(aaa) {
  // 1 - calculate sum, 0 - empty footer
  var calcSumFlag=[0,1];
  // Write footer, first column value will be "Total"
  TableTotal(this,"Total",calcSumFlag,aaa);
}



En esencia solo se ha cambiado un poco lo explicado en el foro pero creo que puede resultar de interés ya que me imagino que más gente tendrá esta necesidad.

Por otro lado comentar también que no se si esta es la mejor forma de hacer esto...ya que creo que igual sería más interesante ampliar el componente para que disponga de esta funcionalidad, pero eso requiere algo más de conocimiento de los componentes y del CDF

Unas caputras del componente para ilustrar su funcionamiento

En la primera vemos que el total es de los motrados en la primera página



Y en este caso vemos que el total se calcula a partir de los que cumplen el criterio de filtro indicado en el buscador



 

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Boletín de Enero

Han pasado unos cuantos meses desde nuestro último boletín pero en zylk.net no hemos parado. Traemos este último resumen del año cargado de novedades tanto en nuestros addons de Alfresco como en nuestro producto estrella de firma digital Sinadura Desktop , así como unas cuantas píldoras de información que seguro te resultarán interesantes.

Por supuesto encontrarás más información en no blogo , el blog de zylk.net, que quizás ya conozcas y al que puedes suscribirte fácilmente siguiendo este enlace.

Ya sabes que si quieres contactar con nosotros puedes hacerlo a través de nuestro mail info@zylk.net , nuestro número de teléfono: 944272119 o cuenta de twitter @zylknet

 

Publicación Destacada

Presentación de Sinadura 4.0 y Caso de éxito en la Librecon 2014.



Los días 11 y 12 de Noviembre se celebró en el palacio Euskalduna de Bilbao el evento LibreCon 2014, un punto de encuentro para los agentes del software libre y las tecnologías abiertas. Entre las más de 75 charlas con ponentes de talla internacional, tuvimos la oportunidad de presentar el caso de éxito de Sinadura en Parlamento Vasco, y aprovechamos para anunciar la próxima publicación de Sinadura 4.0.

más info sobre la Librecon aquí.

Producto Recomendado

Nuevos add-ons de Alfresco disponibles en el marketplace

Seguimos trabajando en desarrollar y ofrecer a nuestros clientes soluciones que complementen las funcionalidades que ofrece por defecto el gestor documental Alfresco ECM. Estos son nuestros nuevos add-ons:


El equipo de zylk se certifica

Certificaciones del equipo técnico de zylk en Liferay Portal y Alfresco ECM.

Recientemente varios miembros del equipo técnico de zylk.net han obtenido la nueva certificación nivel "Developer" que ofrece Liferay, con lo que más de la mitad de nuestros técnicos demuestran así su amplio conocimiento de la herramienta. Además, nuestro equipo también ha logrado obtener la certificación ACA (Alfresco Certified Administrator) y aquí podrás ver alguno de los materiales que ha utilizado para preparar este examen.

Otras entradas de interés:

  •     Consejos a la hora de implantar Alfresco ECM link
  •     Las Novedades de Alfresco 5 CE link
  •     En la Alfresco summit 2014 link
  •     Alfresco addons by zylk.net 2014 link
  •     Aplicaciones escalables de alto rendimiento link


    
 

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Proyectos en tecnologías de portal con Alfresco y Liferay

Dejo un diagrama ilustrativo del uso tecnologías y proyectos prototipo de Portal / ECM, con nuestras dos herramientas favoritas Liferay Portal y Alfresco ECM.

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Ejecucion asincrona usando el framework java.util.concurrent

Siguiendo con el diseño de aplicaciones de alto rendimiento vamos a ver como se podría mejorar el rendimiento de la siguiente parte del gráfico general

 

donde vemos que hay una librería (cliente) que se integra en otra aplicación. Lo fundamental en este caso es que la librería cliente no penalice, o penalice lo menos posible, el tiempo de ejecución de la aplicación original. Por ejemplo si el cliente es una librería de trazas lo idoneo es que el tiempo de ejecución del método de la aplicación sea el mismo con las trazas activadas que con las trazas desactivadas.

Si partimos de este esquema y aplicando las dos siguientes premisas

  • No es importante la garantía de entrega.
  • No es requisito procesar la respuesta de la petición realizada para hacer lógica sobre el programa principal.

Podemos hace uso del framework java.util.concurrent para mejorar mucho el tiempo. Pasando de ejecutar 10000 envios en 60 degundos a 10000 envios en  menos de 1 segundo. Es decir mejoramos la sensación del rendimiento al usar la librería cliente en un x100, que es uno de los objetivos que pretendíamos.

Un par de snippets de como hacer una petición rest desde un cliente usando esta técnica

donde vemos como se realizaría la petición de manera sincrona.

donde vemos como se realizar la petición asincrona

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Implementando servicios REST con jaxrs sustituyendo JSON por Protocol Buffer

Una de las particularidades de las orientaciones SOA es que servicios consumen servicios, y desde hace un tiempo ya estos servicios no se orientan a SOAP con webservices si no que se orientan más a servicios más ligeros basados en REST. En la siguiente firgura podemos ver un ejemplo de lo comentado

Donde podemos ver, serialización y des-serialización basada en JAXB, exposición de servicios usando JAX-RS y sobre todo vemos que el objeto intercambiado entre los servicios (Book) se transporta en formato JSON entre el consumidor y el publicador del servicio.

Esto está bien como primera aproximación pero lo mismo que hace 10 años se intercambiaban XMLs y pasamos a JSON ahora parece que sería interesante pasar de JSON a alugno de los protocolos binarios que aportaán más velocidad y por ende más rendimiento. Los candidatos principales son (Avro y Protobuf).

Una vez que tenemos claro el objetivo, ¿cómo podríamos hacerlo?, en realidad revisando el diagrama anterior parece que debería ser sencillo hacer el cambio. Para ello solo hay que registrar un nuevo protcolo para que JAXRS lo identifique y sea capaz de gestionarlo. Tenemos que implementar las siguientes dos clases (javax.ws.rs.ext.MessageBodyReader y javax.ws.rs.ext.MessageBodyWriter)  que le indican al servicio como tiene que leer la información de la petición REST y como tiene que escribir la respuesta. Siguiendo este artículo podemos ver como se hace esto para Protobuf. Además para poder completar el ejemplo hay que seguir un manual de Protobuf  de los muchos existentes en internet.

Para hacer lo mismo con Avro habría que implemntar estas dos clases y definir un nuevo tipo de contenido por ejemplo application/avro. Con esto podríamos tener servicios que consuman y devuelvan peticiones con objetos serializados en Avro o en Protobuf igual que hacemos con los servicios que exponen JSON

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Algunos consejos sobre la aplicación de la Ley 25/2013 de Impulso de Factura Electrónica

 

A lo largo de las últimas semanas hemos podido ver cómo se multiplicaban las noticias sobre la la ley 25/2013 de 27 de Diciembre de Impulso de la factura electrónica que se aplicará a partir del próximo 15 de Enero de 2015. Esta ley tiene por un lado el objetivo de proteger al proveedor de la administración, y por otro el de mejorar el seguimiento del cumplimiento de los compromisos de pago de las administraciones, mejorando el gasto público y controlando el déficit.

Por esta razón a partir de mediados de este mes, será obligatorio para las empresas que facturen a la administración y sus organismos autónomos la expedición y remisión de facturas en formato electrónico, quedando exentas las facturas de importe igual o inferior a 5.000 € para las cuales podrás elegir entre el formato electrónico o el tradicional formato papel.

 

 

Así que si te cuentas entre los proveedores de la administración o tienes previsto convertirte en proveedor, desde zylk.net queremos darte un par de consejos para que la transición al uso de factura electrónica sea lo más natural posible.

 

  1. Si todavía no dispones de un certificado, solicítalo en alguna de las Entidades de Certificación existentes (Izenpe, FNMT, Camerfirma...). Como ciudadanos todos disponemos del DNI electrónico, pero existen certificados de Entidad para las empresas y están disponibles tanto en formato tarjeta como en Token USB.

  1. Elijas la herramienta que elijas para generar tu factura electrónica, recuerda que el único formato que será aceptado es el facturae 3.2 y 3.2.1. El ministerio dispone de una herramienta gratuita a tal efecto pero existen otras que además de emitir facturas electrónicas ofrecen funcionalidades extra como por ejemplo Efaktur, que te permitirá conservar borradores de las facturas aún por emitir, generar estadísticas del estado de tus facturas (borrador, emitidas, rectificadas, etc), consultar el histórico de envíos realizados o hacer desgloses de IVA tanto en facturas enviadas como recibidas.

  1. Es tan importante emitir una factura como conservarla. La legislación vigente (Ley 58/2003 de 17 de Diciembre) exige su conservación por un período mínimo de 6 años, por lo que sistemas de gestión documental como Alfresco ECM son de gran ayuda cuando tratamos con este tipo de información en las organizaciones.

 

Si aún así la factura electrónica te sigue asustando, en zylk.net te ofrecemos varias opciones para que le pierdas el miedo. Como expertos en firma digital y factura electrónica podemos asesorarte y ayudarte a elegir la solución que más se adecúa a tu caso particular. Además, si ya tienes una solución de factura electrónica pero necesitas formación en firma digital para utilizar de forma adecuada tu herramienta, también podemos ayudarte.

Ponte en contacto con nosotros por teléfono en el 944 272 119 o por email en info@zylk.net y dinos qué podemos hacer por ti.

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Algunos consejos sobre la aplicación de la Ley 25/2013 de Impulso de Factura Electrónica

 

A lo largo de las últimas semanas hemos podido ver cómo se multiplicaban las noticias sobre la la ley 25/2013 de 27 de Diciembre de Impulso de la factura electrónica que se aplicará a partir del próximo 15 de Enero de 2015. Esta ley tiene por un lado el objetivo de proteger al proveedor de la administración, y por otro el de mejorar el seguimiento del cumplimiento de los compromisos de pago de las administraciones, mejorando el gasto público y controlando el déficit.

Por esta razón a partir de mediados de este mes, será obligatorio para las empresas que facturen a la administración y sus organismos autónomos la expedición y remisión de facturas en formato electrónico, quedando exentas las facturas de importe igual o inferior a 5.000 € para las cuales podrás elegir entre el formato electrónico o el tradicional formato papel.

 

 

Así que si te cuentas entre los proveedores de la administración o tienes previsto convertirte en proveedor, desde zylk.net queremos darte un par de consejos para que la transición al uso de factura electrónica sea lo más natural posible.

 

  1. Si todavía no dispones de un certificado, solicítalo en alguna de las Entidades de Certificación existentes (Izenpe, FNMT, Camerfirma...). Como ciudadanos todos disponemos del DNI electrónico, pero existen certificados de Entidad para las empresas y están disponibles tanto en formato tarjeta como en Token USB.

  1. Elijas la herramienta que elijas para generar tu factura electrónica, recuerda que el único formato que será aceptado es el facturae 3.2 y 3.2.1. El ministerio dispone de una herramienta gratuita a tal efecto pero existen otras que además de emitir facturas electrónicas ofrecen funcionalidades extra como por ejemplo Efaktur, que te permitirá conservar borradores de las facturas aún por emitir, generar estadísticas del estado de tus facturas (borrador, emitidas, rectificadas, etc), consultar el histórico de envíos realizados o hacer desgloses de IVA tanto en facturas enviadas como recibidas.

  1. Es tan importante emitir una factura como conservarla. La legislación vigente (Ley 58/2003 de 17 de Diciembre) exige su conservación por un período mínimo de 6 años, por lo que sistemas de gestión documental como Alfresco ECM son de gran ayuda cuando tratamos con este tipo de información en las organizaciones.

 

Si aún así la factura electrónica te sigue asustando, en zylk.net te ofrecemos varias opciones para que le pierdas el miedo. Como expertos en firma digital y factura electrónica podemos asesorarte y ayudarte a elegir la solución que más se adecúa a tu caso particular. Además, si ya tienes una solución de factura electrónica pero necesitas formación en firma digital para utilizar de forma adecuada tu herramienta, también podemos ayudarte.

Ponte en contacto con nosotros por teléfono en el 944 272 119 o por email en info@zylk.net y dinos qué podemos hacer por ti.

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Monitorizando el cluster de hadoop y kafka con Ganglia

Siguiendo con los artículos anteriores relacionados con los nuevos paradigmas del desarrollo, hemos montado en el laboratorio donde hacemos las pruebas, en zylk.net, un sistema de monitorización para tener métricas de los siguientes productos

  • Sistema operativo
  • HDFS
  • MAP&REDUCE (yarn)
  • Hbase
  • Kafka

Todos estos productos ya los hemos ido describiendo en anteriores entradas del blog y ahora lo que hemos hecho es agrupar todas las metrircas que los mismos producen y almacenarlas usando el siguiente producto (ganglia). Esto se puede hacer porque detrás de todos los productos java que estamos usando existe una librería java (yammer) que es capaz de recolectar las métricas definidas por los desarolladores y publicarlas en distintos formatos. En este caso en un formato válido para Ganglia. Con esto lo que tenemos son las métricas de los productos en una herramienta centralizada para poder explotarla.

 

El proceso en relativamente sencillo yo he seguido estos manuales

https://www.digitalocean.com/community/tutorials/introduction-to-ganglia-on-ubuntu-14-04 (manual general para configurar ganglia)

http://www.javacodegeeks.com/2013/04/ganglia-configuration-for-a-small-hadoop-cluster-and-some-troubleshooting.html (manual para configurar hadoop y hbase)

Para la parte de kafka he usado el siguiente plugin/librería

https://github.com/myfitnesspal/kafka-statsd-reporter

La configuración que he realizado tiene dos clusters (uno de servidores apache web y otro con los nodos del laboratorio de bigdata)

En el cluster de hadoop-zoo-services disponemos de todas las metricas que los desarrolladores han puesto a nuestra disposición, son más de 200 metricas relacionadas con los tres productos principales que son hdfs, hbase y kafka. Con estas metricas podemos ver el estado de lo nodos, el numero de tablas y regiones en hbase, el numero de mensajes procesados por segundo en una cola concreta de kafka... vamos mucha mucha información.

La configuración que hemos probado es la siguiente

  • Comunicación multi-cast entre los ganglia moniotors y el recolector de la información
  • Dos grupos/clusters para porbar el mutli-cluster en una sola intancia de ganglia

Lo idea dado el numero de servicios y metricas que los productos aportan sería montar una representación lógica por servicio y así agrupar las metricas por servicio, por ejemplo

  • Kafka
  • HDFS
  • HBase

Ya que si se agrupa en estructura física como lo hemos montado ahora, son demasiadas métricas para cada nodo del cluster y no es fácil encontara la información relacionada.

Una tema que nos quedaría pendiente es integrar todo esto con el modelo de desarrollo para ello, siguiendo lo que hacen los productos que hemos analizado bastaría con incluir la libería yammer a nuestros desarrollos para poder obtener las metricas en el formato que ganglias las entienda y poder así tener también monitorizado el estado de nuestros desarrollos, ya sean desarrollo basados en bigdata, ya sean desarrollo normale de java web.

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

La Navidad también ha llegado a zylk

Todos los que trabajamos en zylk queremos desearte una Feliz Navidad y un Próspero Año Nuevo y además, agradecerte como cada año que hayas confiado en nosotros para hacer del software libre y las tecnologías abiertas uno de los pilares que hacen de tu organización un sistema eficiente y competitivo.
 
Disfruta de estas fiestas con la gente importante para tí y coge fuerzas para los retos que nos esperan en  este nuevo año 2015.
 

Zorionak eta Urte Berri On!

 

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude

Configurando liferay para que deje las trazas en colas de kafka

Siguiendo con las pruebas de los productos mencionados en anteriores post, una de las cosas más o menos sencillas que se puede hacer es, configurar los distintos productos que usan log4j para añadirles un nuevo appender de tipo cola de kafka. El propio proyecto de kafka trae un appender para log4j

Para hacer uso del mismo basta con hacer tres cosas

  1. Añadir los siguientes jars al ROOT/WEB-INF/lib de liferay
    1. kafka_2.10-0.8.1.1.jar
    2. metrics-core-2.2.0.jar
    3. scala-library.jar
  2. Crear una cola (tipo topic) con las particiones y replicas que se quiera
    1. ./kafka-topics.sh --create --zookeeper lug000.zylk.net:2181 --replication-factor 3 --partition 3 --topic test-3-3
  3. Añadir la logger de liferay el appender nuevo y añadirlo como referencia

[...]

<appender name="KAFKA" class="kafka.producer.KafkaLog4jAppender">
 <param name="BrokerList" value="lug000.zylk.net:9092,lug002.zylk.ne:9092,lug004.zylk.net:9092" />
 <param name="Topic" value="test-1-1" />
 <param name="ProducerType" value="async" />
 <layout class="org.apache.log4j.EnhancedPatternLayout">
  <param name="ConversionPattern" value="%d{ABSOLUTE} %-5p [%t][%c{1}:%L] %m%n" />

 </layout>
</appender>

[...]

<root>
 <priority value="DEBUG" />
 <appender-ref ref="CONSOLE" />
 <appender-ref ref="FILE" />
 <appender-ref ref="KAFKA" />
</root>

 

Siguiendo estos tres sencillos pasos tenemos las trazas en la consola, en un fichero y en una cola de kafka. Ahora solo quedaría consumirla con algun consumer.

Evidentemente para ponerlo en producción habría que hacer muchas más pruebas y estresar el sistema para ver si funciona como se espera. Por ejemplo hemos detectado un problemilla que habría que solucionar y está relacionado con los retornos de carro (creemos) porque los mensajes que log4j manda a las colas de kafka de alguna manera pierden parte de la información si el mensaje tiene retornos de carro, por ejemplo perdemos el stackTrace (no sabemos si lo hace el publicador o el consumidor que estamos usando para ver el topic creado para las pruebas)

A continuación un pantallazo del consumer que trae por defecto kafka (./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test-1-1 --from-beginning) para ver los topics

Kategoriak: Sailkatugabeak | Komentarioak desgaituta daude