Optimización de Write to DB (Escritura en base de datos)

De forma predeterminada, la etapa Write to DB envía la información después de que se inserta cada fila en la tabla. Sin embargo, para mejorar el rendimiento active la opción Confirmación de lote. Cuando se activa esta opción, se realiza una confirmación después de un número especificado de registros. Según la base de datos, esta opción puede mejorar significativamente el rendimiento de escritura.

Al seleccionar el tamaño de lote, tenga en cuenta lo siguiente:

• Data arrival rate to Write To DB stage (Velocidad de llegada de los datos a la etapa Write To DB): Si los datos llegan a un ritmo más lento de lo que puede procesar la base de datos, entonces la modificación del tamaño del lote no mejorará el rendimiento general del flujo de datos. Por ejemplo, es posible que los flujos de datos con validación de direcciones o geocodificación no mejoren el rendimiento si se aumenta el tamaño del lote.
• Network traffic (Tráfico de la red): En el caso de redes lentas, el aumento del lote a un tamaño mediano (de 1000 a 10.000) mejora el rendimiento.
• Database load and/or processing speed (Velocidad de procesamiento o carga de la base de datos): En el caso de las bases de datos que tienen una gran capacidad de procesamiento, el aumento del tamaño del lote mejorará el rendimiento.
• Multiple runtime instances (Utilización de múltiples instancias): Si utiliza múltiples instancias de ejecución de la etapa Write to DB, los lotes de gran tamaño consumirán mucha memoria, por lo tanto, es recomendable usar un tamaño pequeño o mediano (de 100 a 10.000).
• Database roll backs (Reversión de la base de datos): Cada vez que falla una instrucción, todo el lote se revierte. Mientras más grande sea el tamaño del lote, más tiempo tardará en revertirse.