iemodel evaluate model

El comando iemodel evaluate evalúa un modelo del módulo Information Extraction que se ha capacitado previamente.

Uso

iemodel evaluate model --n modelName --t testFileName --o outputFileName --c categoryCount --d trueOrfalse
Requerido Argumento Descripción
Sí --n modelName Especifica el nombre y la ubicación del modelo que desea evaluar. Las rutas de acceso del directorio que especifique aquí es en relación con la ubicación donde ejecuta la Utilidad de administración.
Sí --t testFileName Especifica el nombre y la ubicación del archivo de prueba utilizado para evaluar el modelo.
No --o outputFileName Especifica el nombre y la ubicación del archivo de salida que guardará los resultados de la evaluación.
No --c categoryCount Especifica el número de categorías en el modelo; debe ser un valor numérico.
Nota: Válido solo para el modelo de clasificación de texto.
No --d trueOrfalse Especifica si se visualiza una tabla con análisis detallado con relación a la entidad; el valor debe ser true o false, como se muestra a continuación:
true
Se requieren resultados detallados de la evaluación.
false
No se requieren resultados detallados de la evaluación.
El valor predeterminado es false.

En la tabla Resultados de la evaluación del modelo, y en la Matriz de confusión con sus columnas, según se describe a continuación, aparecen los recuentos por entidad.

Nota: Si el comando se ejecuta sin este argumento o con el valor de argumento falso, la tabla Resultados de la evaluación del modelo y la Matriz de confusión no se muestran. Solo aparecen las Estadísticas de evaluación de modelo.

Salida

Estadísticas de evaluación de modelo
La ejecución de este comando muestra las siguientes estadísticas de la evaluación en formato tabular:
  • Precisión: es una medida de la exactitud. Precision define la proporción de tuplas identificadas correctamente.
  • Recuperación: es una medida de integridad de los resultados. La recuperación se puede definir como una fracción de instancias relevantes que se recupera.
  • Medida F1: es la medida de la exactitud de una prueba. El cálculo del puntaje de F1 considera la precisión y la recuperación de la prueba. Se puede interpretar como el promedio ponderado de precisión y recuperación, donde el puntaje de F1 alcanza el mejor valor en 1 y el peor en 0.
  • Exactitud: mide el nivel de corrección de los resultados. Define la cercanía del valor medido al valor conocido.
Resultados de evaluación de modelo
Si el comando se ejecuta con el argumento --d true, los recuentos de cruce de todas las entidades aparecen en formato tabular. Las columnas en la tabla son:
Recuento de entrada
La cantidad de ocurrencias de la entidad en los datos de entrada.
Recuento de coincidencia incorrecta
La cantidad de veces que hubo error en el cruce de la entidad.
Recuento de cruces
La cantidad de veces que el cruce de la entidad se hizo correctamente.
Matriz de confusión
La Matriz de confusión (mostrada abajo) permite visualizar el rendimiento de un algoritmo. En esta se ilustra el rendimiento de un modelo de clasificación.
La columna representa las instancias en una clase prevista, en tanto que la fila representa las instancias en una clase real. Estos son algunos términos relacionados con la matriz de confusión:
Real
La cantidad de ocurrencias de la entidad en la clase real.
Prevista
La cantidad de ocurrencias de la entidad en la clase prevista.
TP
Verdadero positivo: La cantidad de ocurrencias de entidad predichas como positivas y que resultaron ser realmente verdaderas.
TN
Verdadero negativo: La cantidad de ocurrencias de entidad predichas como negativas pero que resultaron ser verdaderas.
FP
Falso positivo: La cantidad de ocurrencias de entidad predichas como positivas pero que resultaron ser falsas.
FN
Falso negativo: La cantidad de ocurrencias de entidad predichas como negativas y que resultaron ser realmente falsas.

Ejemplo

Este ejemplo:
  • Evalúa el modelo llamado "MyModel"
  • Utiliza un archivo de prueba llamado "ModelTestFile" en la misma ubicación
  • Guarda el resultado de la evaluación en un archivo llamado "MyModelTestOutput"
  • Especifica un recuento de categoría de 4
  • Especifica que se requiere un análisis detallado de la evaluación.
iemodel evaluate model --n MyModel --t C:\Spectrum\IEModels\ModelTestFile --o C:\Spectrum\IEModels\MyModelTestOutput --c 4 --d true