iemodel evaluate model
Der Befehl iemodel evaluate wertet ein Modell des Information Extraction-Moduls aus, das zuvor trainiert wurde.
Verwendung
iemodel evaluate model --n Modellname --t Testdateiname --o Ausgabedateiname --c Kategorieanzahl --d WahrOderFalschErforderlich | Argument | Beschreibung |
---|---|---|
Ja | --n modelName | Gibt den Namen und den Speicherort des Modells an, das Sie auswerten möchten. Die hier von Ihnen angegebenen Verzeichnispfade sind relativ zu dem Speicherort, an dem Sie die Administrationsumgebung ausführen. |
Ja | --t testFileName | Gibt den Namen und den Speicherort der Testdatei an, die für die Auswertung des Modells verwendet wird. |
Nein | --o outputFileName | Gibt den Namen und den Speicherort der Ausgabedatei an, in der die Auswertungsergebnisse gespeichert werden. |
Nein | --c categoryCount | Gibt die Anzahl an Kategorien in dem Modell an und muss ein numerischer Wert sein. Anmerkung: Gilt nur für das Textklassifizierungsmodell.
|
Nein | --d trueOrfalse | Gibt an, ob eine Tabelle mit einer entitätsbezogenen detaillierten Analyse angezeigt werden soll. Der Wert muss true oder false sein, wie folgt:
false . In der Tabelle Ergebnisse der Modellauswertung und der Konfusionsmatrix mit den zugehörigen Spalten wird die Anzahl pro Entität angezeigt. Anmerkung: Wenn der Befehl ohne dieses Argument oder mit dem Argumentwert false ausgeführt wird, werden die Tabelle Ergebnisse der Modellauswertung und die Konfusionsmatrix nicht angezeigt. Nur die Statistik der Modellauswertung wird angezeigt.
|
Ausgabe
- Statistik der Modellauswertung
- Nach Ausführen dieses Befehls wird diese Auswertungsstatistik in tabellarischem Format angezeigt:
- Genauigkeit: Dies ist eine Maßeinheit für Genauigkeit. Die Genauigkeit definiert das Verhältnis ordnungsgemäß identifizierter Tupel.
- Wiederaufruf: Dies ist eine Maßeinheit für die Vollständigkeit der Ergebnisse. Der Wiederaufruf kann als Anteil relevanter Instanzen definiert werden, die abgerufen werden.
- F1-Wert: Dies ist die Maßeinheit für die Genauigkeit eines Tests. Bei der Berechnung des F1-Wertes werden die Genauigkeit und der Wiederaufruf des Tests berücksichtigt. Sie kann als gewichteter Mittelwert von der Genauigkeit und dem Wiederaufruf interpretiert werden, wobei das beste Ergebnis des F1-Wertes der Wert 1 und das schlechteste der Wert 0 ist.
- Genauigkeit: Misst bei den Ergebnissen den Grad der Korrektheit. Sie definiert die Nähe des gemessenen Wertes zu dem bekannten Wert.
- Ergebnisse der Modellauswertung
- Wenn der Befehl mit dem Argument
--d true
ausgeführt wird, werden die Übereinstimmungsanzahlen aller Entitäten in tabellarischem Format angezeigt. Die Tabelle enthält folgende Spalten:- Anzahl Eingabe
- Die Häufigkeit der Vorkommen der Entität in den Eingabedaten.
- Anzahl Nichtübereinstimmungen
- Die Anzahl, wie oft der Entitätsvergleich keine Übereinstimmung ergab.
- Anzahl Übereinstimmungen
- Die Anzahl, wie oft der Entitätsvergleich eine Übereinstimmung ergab.
- Konfusionsmatrix
- Mit der Konfusionsmatrix (unten dargestellt) kann visualisiert werden, wie ein Algorithmus ausgeführt wird. Sie veranschaulicht die Leistung eines Klassifizierungsmodells.
Beispiel
Beispiel:
iemodel evaluate model --n MyModel --t C:\Spectrum\IEModels\ModelTestFile --o C:\Spectrum\IEModels\MyModelTestOutput --c 4 --d true- Wertet das Modell namens „MyModel“ aus
- Verwendet eine Testdatei namens „ModelTestFile“ am selben Speicherort
- Speichert die Ausgabe der Auswertung in einer Datei namens „MyModelTestOutput“
- Gibt eine Kategorieanzahl von 4 an
- Gibt an, dass eine detaillierte Analyse der Auswertung erforderlich ist