Verwenden Sie die Google Cloud Console, um die Modellleistung zu prüfen. Analysieren Sie Testfehler, um die Modellqualität iterativ zu verbessern, indem Sie Datenprobleme beheben.
Diese Anleitung umfasst mehrere Seiten:
Dataset zur Bildklassifizierung erstellen und Bilder importieren
Modellleistung bewerten und analysieren
Modell auf einem Endpunkt bereitstellen und eine Vorhersage senden
Auf jeder Seite wird davon ausgegangen, dass Sie die Anleitung auf den vorherigen Seiten des Leitfadens bereits ausgeführt haben.
1. Ergebnisse der AutoML-Modellbewertung verstehen
Nach Abschluss des Trainings wird Ihr Modell automatisch anhand der Testdatenaufteilung bewertet. Die entsprechenden Bewertungsergebnisse werden durch Klicken auf den Namen des Modells auf der Seite Model Registry oder Dataset angezeigt.
Von dort aus finden Sie die Messwerte, um die Leistung des Modells zu messen.
Eine ausführlichere Einführung in verschiedene Bewertungsmesswerte finden Sie im Abschnitt Modell bewerten, testen und bereitstellen.
2. Testergebnisse analysieren
Wenn Sie die Modellleistung weiter verbessern möchten, sollten Sie zuerst die Fehlerfälle untersuchen und die potenziellen Ursachen untersuchen. Auf der Bewertungsseite jeder Klasse werden detaillierte Testbilder der jeweiligen Klasse angezeigt, die als falsch negative, falsch positive und richtig positive Ergebnisse kategorisiert sind. Die Definition jeder Kategorie finden Sie im Abschnitt Modell bewerten, testen und bereitstellen.
Für jedes Bild unter jeder Kategorie können Sie die Vorhersagedetails weiter prüfen, indem Sie auf das Bild klicken und auf die detaillierten Analyseergebnisse zugreifen. Rechts auf der Seite wird der Bereich Ähnliche Bilder prüfen angezeigt. Dabei werden die ähnlichsten Stichproben aus dem Trainings-Dataset mit den im Merkmalsbereich gemessenen Entfernungen angezeigt.
Es gibt zwei Arten von Datenproblemen, die Sie eventuell beachten sollten:
Labelinkonsistenzen. Wenn ein visuell ähnliches Beispiel aus dem Trainings-Dataset andere Labels als das Testbeispiel hat, ist es möglich, dass eines davon falsch ist oder dass das mit dem geringfügige Unterschied mehr Daten benötigt, damit das Modell davon lernen kann, oder die aktuellen Klassenlabels sind nicht genau genug, um das angegebene Beispiel zu beschreiben. Durch die Überprüfung ähnlicher Bilder können Sie die Labelinformationen evtl. korrekt machen. Dazu korrigieren Sie entweder die Fehlerfälle oder schließen das problematische Beispiel aus dem Test-Dataset aus. Sie können das Label der Test- oder Trainingsbilder bequem im Bereich Ähnliche Bilder prüfen auf derselben Seite ändern.
Ausreißer Wenn ein Testbeispiel als Ausreißer markiert ist, ist es möglich, dass das Trainings-Dataset keine visuell ähnlichen Beispiele zum Trainieren des Modells enthält. Durch die Überprüfung ähnlicher Bilder aus dem Trainings-Dataset können Sie diese Beispiele ermitteln und ähnliche Bilder in das Trainings-Dataset aufnehmen, um die Modellleistung in diesen Fällen weiter zu verbessern.
Nächste Schritte
Wenn Sie mit der Modellleistung zufrieden sind, folgen Sie der nächsten Seite dieser Anleitung, um Ihr trainiertes AutoML-Modell für einen Endpunkt bereitzustellen und ein Bild zur Vorhersage an das Modell zu senden. Wenn Sie Korrekturen an den Daten vornehmen, trainieren Sie ein neues Modell mithilfe der Anleitung AutoML-Bildklassifizierungsmodell trainieren.