| | Measure データタイプ | |
GeneXus Artificial Intelligence のコンテキストで、カスタムモデルについて、モデルを評価するための主な指標を表します。
- Score: Score, GeneXusAI
- Additional (コレクション) -- 追加の指標
- Key: VarChar(32)
- Value: Numeric(10.5)
- Local: Boolean
Score フィールドは、モデルタイプに基づく主な指標です (たとえば分類モデルでは F1 値)。Additional フィールドは、モデルが要件を満たしているかどうかの判断に使用できる一連の追加指標を示します。以下では、GeneXusAI やそのセマンティックで指標がローカルで計算される場合の追加フィールドについて説明します。
混同行列情報は、次のように Additional フィールドに表示されます:
| キー |
= ConfusionMatrix [ {true-class},{predicted-class} ] |
| 値 |
= {value} |
| |
|
ここで {true-class} はテストデータで定義されているクラス (またはラベル) で、{predicted-class} はトレーニングされたモデルで予測されたクラス (またはラベル) です。出力は、{true-class} が {predicted-class} であるとモデルが {value} 回予測することを意味します。
たとえば、ConfusionMatrix [ DOG,CAT ] キーが値 3 に関連付けられている場合、モデルは DOG が CAT であると 3 回予測することを意味します。
マクロ指標情報は、次のように Additional フィールドに表示されます:
| キー |
= {metric}@{threshold} |
| 値 |
= {value} |
| |
|
ここで {metric} (指標) は Accuracy (正解率)、Precision (適合率)、Recall (再現率)、FScore (F 値) のいずれかです。{threshold} (しきい値) は 000 ～ 100 の範囲の数値です。{value} は、各分類について、{threshold} 値を上回るすべての {metric} 値のマクロ指標 (平均値) です (しきい値を超えなかった場合は 0)。
たとえば、3 つの分類 (DOG、CAT、PARROT) があり、値 0.897 が F1Score@80 キーに関連付けられている場合、これは 80% (0.80) のしきい値を上回る、DOG、CAT、PARROT の F1 値の平均値が 0.897 であることを意味します。
- 追加指標の例は以下を参照してください。
- 利用しているクラウドプロバイダーが、モデルの評価指標を提供していない場合 (IBM など)、Local フィールドが True に設定され、Measure の結果がローカルで計算されました。ローカルでの評価を実行するには、モデルをデプロイ (つまりこのタスクを呼び出す前に Deploy プロシージャーを実行) する必要があります。これは、内部では、データセット (Model.Dataset フィールド) 内のテストデータごとに Predict プロシージャーが呼び出されるからです。
- 画像分類問題の主なスコアは F1 値 (しきい値を上回るすべての値の平均値) になります。
| AI タスク |
Evaluate プロシージャー |
| プラットフォーム |
Web (.NET、.NET Core、Java)、スマートデバイス (Android、iOS) |
このデータタイプは、GeneXus 16 Upgrade 6 以降で利用できます。
|
|
|
|
|