軽量評価
登録済みのコミュニティユーザーおよびすべての有料プランユーザー向け
軽量評価機能は、登録済みのコミュニティユーザーおよびすべての有料プランをご利用中のユーザーがご利用いただけます。
軽量評価とは？
ワークフローを構築する際、通常は少量のサンプルを使ってテストを行い、そのパフォーマンスを確認・改善したいと考えるでしょう。この開発段階では、各サンプルに対するワークフローの出力結果を確認するだけで十分な場合が多く、正式なスコアリングやメトリクスを設定する手間に対して、得られるメリットがまだ見合わないことが多いです。
軽量評価では、テストデータセット内のサンプルを1つずつワークフローに渡し、その出力をデータセット内に書き戻すことができます。その後、これらの出力を並べて確認し、（存在する場合は）期待される出力と直感的に比較できます。
動作の仕組み
Google Sheets の認証情報について
評価では、データテーブルまたは Google Sheets を使用してテストデータセットを保存します。Google Sheets をデータセットのソースとして使用するには、Google Sheets の認証情報を設定してください。
軽量評価はワークフローの「エディタ」タブ内で実行されますが、その設定方法については「評価」タブで確認できます。
手順：
- データセットを作成する
- データセットをワークフローに接続する
- ワークフローの出力をデータセットに書き戻す
- 評価を実行する
以下の説明では、入力されたサポートチケットを分類・優先度付けするサンプルワークフローを例に説明します。
1. データセットの作成
ワークフロー用の少量のサンプルを準備するために、データテーブルまたは Google Sheets を作成します。データセットには以下の列を含める必要があります：
- ワークフローの入力
- （任意）期待される（正しい）ワークフロー出力
- 実際の出力
「実際の出力」列は空欄のままにしておき、評価中に自動的に埋められるようにします。
サポートチケット分類ワークフローのサンプルデータセット。
2. データセットをワークフローに接続する
評価トリガーを挿入してデータセットを読み込む
評価トリガーが実行されるたびに、データセットの1行を表す単一のデータアイテムが出力されます。
評価トリガーの左側にある「すべて評価」ボタンをクリックすると、データセットの各行に対して順番にワークフローが複数回実行されます。これは評価トリガー特有の動作です。
通常、トリガーを接続する際は一度だけ実行したい場合が多いでしょう。その場合は、以下のいずれかの方法で実現できます：
- トリガーの「最大処理行数」を 1 に設定する
- 「すべて評価」ボタンではなく、トリガー上の「ノードを実行」ボタンをクリックする
トリガーをワークフローに接続する
次に、評価トリガーをワークフローの残りの部分に接続し、その出力データを参照できるようにします。少なくとも、ワークフローの後続ステップでデータセットの入力列を使用する必要があります。
ワークフロー内に複数のトリガーがある場合は、各ブランチを結合する必要があります。
評価トリガーを追加・接続したサポートチケット分類ワークフロー。
3. ワークフローの出力をデータセットに書き戻す
評価実行時にデータセットの出力列を埋めるには、以下の操作を行います：
- 評価ノードの「出力の設定（Set Output）」アクションを挿入する
- ワークフロー内で評価対象の出力が生成された後の位置に接続する
- ノードのパラメータで、ワークフローの出力を適切なデータセット列にマッピングする
「出力の設定」ノードを追加・接続したサポートチケット分類ワークフロー。
4. 評価の実行
評価トリガーの左側にある 「ワークフローを実行」 ボタンをクリックします。ワークフローはデータセットの各行に対して複数回実行されます：
データテーブルまたは Google Sheets で各実行の出力結果を確認できます。必要に応じて、ワークフローの「実行ログ」タブから詳細を確認することも可能です。
サンプル数が多くなってきた場合は、パフォーマンスを数値的に把握するために、メトリクスに基づく評価をご検討ください。また、「ヒントとよくある質問」もご参照ください。