ツカエルカでは、「そのAI、仕事で本当に使えるか。」を判断するため、実際にAIツールを使用して検証します。
単純な機能数や文字の一致率だけではなく、間違いが実際の仕事にどの程度影響するかを重視して評価します。
1．できる限り同じ条件で比較する
複数のAIツールを比較する場合は、できる限り条件をそろえます。
たとえば文字起こしAIの比較では、同じ音声ファイルを各サービスに読み込ませます。
サービスごとに音声を録り直したり、一部だけ音質を改善したりすることはありません。
2．修正前の結果を確認する
文字起こしなどの検証では、AIが出力した修正前の結果を確認します。
人間が誤字や数字を修正したあとでは、AIそのものの精度を判断できないためです。
必要に応じて、実際の出力例も記事内で掲載します。
3．「何文字違うか」だけでは評価しない
ツカエルカでは、文字の違いと、意味の違いを分けて考えます。
たとえば、
「287件」→「二百八十七件」
であれば、表記は違っても意味は同じです。
一方、
「123件」→「23件」
では、100件の差が生まれます。
仕事では後者のほうがはるかに大きな問題になるため、単純な文字一致率だけではなく、仕事への影響を重視します。
4．間違いを4段階で考える
検証では、間違いや表記の違いを、原則として次のように分類します。
Level 0：表記の違い
意味が同じで、仕事への影響がないもの。
Level 1：軽微な違い
句読点、スペース、大文字・小文字など、実務への影響がほとんどないもの。
Level 2：確認が必要な間違い
固有名詞、サービス名、専門用語など、人による確認や修正が必要になるもの。
Level 3：仕事に影響する重大な間違い
金額、数量、日付、締切、担当者、否定表現、訂正後の情報など、間違えることで実際の業務に影響する可能性が高いもの。
すべての検証で必ずこの4段階を機械的に点数化するわけではありません。ツールや検証内容に応じて、評価項目は調整します。
5．途中の「訂正」も確認する
実際の会議や会話では、
「9月28日……ではなく、9月30日です」
のように、途中で内容を訂正することがあります。
そのため、単語や数字を認識できるかだけでなく、最終的に正しい情報を残せるかも確認します。
6．検証条件を明らかにする
結果を掲載する際は、可能な範囲で以下のような条件を明記します。
使用したサービス・プラン、テスト時期、音声や素材の条件、設定、比較方法などです。
AIサービスは頻繁にアップデートされるため、記事掲載後に精度や機能、料金が変わる可能性があります。
7．1回のテストで絶対評価しない
1回のテストで良い結果が出たからといって、
「このAIが常に一番正確」
とは判断しません。
静かな環境、雑音のある環境、複数人の会話、専門用語、数字の多い音声など、条件が変われば結果も変わる可能性があります。
ツカエルカでは検証を積み重ね、その時点で確認できた事実から判断します。
8．広告報酬と評価を分ける
ツカエルカでは、一部の記事でアフィリエイトプログラムを利用します。
紹介したサービスへの申し込みなどによって報酬を受け取る場合がありますが、報酬の有無によって検証結果や評価を変更することはありません。
良かった点だけではなく、実際の検証で確認できた失敗や注意点も掲載します。