こんにちは、TECH Street編集部です！
この記事では、2026年5月12日（火）に開催した「AIプロダクト何をもって成功とする？評価設計と価値検証のリアル」の登壇者の発表内容の紹介と、イベント中に回答しきれなかったQ&Aを記載しています。
登壇者はこちらの方々！
田中志樹
パーソルキャリア株式会社
カスタマープロダクト本部
ゼネラルマネジャー
日系電機メーカーのISカンパニーに新卒入社。2014年よりリクルートキャリア(現: 株式会社リクルート)にて、中途転職領域のWEBサービスデザインに従事。その後、電通デジタルにて、大手通信キャリア様のDX支援コンサルタント、楽天にて、ECならびにポイント領域におけるプロダクトマネージャー職を経験。 直近では組織開発や企業DX戦略の立案、生成 AI 活用、UX やデザイン思考による０→1 フェーズでのサービス設計に注力しており、2021年10月からは鉄道・不動産事業会社における内製開発組織の立ち上げに参画。2024年7月より現職にて、PM組織強化やプロダクト戦略の策定/推進に従事。
渡部愛美
パーソルキャリア株式会社
カスタマープロダクト本部
リードディレクター
2020年より株式会社IBJにて婚活パーティー集客サイト・アプリのディレクターとしてマーケから申し込みCVRの改善、業務ツールの改修まで幅広く経験。2023年よりパーソルキャリア株式会社にてdodaの求人紹介サービスにおける応募・決定増加をKPIとしたプロジェクトに携わる。直近ではdodaにおけるAIエージェントプロジェクトのプロジェクトリーダーとして中長期的なユーザー体験設計などを担当。
鳥居 俊介
パーソルキャリア株式会社
クライアントプロダクト本部
プロデューサー
2018年パーソルキャリア入社。Webディレクター／PdMとして、スクラムチーム運営やプロジェクトマネジメントを経験。人材業界歴は10年以上。現在は「dodaダイレクト」にて、AI・LLMを活用した機能開発のPOとして、実装の推進や価値判断に取り組んでいる。プライベートではレコードコレクター／DJとして活動。日本ではまだ十分に紹介されていないブラジル北東部音楽〈Forro（フォホー）〉の研究・紹介に力を注ぎ、2026年4月にディスクガイド(※)を刊行予定。あわせて、1970年代日本ジャズの未発表音源の発掘にも取り組んでいる。
そのPoC、何を検証したつもりでしたか？ AIプロダクトの価値検証で陥った落とし穴
正解のないAIプロダクトをどう導くか？ 『doda』が挑む、ユーザーの『本音』を構造化する評価設計と検証のリアル
Q&Aコーナー
（Q）パーソルでのAI開発において、規約や規定はどの程度ありますか？バンバン自由にAIドリブン開発とはいかない感じですか？それとも比較的自由に進めたりPoCできる感じですか？
鳥居：法務やコンプライアンスを担当する部署があり、AI開発に関しても「どのような利用が可能か」「実施してよい範囲はどこまでか」といった観点でチェックを行う体制があります。そのため、完全に自由な形で進めるというよりは、一定のルールやガバナンスのもとで、PoCや開発を進めていく形になります。
（Q）PoCでここは本当は見ておきたかった、見ておくべきだったと思うポイントはありましたか？
鳥居：「AIの回答が期待値に沿っているか」を最も重視していました。「有用性」が重要なポイントです。
（Q）3つの価値とPoC検証、これはどのように策定されましたか？専門の部署でですか？それとも開発部隊が決めていきましたか？それとも外部コンサルと作りましたか？参考までにお聞きしたいです。
鳥居：厳密に設計していたというよりも、実際に検証を進める中で整理・定義していった形です。自部署内で議論しながら、現場に合った指標や評価軸を決めていきました。
（Q）AIシステム価値のスライドで質問です。モデルABCと記載されていましたが、実際にも3種類の比較でしたか
鳥居：実際には、3種類だけではなく、さらに多くのモデルを比較検証していました。また、同じモデルであってもバージョン違いが存在するため、それも踏まえて比較しながら評価を進めていました。
（Q）AIシステムの品質指標はどのような基準で定義していますか？基準値がないと合否の判断ができないと思いますが。
鳥居：私も色んな意見を聞いてみたいところですが。定性的なヒアリングで用いられる評価手法をベースに設計していました。具体的には、5段階評価を採用し、それぞれの評価に対して明確な基準やルールを定義しています。実際に利用した人に対して、「体験としてどうだったか」を評価してもらい、その結果をもとに品質を判断していました。どちらかというと、ユーザー体験に近い観点を重視した評価設計だったと思います。例えば、「2」の評価であれば、まだ世の中に出せる品質ではないと判断し、「まずは3を目指す」といった形で、段階的な目標値を設定していました。
（Q）PoCはどのような体制で行いましたか？
鳥居：今回のPoCは、まず既存のスクラムチームを中心に進めていました。「新しい技術としてLLMを活用していこう」という方針のもと、普段から開発を行っているメンバーで取り組みをスタートした形です。また、定性的な評価や、実際のユーザーに近い立場の人を巻き込んで検証することについては、もともと組織文化として根付いていました。そのため、PoCにおいても自然な形でユーザー視点を取り入れながら進められる体制が整っていたと思います。
（Q）体制や、他の組織との横断部署の有無を教えてください
鳥居：最近は、AIを利用したプロダクト開発を専門的に行っている部署と協力していたりもします。
渡部：各プロダクトやサービスを担当する企画・開発者が開発していることが多いですが、横断的にサイエンス組織を巻き込んで実装したり検証したりすることもあります。
（Q）どの機能をAI化するかはどうやって決めましたか？
鳥居：まず「AIが得意な領域はどこか」という観点があると思います。例えば、大量の情報を処理するような業務は、AIとの相性が良いと考えています。そのうえで、人が担っているタスクの量や負荷の大きさを整理し、AI化することでどれだけ業務や体験に変化を生み出せるかを基準に検討していました。
渡部：UX調査アンケートにて、転職活動の中で「どのタイミングで人のサポートを必要と感じるか」といった点をヒアリングしました。その結果をもとに、各キャリアアドバイザーのタスクに対してAIが有効に機能するかを検証しながら、AI化する領域を見極めていきました。
（Q）AIの返答の正解データの作成と、期待・期待外の定義はどのようにやったのでしょう？（自然言語なので評価が難しそう・・
鳥居：正解データの作成は自然言語で回答させない場合に用いていました。自然言語回答の場合の、期待・期待外の定義は定性が強くて、例えば「AI生成と比べて成果物の品質がXXという観点で向上しているか」という問いを複数人に投げかけ（ユーザーテストの中で問いかけて）、向上していれば期待、向上していない（変わらない）場合は期待外として評価していました。
（Q）AIプロダクトの導入効果としてビジネス価値、プロダクト価値をABテスト等で評価したりしたのでしょうか？ABテストできず、導入前と後で比較して、環境変化も含んだ効果しか見れないことが多いような気がします。
鳥居：導入前後の中でも、
導入前 VS 導入後（AI機能利用有）
導入前 VS 導入後（AI機能利用無し）
という見方で切り分けることは行っています。
ただ、上記だけでは利用意向が高い（元々効果が高い）企業がAI機能利用有に入ってしまう可能性があるので、そのような事が起こっていないか？もう少し細かいセグメントで切ってもAI機能有群がビジネス価値に貢献しているか？を切り分けて評価しています。
渡部：主に効果最大化したいユーザーをセグメントし、その中でAI機能有無でABテストを実施。テストユーザーのAI機能利用後の行動傾向やCVRをオリジナルユーザーと比較し検証することが多いです。AI機能がトリガーになったのかどうかは、AI機能利用者のAI機能利用完了率や課題達成率などを確認します。
（Q）AIに関するPOCの成果物（アウトプット）一覧があればぜひ見てみたいです内容は公開が難しいと思うので、項目だけでも！
鳥居：PoCを通じて、本開発に進めるかどうか？を評価していました。具体的には下記を定義し（どのように定義したのか？評価して決めたのか？を説明し）、定義した内容で今回の企画が実現可能であることを報告し、本番開発に進むかをジャッジしていました。
- ワークフローの中でAI,LLMを利用する部分（逆にAI,LLMを利用しない部分）の定義、結論だし
- 利用するモデルの結論だし
- プロンプトチェイニングの構成
（Q）AIを使うPoCする際にプロンプトをどういう書き方をするのかパターンが数限りなくある気がします。どういった基準でプロンプトのパターンを決めましたか？
鳥居：ここは正直決まっていませんでした。1stepで上手くいかない場合は2stepに分けてみる、ぐらいのルール感で実施していました。Step分割により回答トークン数が倍増するため、費用部分の評価に影響する部分をチェックしていました。
渡部：ベースのプロンプトを作成したのち、手元のAIチャットに何度か投げて、よりイメージ通りの返答が返ってくるように調整する作業をディレクター内で行いました。問題がなければ検証し、モデルのアップデートや検証結果に基づき改善していく前提で進めていました。
（Q）AIを使うべき機能か否かの判断はどのようにされてますでしょうか？なんでもAIになってしまいがちですが、意外とAIじゃなくてもよいのか？と迷うことが多いです。
鳥居：いくつか判断軸はあると思うのですが、AIが得意な部分（自然言語の長文読解）を評価する。AIは回答のブレがあるため、そのブレが許容出来ない部分はAIを使わない評価をするということをしていました。AIじゃなくても良い部分はAIを使わないことは気を付けていました。
渡部：鳥居さんの回答とほぼ同じですが、追加で、人間が提供するサービスレベルではなくても、一定のクオリティを求めるユーザーもいると想定し（自分で活動したい方やAIリテラシーが高い方など）に向けて、AI機能として提供を検討していく必要はあるかなと思っています。
（Q）婚活サービスも人材系サービスも最近生成AIの台頭でガラっと変わりましたか？
渡部：業務活用の面でいうと、結構進んでいると思います。一方で、コンプライアンスの観点から、あらゆる情報を自由にAIへ投入できるわけではなく、利用には一定のルールや制約があります。その中で、例えばDifyやMicrosoft Copilotなどのツールも活用しながら、AIを前提とした新しい企画や取り組みを進めています。
（Q）担当サービスが異なる場合でも、検証の仕組みは同じ基準で社内統一されてやられているのですか？
渡部：別々に行っています。サービスごとにKPIや提供している機能、ユーザー体験が異なるため、それぞれの特性に合わせて独自の評価・検証を進めている形です。一方で、会社全体としては、AIプロダクトを今後どのように提供・展開していくかといった観点で、横断的に整理・検討していく動きも並行して進んでいます。
（Q）対外的にAIの機能を展開されているかと思うのですが、皆さんがご自身の業務改善のためにAIの機能・プロダクトを利用する、となった場合に、外せないポイントはなんでしょうか？皆さんがユーザー側になった場合、どんなことが気になるのか、主観的な評価基準もお聞きしたいです。
田中：個人的にかなり日常的にAIを触っていますが、OpenAI や Anthropic の Claude のような汎用AIは、ユーザー側にカスタマイズの自由度が委ねられている部分が大きいと感じています。そのため、「どこまで柔軟に組み込めるか」「既存の業務フローにどう適応できるか」といった自由度は、非常に気になるポイントです。業務改善という点でいうと、単体機能の性能だけではなく、エコシステム全体としてどれだけ柔軟に連携できるか、そして今後それをどうサービスとして成熟させていくかが重要になると考えていて、気になるポイントです。
渡部：AIの品質自体は日々向上していると感じていますし、特に画像生成などは非常に高いレベルに到達していると思います。ただ、単にAIを使えるだけではなく、それぞれの機能がスムーズにつながり、例えば転職活動全体のフローが自然に支援されることで、体験そのものが良くなっていくことが重要だと考えています。そのため、「個別機能の性能」だけでなく、「一連の体験としてどれだけ自然に連携し、ユーザー価値につながるか」は、外せないポイントだと思っています。
（Q）やはり職務内容をLLMが生成、要約していましたか。面接する立場なのですが、最近、経歴書はやたらきれいなのに、被面接者がその通り話せないというケースが多いような気がする。
田中：私たちとしても、現在の状況を良い状態だとは考えていません。また、サービス側として、求職者の職務経歴を書き換えるようなことは行っておらず、そのような介入も法令上認められていません。一方で、求職者自身のAIの使い方によって、内容と実際の説明力にギャップが生まれているケースはあると認識しており、提供しているサービスの改善点もまだ多くありますので、それらについては議論しているところです。
（Q）実際にAIを組み込んで、その結果の費用対効果はどの程度出ているのでしょう？
渡部：実際にAIを組み込む際には、「どの程度ユーザーに利用されるか」も含めて、複数のステップを踏みながら検証を行っています。そのうえで、一定の効果が見込めると判断した段階でリリースしています。一方で、すべてをAIに任せると、かえって効果が下がる領域があることも認識しています。そのため、単純な自動化だけを見るのではなく、さまざまな観点から効果を評価する必要があると考えています。私たちとしても、「完全にAIへ置き換える」ことを目指しているわけではありません。例えば、AIが初期対応やサポートを行ったうえで、最終的にはキャリアカウンセラーやスカウト担当へ自然にバトンタッチするなど、人とAIが役割分担しながら連携する形を重視しています。
（Q）difyはあくまでプロトタイプ目的での活用ですか？
渡部：はい、そうです。現状はプロトタイプ検証目的で使っています。ただ今後はdifyを活用したミニマムリリースは可能性としてはあるかもしれません。
（Q）AIを使ったペルソナを作ることはよくあると思いますが、現場の人とのヒアリングの体験で得られる中で一番違うものは何でしたか
田中：UXリサーチの観点でいうと、現場の人へのヒアリングでは、業界に長く関わっているからこその知識や感覚が大きいと感じています。ベテランのプランナーが使う場合だと、新しい発見となるような回答は返ってきません。仮想ペルソナだけで十分とは言えず、実際の現場でのヒアリングや人から得られる情報には、まだ大きな価値があると感じています。
（Q）5段階評価の結果として、AIならではの傾向はでてきましたか？
渡部：当たり前ではありますが、「正確性」に重きを置いてプロンプトを調整すると、生成文章は固く、事実をただ並べ述べるだけの内容になります。一定「読んでいて楽しい」「自分のために語っている」と感じる文章を求める場合は、正確性の低下はトレードオフになる前提でモジュールによってどこに重きを置くか考えて評価するべきだと思います。
（Q）モジュール価値到達率の仮説に関して、今後、実データベースにモデル検証されていくのでしょうか？ 検証されたモデルの開示は今後ありますでしょうか？
渡部：doda内のAIプロダクト検証にて活用していく予定（いる）です。検証結果として効果が良ければ全展開しますが、すべてを開示することはないかと思います。
（Q）AIモデルの評価する検証があることは理解しましたが、AIのワークフローを検証する評価指標などはございますでしょうか？
鳥居：AIを組み込んだワークフロー全体の検証にも取り組もうとしている段階です。特に、ワークフローのどの工程でユーザーがつまずいているのかを把握できるよう、各ポイントで計測できる仕組みを整備しようとしています。最終的には、「ユーザーが目的に到達できなかった要因はどこにあるのか」を可視化し、ボトルネックを特定できる状態を目指しています。
田中：ビジネス上の観点では、そこからどのような価値が生み出されているかを重視して評価しています。また、単純に結果だけを見るのではなく、「何がその成果につながったのか」という因果関係の部分を、できるだけ正しく判断する必要があると考えています。
