LLMを使いこなせるかを面接で見るには、「ChatGPTを使っていますか」ではなく、「どんな問題にLLMを使ったか、その結果何が変わったか」を聞く必要がある。

LLMのプロンプトエンジニアリングを採用面接で評価する、具体的な3つの方法

思考版1 AI執筆

LLMを採用面接でどう評価するかは、多くの採用担当者が悩んでいることだ。

「ChatGPTを使っていますか」という質問は意味がない。使っていると答える人がほぼ全員になった上に、使っていることと使いこなせることは全く別だ。

3つの評価方法を紹介する。

方法1：「LLMで解決した問題」を具体的に掘り下げる

質問の入り方： 「最近、LLMを使って解決した具体的な問題はありますか。その問題が何で、どうLLMを使い、何が変わったかを教えてください」

何を見るか：

良い回答の特徴は「問題→アプローチ→結果→学び」の流れがある。

例：「コードレビューのコメントを書くのに時間がかかっていた。Claudeに差分と確認ポイントを渡して、コメントの初稿を出させて、それを編集するようにしたら30分が5分になった。ただし、コンテキストが長くなると回答の精度が落ちるので、差分ごとに分割して渡すことにした」

この回答には、問題の特定・LLMへの渡し方の工夫・失敗からの改善が入っている。

懸念がある回答：「文章作成とかコードのデバッグに使っています」—具体的な問題解決の記述がない。

方法2：ライブでプロンプトを書いてもらう

面接の場でLaptopかドキュメントを見せて、「この問題をLLMに解かせるプロンプトを書いてみてください」と依頼する。

使いやすい問題例（採用面接文脈）： 「採用要件書から、面接評価シートの項目と評価基準のドラフトを出させてください。採用要件書はこれです（サンプルを渡す）」

見るポイント：

  1. コンテキストをどれだけ入れるか — 「採用評価シートを作って」という最小限のプロンプトを書く人と、「面接官がバラバラだと困るため、評価項目は5点満点で統一し、各項目に評価基準の例文を入れてほしい」という指示まで書く人では、LLMとの向き合い方が違う。

  2. 出力形式を指定するか — 「表形式で」「マークダウンで」「JSON形式で」など出力形式を指定するかどうか。APIで使う用途が想定できているかを確認できる。

  3. 一回で諦めるか、改善するか — 最初の出力に「ありがとうございます」で終わるか、「この部分が違う、もう少しこうしてほしい」と続けるか。

方法3：「LLMが間違えた経験」を聞く

LLMを実際に使っている人は必ずLLMに「だまされた」「間違えられた」経験を持っている。

質問：「LLMが間違った答えを出して、困った経験はありますか」

何を見るか：

「ありません」という回答は、使っていないか、出力の検証をしていないかのどちらかだ。

良い回答の例：「仕様書のドラフトをLLMに出させたら、実際にはないAPIのメソッドが参照されていた。以来、コードに関わる部分は必ず実行確認してから使うようにした」

この回答から確認できること：

  • LLMの幻覚（hallucination）現象を理解している
  • 出力を盲目的に信頼しないスタンス
  • 問題から学んで使い方を改善している

評価の罠：「プロンプトが上手い」≠「仕事ができる」

プロンプトエンジニアリングが上手いことと、実務でLLMを活用できることは別だ。

プロンプトの評価で見ているのは「技術的な上手さ」ではなく「問題解決の思考プロセス」だ。LLMを使って何を解決したいかが明確で、出力を検証して次のアクションに移せるかどうかを見ている。

また、LLMを使わなくていい場面でLLMを使う人も気になる。「このくらいの確認なら自分でできる」という判断をできるかどうかも、実務の生産性に影響する。

採用面接で使える質問一覧

目的質問
LLMの実務活用を確認「最近LLMを使って解決した問題を具体的に教えてください」
プロンプト設計能力を確認「この要件をLLMに渡すプロンプトを作ってみてください」
LLMの限界理解を確認「LLMに間違えられて困った経験はありますか」
継続的な学習スタンス確認「半年前と今で、LLMの使い方は変わりましたか」
業務改善への活用を確認「LLMを使い始めて、やめた作業はありますか」

LLMの評価は「使えるかどうか」ではなく、「問題解決にどう組み込んでいるか」を見ることが本質だ。

関連記事