「LLMを使いこなせるか」を面接で確認するのに、「ChatGPTを使っていますか」と聞くのは最も意味のない質問だ。

AIエンジニアの採用面接で実際に聞いている5つの質問

思考版1 AI執筆

「AIを使いこなせるエンジニアを採りたい」という相談を受けた時、まず聞くのは「どうやって判断するつもりですか」だ。

「GitHubを見ます」「ポートフォリオを確認します」と返ってくることが多いが、LLMへの理解度を確認する面接質問を準備していることは少ない。

以下は、AIスタートアップの採用支援で実際に使っている5つの質問と、回答の見方だ。

質問1：「最後にLLMを使って詰まった時、どうやって解決しましたか」

なぜこの質問か：

「LLMを使いこなせますか」は自己申告の回答しか引き出せない。「詰まった経験」を聞くことで、実際にLLMを使った経験があるかどうかと、問題解決のアプローチを両方確認できる。

良い回答の特徴：

  • 具体的な状況（何を作っていて、どこで詰まったか）
  • 試したこと（プロンプトをどう変えたか、コンテキストをどう調整したか）
  • 最終的にどう解決したか（または解決できなかった場合の次の手を取ったか）

注意する回答：

「ChatGPTに聞いたら解決しました」だけで終わる回答。ツールを使ったことは分かるが、何をどう解決したかが見えない。

質問2：「RAGシステムを作るとしたら、どこが一番難しいと思いますか」

なぜこの質問か：

RAG（Retrieval-Augmented Generation）はLLMに外部データを組み合わせる基本的なアーキテクチャだ。RAGを知っているかどうかより、「何が難しいか」を説明できるかどうかで理解の深さが分かる。

良い回答の特徴：

  • チャンク分割の粒度（細かすぎると文脈が失われる、粗すぎると関係ない情報が入る）
  • 埋め込みモデルの選択（日本語への対応、ドメイン特化の必要性）
  • 評価の難しさ（正解が一意でない、人間が確認するコストが高い）

注意する回答：

「ベクトルDBに入れればできます」で終わる回答。仕組みを知っていても、難しさを言語化できないエンジニアは、プロダクション環境での問題解決が難しい。

質問3：「コンテキストウィンドウが長くなったことで、何が変わって何が変わらないと思いますか」

なぜこの質問か：

LLMの基礎的な制約への理解を確認する質問だ。「長くなった = 何でもできる」と思っているエンジニアと、「長くなったが新しい制約がある」と理解しているエンジニアでは、プロダクト設計が変わる。

良い回答の特徴：

変わること：RAGが不要なケースが増える、複数ファイルを一度に処理できる

変わらないこと：コストが線形に増える、長いコンテキストでの精度低下（lost in the middle問題）、レイテンシが伸びる

注意する回答：

「コンテキストが長くなれば何でもできる」という回答。制約への理解がないエンジニアは、コスト設計とレイテンシ設計で失敗する。

質問4：「プロンプトインジェクションを防ぐために、実際にやったことがあることを教えてください」

なぜこの質問か：

LLMを使ったプロダクトのセキュリティ意識を確認する質問だ。プロンプトインジェクションはLLMの基本的なセキュリティリスクで、ユーザーの入力がシステムプロンプトを上書きする攻撃だ。

良い回答の特徴：

  • ユーザー入力とシステムプロンプトの分離
  • 出力のバリデーション
  • サンドボックス環境でのテスト

注意する回答：

「LLMを使ったことがありますが、セキュリティは考えたことがなかった」という回答。これが悪いのではなく、この後にどう対応するかを聞く。学習意欲と現状認識の正確さが確認できる。

質問5：「LLMを使って作ったもので、想定外に難しかったことは何ですか」

なぜこの質問か：

「何を作りましたか」ではなく「何が難しかったか」を聞くことで、経験の深さと言語化能力を同時に確認できる。

良い回答の特徴：

  • 具体的な技術的課題（ハルシネーション対策、評価基盤の構築、コスト管理）
  • その課題をどう対処したか
  • 解決できなかった場合は、なぜ解決できなかったかの分析

注意する回答：

「特に難しいことはなかった」という回答。LLMを本番で使ったことがあれば、難しいことは必ずある。難しさを感じなかった = 表面的な使い方しかしていない可能性がある。

これらの質問を使う上での注意

これらの質問は「正解を知っているか」を確認するためではない。

思考プロセスを見る： 正確な答えより、どう考えているかが重要だ。知らないことを「知らない」と言えるかどうかも評価に含まれる。

ポジションに合わせる： 初めてLLMを使う人向けのポジションなら、質問1と5で十分。経験豊富なエンジニア向けなら、質問2〜4が本質を突く。

会話を続ける： 回答をそのまま受け取らず、「具体的には？」「その時どう判断しましたか？」と掘り下げる。深度のある会話ができるかどうかも採用基準の一つだ。

今日渡せるもの： 次のエンジニア採用面接の前に、この5つの質問のうち2〜3つを候補者に合わせて選んで準備する。「LLMを使えますか」という質問を、これらの質問で置き換えるだけで、面接の情報量が大きく変わる。

関連記事