ビズリーチ「GPTモデルのレジュメ自動作成機能」を開発 東京大学マーケットデザインセンターと共同で、GPTツールの性能評価を発表

 株式会社ビズリーチ(東京・渋谷区、酒井 哲也 代表取締役社長)が運営する、転職サイト「ビズリーチ」は、新機能として「GPTモデルのレジュメ 自動作成機能」(以下、GPTツール)を開発した。GPTツールを活用することで、職務経歴書の内容を効率的に充実させられ、ビジネスパーソンと企業の質の高いマッチング機会の最大化を実現する。
 また、GPTツールの性能について、マッチング理論の第一人者である東京大学大学院経済学研究科教授兼東京大学マーケットデザインセンター(以下、UTMD)センター長の小島武仁氏とUTMDチームとの共同研究により検証した。その結果、GPTツールを使用して職務経歴書を作成すると、使用せずに作成するよりも質の高い職務経歴書を作成でき、さらにスカウト受信数も増えることがわかった。

 ビズリーチは、キャリアを主体的に考えるビジネスパーソンが小さな負荷で、簡単に、最適な内容の職務経歴書を完成できるようにGPTツールを開発した。ビズリーチに登録後、簡単な質問(職種、ポジション、業務のミッション、業務領域)に回答するだけで、業務内容を自動でスピーディーに作成できる。GPTツールは、職務経歴書自動作成時に、ビズリーチがこれまで蓄積してきたノウハウとデータを生かした独自のロジックで構成した指示を、OpenAI社の提供するGPTモデルに行っている。
 キーワード入力の際も、ビズリーチ上に蓄積された膨大なデータを基に会員に合った入力内容が推薦される。会員が推薦されたキーワードを選択あるいは入力するだけで、企業やヘッドハンターがスカウト送信の判断を行いやすい、内容が整理された業務内容を作成できる点が特徴。なお、この機能については特許出願中。

・利用方法 *現在は、アプリ版(iOS)のみの提供
1.業務内容の編集画面から機能の使用を選択
2.4つの質問に回答
3.回答内容を基に、AIが自動で業務内容の文を作成
4.出来上がった文を業務内容に挿入し、自身で編集後に保存

■検証結果
 UTMDとビズリーチは共同で、GPTツールの性能評価を行った。その結果、以下が確認できた。
【数値評価結果】
 GPTツールを使用し職務経歴書を更新した会員と使用せず更新した会員を比較したところ、GPTツールを使用し職務経歴書を更新した会員のほうが、平均で40%多くのスカウトを受け取る結果となった。
 また、GPTツールの使用者と非使用者の属性の違いを考慮したとしても、GPTツールを使用している会員が平均で40%〜46%多くのスカウトを受け取ることが明らかになった。この結果が偶然ではなく、ほぼ確実にGPTツールの使用がスカウトの数を増加させる影響があることが統計的に示された。

【文面評価結果】
 有識者による評点検証においても、GPTツールを用いた職務経歴書はほぼ全ての項目で平均スコアよりも大幅に高い評価を受けた。特に「職務経歴書の構成に対する評価」や、「問題解決能力の高さに対する評価」が著しく高まり、GPTツールを使用せずに職務経歴書を作成するよりも質の高い文章表現になるという結果になった。

検証方法
検証期間:
2023年
4月20日〜6月23日

  1. 【数値評価】
    ビズリーチのアプリ(iOS)において、会員にGPTツールの使用/不使用をランダムに割り当てるランダム化比較実験を実施し、スカウト受信数やその他の指標に与える影響を推定した。その際、GPTツールを使用する群と使用しない群の属性の違いを統制するため、傾向スコアを用いた二重頑健(doubly robust)推定法による平均処置効果の推定や、操作変数法を用いた局所平均処置効果の推定など、適切な統計処理を行った。
  2. 【文面評価】有識者によるレジュメ評点検証(スコアリング)
    キャリアコンサルタントの国家資格、コーチング資格を有するビズリーチのキャリアコンシェルジュに対し、GPTツールを使用して作成された職務経歴書と使用せずに作成された職務経歴書をどちらかわからない状態でランダムに割り当て、「必要な項目が不足なく含まれているか」「文法上のミスが多いか」「候補者と面接をしたいと思うか」などの19項目について評価を依頼し、その結果に対して統計分析を行った。数値評価と同様、GPTツール使用群と非使用群の属性の違いを統制し、全ての会員がGPTツールを使用した場合の平均処置効果を推定した。

みんなが私塾界!