発表

1A-096

人工知能による求人情報の職業興味(RIASEC)分類—IBM Watsonの自然言語分類器を用いた予備的検討—

[責任発表者] 鎌倉 哲史:1
[連名発表者] 松本 真作:1
1:労働政策研究・研修機構

目 的
ここ数年、求人求職のマッチングに人工知能(以下「AI」)を活用できないかという動きが国内外で盛んになっている。その基礎領域の1つに、人間による求人情報の分類をAIに代替させるという発想がある(松本, 2017)。そこで、本研究では基本的な職業の特性の1つといえるHollandの職業興味6領域(R:現実的、I:研究的、A:芸術的、S:社会的、E:企業的、C:慣習的、以下「RIASEC」)を題材に、人間の分類をAIがどの程度代替し得るか、IBM社が提供するWatson APIの1つである自然言語分類器(Natural Language Classifier、以下「NLC」)を用いて予備的に検討した。RIASECを題材とした理由は、AIが自動的にRIASECを分類できれば、求職者がRIASECで求人検索でき、また、求人求職のマッチングAIにも下位システムとして組み込みが期待できるためである。
方 法
機械学習のための教材データの準備
 ハローワークインターネットサービスを用いて、47都道府県+「海外」を12分割し、職業大分類11種を順次指定し検索(2017年1月26日実施)、最初に表示された求人情報をサンプリングした(12×11=132件)。各求人情報から「職種」と「仕事の内容」のテキストを抽出し、順序をランダム化した後、職業情報を30年超にわたって研究と実務の両面から扱ってきた専門家1名(以下「専門家」)がRIASECを判定した。2領域にまたがる場合は併記した。その結果、「A(芸術的)」の該当ケースが1件のみだったため、中分類「22_美術家、デザイナー、写真家、映像撮影者」、および「23_音楽家、舞台芸術家」を条件指定し、12の分割地域から2件ずつ、計24ケースを抽出、追加で判定を行った。最終的に、全156ケースに占める該当判定件数(2領域複合も各1カウント)は、「R」95、「I」24、「A」20、「S」56、「E」45、「C」19だった。教材データの平均文字数は115.6、標準偏差は49.5である。
機械学習の手続き
 研究の計画当初は、1つの分類器で6領域を判定する予定だった。しかし、上述の専門家から、2領域に同程度またがるケースも多いとの指摘があり、その場合、今回の教材ケース数では6(単一)+15(複合)=21パターンの一括判定は難しいと考えられた。そこで代替案として6つの分類器を作成し、領域別に該当可否を判定させる形で学習させることとした。
新規判定データの準備と判定の手続き
 教材データと同じ手続きで新たに156件の求人情報をサンプリングし(2017年2月13日実施)、専門家、ならびに学習済みの6分類器に判定を求めた。新規データの平均文字数は120.0、標準偏差は51.7である。その際、分類器の判定は表1のように各領域への「該当確率」として出力され、100%は「該当する」、50%は「判別不能」、0%は「該当しない」という判断を表すが、今回は便宜的に、該当確率が80%超の領域を「該当」、該当領域を全て併記したものを「分類結果」とした。
結 果
 該当判定件数、領域別の評価指標値を表2に示す。各評価指標値の算出方法と意味は表3を参照されたい。全領域で正解率は7割を超えており、特に「R」は再現率も適合率も高く、有効に判定できていた。また、「A」、「E」、「C」は再現率は低いものの、適合率は比較的高かった。一方、「I」や「C」はAIによる「該当」の判定が少なく、再現率が非常に低かった。なお、全ての領域を通して判定が一致しているケースは全体の21.8%、専門家の該当判定のうち少なくとも1領域をAIが言い当てているケースは全体の80.8%であった。
表2 新規データ(156ケース)を対象とした人間の専門家と
各分類器(AI)の該当判定件数と各種評価指標値
表3 各評価指標値の算出方法と意味
考 察
本研究から、わずか156件の教材データからでも、領域によってはAIが人間の求人情報の分類をある程度代替し得る可能性が示唆された。ただし本研究には、(1)専門家の判断の妥当性を検証していない(間違った「正解」が含まれている可能性がある)、(2)教材の量と質に改善の余地がある(「仕事の内容」の記述をより適切にできないか等)、(3)該当可否や一致率の判定・算出方法が最善か分からない(より妥当な方法があるかもしれない)、等の課題・制約がある。特に(2)の量的側面では、ビッグデータを教材とすれば「I」や「C」の判定精度も改善が期待でき、今後更なる検討が必要と考えられる。
引用文献
松本真作 (2017) 米国とEUの職業分類・職業情報 労働政策研究・研修機構(編) 官・民・諸外国の職業分類等の現状と比較(pp.95-119) JILPT資料シリーズNo.191

詳細検索