自然言語処理活用: 4週間 概念実証

アバナードは、最新のビジネスにおける要請を背景に、自然言語処理のもたらす可能性をお客様に実感していただくべく、Avanade Insight Discoveryというソリューションを開発しています。

《ビジネス的背景》 現在ビジネスにおいて発生するデータの約80％が、非構造化データであると言われています。しかし、その多くがビジネスにおいて有効活用できていないか、活用するために多くのコストを支払っています。また、これまでのビジネスは、専門的知識を持った人による解釈・判断により行われてきました。一方、現在のビジネスでは、ビッグデータを基にしたより早い判断が求められています。

《技術的背景》 多くのシステムは、人の求めることとシステムに出来ることの乖離を、人の手による追加の作業でカバーしています。（ファイルのタグ付けや情報を整理して転記するなど） 一方で、最新の自然言語処理技術は、人が生成したあいまいな情報を解釈することを可能にしてきました。しかし、これらの技術がもつポテンシャルをビジネスで有効に活用するには、業界のドメイン知識とデータ、システムに対する専門家の力が必要であり、多くの企業では最新の技術を有効活用できていないのが現状です 。

《ソリューションコンセプト》 非構造化データを中心とした様々な形式のデータに含まれるドメイン特有の知見を抽出することで、「文脈や業務に合う文章の解釈」といった、これまで人にしか出来なかった高度な判断をモデル化します。 これらの技術により、自然文の持つあいまいさを解析し、業務の効率化と属人化を解消するソリューションを目指します。 ① データ抽出 自然言語やデータの構造/関連性を抽出し、データを解析可能な状態にします。 ◆非構造化データの例：Officeデータ 、PDFファイル、電話音声、動画 ② 分析 お客様が保有しているビッグデータ から業界の専門知識をモデル化することで、これまで熟練者のみが把握出来ていた暗黙知をインサイトとして抽出可能にします。 ◆インサイトの例：専門用語の理解、一見関連性が薄い複数のデータからの推論、データの解釈 ③ 人が見てわかる形への変換 次のアクションにつながる分かりやすい形のデータに変換することで、実業務を行うユーザのオペレーションをアシストします。 ◆変換後データの例：ブラックボックス化しやすいAIの判定を可視化、データをどのように解釈すれば良いか直感的に分かりやすいダッシュボード

《機能ブロック》 Avanade Insight Discoveryは、機能ブロックというそれぞれの役割を持ったコンポーネントで構成されています。お客様の状況に合わせて機能ブロックを組み合わせることで柔軟にソリューションを構築することが可能です。機能ブロックの一部を以下で紹介致します。 ◇ データ変換：音声を文章に変換し、解析結果を音声として出力する等、業務に合わせたインプット/アウトプット形式を準備します。 ◇ メタ情報抽出機能：Officeファイル等の非構造化データに含まれるメタ情報を抽出します。 　◆ レイアウトや図表、画像等に含まれる情報をメタ情報 　◆ 文字情報に含まれる特徴的なキーワードや共起性といったメタ情報 ◇ 構造化機能：抽出した情報を人が理解しやすい形に構造化し、システムで活用可能にします。 ◇ 要約・分類：長文を要約するだけではなく、大量データのサマリを出力することで人による把握を支援し、同じ種類の情報をクラスタリングすることで管理・検索しやすくします。 ◇ マッチング機能：自然言語処理を用いて文章やメタ情報の類似性を解析することで、ユーザ同士のマッチングやユーザに最適な商品や情報のサジェストを可能にする。 ◇ データ可視化：地図データ、時系列データ、購買データ等、データの性質及び業務に合わせた可視化、サジェストを可能にします。

《デリバリー》 「自然言語処理技術の活用で、日本のビジネスをより良い方向に変えられる！」という熱い思いを持ったメンバーが、これまでのシステム構築で培った知見とNLP関連の技術力を活かし、お客様に合わせたDX戦略のコンサルティングとその実現/継続的改善を一気通貫でサポート致します。

《進め方の例》 ◇ ヒアリング：ヒアリングを通してお客様業務を整理し、目指したいビジョンの定義を行います。 ◇ ビジネス検証：業務へのフィッティングにおける課題を整理し、課題があれば解決方法を整理します。 ◇ シナリオ検討：ビジョンの実現に向けた戦略的シナリオの立案をサポートします。（オペレーション、予算、データ、スケジュール等を踏まえ、柔軟に対応致します） ◇ データアセスメント：ビジョンの実現に向けて、現状のデータを確認し、技術的に活用可能なデータを整理します。 ◇ 技術検証：ビジョンの実現に向けて、技術的に十分な精度の解析が可能か、またシステム化に向けたその他の制約がないか検証します。 ◇ インテグレーション：検証内容を踏まえ、システム開発を行います。 ◇ 運用/モニタリング：システム稼働後の運用サポート、発生したデータを活用したシステムの改善及びさらなるDXのご提案を行います。

《大手人材紹介会社の事例》 某大手人材紹介会社の例では、求人掲載企業及び求職者の持つ履歴書を解析し、マッチングの実現性を検証しました。 ヒアリングの際に、お客様は以下の2つを課題として認識されていました。 　◆ 企業が求めるスキルと候補者の持つスキルのマッチングに使用している辞書に、最新のスキルがなく機会損失を起こしている 　◆ スキル辞書をメンテナンスするコストが大きい そこで私たちは、企業からの要望が記載された自然文（メール本文）とアップロードされたまま活用されていない履歴書データ（Word、Excel、PDF）に目を付けました。ファイルから文章の構造を認識し、自動でスキルを抽出することにより、最新の業界動向にあったスキルを使ったマッチングを可能にしたのです。 また、弊社独自の技術により、履歴書がどの業界のどういった職種であるかを自動で判別し、より正確に履歴書と求人情報をマッチングした上で、マッチングの理由がブラックボックス化しないように、担当者に分かるように可視化することに成功しました。