【入門編】自然言語処理(NLP)ってなに?

【入門編】自然言語処理(NLP)ってなに?

はじめに

現在 posto の開発では自然言語処理を用いたアプローチを試みています.

「これからの人工知能分野において研究が活発に行われていくだろう」

と言われている自然言語処理ですが,そもそもどういったものなのでしょうか??


機械学習と自然言語処理

自然言語処理と機械学習はどちらも『人工知能』と紹介されがちです.

実はこの2つ,大きく違うものなのです.

機械学習

機械学習とは,

膨大なデータセットを機械に学習させ,人間と同じような処理をコンピュータに実行させる技術

のことです.

一度学習を済ませておくと,後はデータを入力するだけで結果が得られるので,

人工知能 = 機械学習

と認識している人も多いのではないでしょうか.

自然言語処理

一方,自然言語処理とは,

自然言語,つまり私たちが普段使っている日本語などを機械に処理させる技術

のことを指します.

機械学習との違いがわかりづらいでしょうか.

つまり,

自然言語処理目的とすると,

機械学習は言語を処理するための手段のひとつということになるのです.

そのため自然言語処理も人工知能と紹介されることがあったりします.


自然言語処理とはどういうものなの?

では具体的にどういった処理を行っているのでしょうか.

ここでは日本語を例に紹介します.

 

基本的に入力はテキストデータ(文字列)を使います.例えば,

「明日は晴れです.」

という文です.

シンプルな処理としては,

晴れというワードに反応させ,この文が天気に関する文章であると判断したり,

単語と文脈を判断して,他の言語(英語や中国語)に翻訳したり…といったものが挙げられます.

 

一見,「なんだ簡単そうじゃん」と感じてしまいますが,

実際の文章はもっと曖昧なものが多く,

さらに誤字・脱字や造語などにも対応しなければならないため

自然言語処理は非常に難しい分野と言われているのです.

 

しかし,完璧な自然言語処理を行うことができたら,

それはつまり機械と会話を行うことが可能になるということであり,

ドラ◯もんの実現も夢物語ではなくなるということです!

 

難しい反面,夢のある分野でもあるのでこれからの発展に期待ですね.


自然言語処理が使われているもの

そんな自然言語処理を利用した技術を少しご紹介したいと思います.

  1. 検索エンジン : Google 検索
  2. 機械翻訳 : Google 翻訳
  3. かな漢字文字変換 : Google 日本語入力
  4. マイクロソフトの女子高生AI(自動応答サービス) : りんな
  5. 専門用語(キーワード)自動抽出サービス : 言選Web
  6. 自動要約
  7. 文章生成

おわりに

自然言語処理について少し理解してもらえたでしょうか?

今回は技術的な内容は省略してザックリと紹介しました.

次は具体的な処理の内容に関して記事を書けたらなと思います.(たぶん…)

 

ここまで読んで頂きありがとうございました!

自然言語処理カテゴリの最新記事