BERT入門
──プロ集団に学ぶ新世代の自然言語処理
AI/Data Science実務選書
近日刊行
Attention機構、Transformerアルゴリズム、BERTモデルを徹底解説
佐藤大輔・和知德磨・湯浅 晃・片岡紘平 [共著] / 野村雄司 [監修] B5変型判 180ページ 定価:2,420円(税込) ISBN:978-4-86594-340-5 2022年8月上旬刊行
BERTの登場により、自然言語処理(NLP)におけるAIのビジネス適用が劇的に進展し、続々と新しい技術が生まれています。主流となったBERTをきちんと理解すれば、新世代のNLPにキャッチアップできます。 本書では、技術開発はもちろん実務経験も豊富なNLPの専門家集団が、Attention機構、Transformerアルゴリズム、BERTモデルを徹底解説。プロフェッショナルチームが仕組みを詳しく、現場で使えるコードをやさしく手引きします。
内容詳細
●本書の特徴
本書の著者陣は、自然言語処理のビジネス適用に豊富な経験を有しています。特にBERT については、多くのビジネス検証を行い、かつ、独自の応用技術の研究開発も進めている専門家集団です。技術面だけでなく、実務課題の解決に役立つ情報を提供できます。本書ではそうしたプロフェッショナル集団が、Attention 機構・Transformer アルゴリズム・BERT モデルの仕組みの詳解から、現場で使えるコードとノウハウを手引きします。この1冊で、自然言語処理とBERT の基礎を網羅するよう努めましたので、是非とも実践に直結する力を身に付けてください。
●想定読者
本書は主に以下のような方々を対象としています。
・AIや機械学習、自然言語処理に興味があり、自分で勉強している技術者
・自然言語処理技術の業務適用を検討しているビジネス担当者
・自然言語処理についてサンプル実装を必要としている技術担当者
【前提とする知識やスキル】
・機械学習について、入門書を読むなどして概要を理解している
・Pythonまたは他のプログラム言語の実装経験があり、プログラムの基礎を理解している
・助言やWebページを参考にすれば、機械学習のコードを実装できる
●本書のゴール
本書では、以下のような知識とスキルの獲得を目標に設定しています。
【知識面】
・近年の自然言語処理技術の動向を把握できる
・BERT の仕組みや特性を理解できる
・BERT のビジネス適用で頻出するいくつかの課題と、解決例が解る
【技量・スキル面】
・BERT の実行環境を構築できるようになる
・BERT を用いる代表的タスクの実装・検証ができるようになる
・データの偏りや根拠の抽出など、BERT ビジネス適用の課題に、技術面から解決案を策定し実装できるようになる
(以上、本書まえがきより)
◆「AI/Data Science実務選書」とは…
機械学習やAIの計算モデルは、システム開発のパラダイムを覆しつつあります。「AI/Data Science実務選書」は、AI開発とデータサイエンスのプラクティスを集め、実務家のスキル獲得/向上を力強く支援します。
■本書の主な内容
第1章 NLPの基礎知識
1.1 NLPとは?
1.2 機械学習とは?
第2章 NLPの技術解説
2.1 Bang of Words
2.2 ニューラルネット時代の自然言語処理
第3章 BERTの技術解説
3.1 Attention
3.2 Transformer
3.3 BERT
3.4 BERT以降のモデル
第4章 BERTの環境構築
4.1 Python
4.2 Colaboratory
4.3 環境構築とデータセットの準備
第5章 代表タスクを通じて理解する
5.1 BERT の代表的な使われ方
5.2 文書分類タスク
5.3 NER(固有表現抽出)タスク
5.4 質問応答タスク
5.5 単語・文のベクトル化
第6章 練習問題
6.1 文書分類タスク
6.2 情報抽出タスク
第7章 ビジネス適用における課題と解決
7.1 データアセスメント
7.2 不均衡データへの対応
7.3 根拠抽出
7.4 ドメイン特化モデル