BERT（Bidirectional Encoder Representations from Transformers）とは、Googleが2018年に開発した双方向の自然言語処理モデルです。従来のモデルが文章を一方向にしか読まなかったのに対し、BERTは文脈を前後両方向から同時に理解することで、より高精度な言語理解を実現しています。
BERTの最大の特徴は、トランスフォーマーアーキテクチャを基盤とした双方向学習にあります。「この本は面白い」という文章で「面白い」という単語を理解する際、BERTは「この本は」という前の文脈と同時に後続の文脈も参照します。この仕組みにより、単語の意味をより正確に把握できるのです。実際、Googleの検索エンジンでも2019年からBERTが活用され、検索クエリの理解精度が大幅に向上しました。
企業でのBERT活用例として、文書分類、感情分析、質問応答システムなどが挙げられます。カスタマーサポートでは顧客の問い合わせ内容を自動分類し、適切な担当者に振り分けることが可能です。また、ファインチューニングにより特定業界の専門用語に対応させることもできるため、金融や医療分野での活用も広がっています。BERTはオープンソースAIとして提供されており、多くのLLMの基礎技術としても重要な役割を果たしています。