Какие инструменты используются для парсинга HTML в Python?

Основные инструменты для парсинга HTML в Python

Парсинг HTML — это процесс извлечения данных из веб-страниц. В Python существует несколько популярных библиотек, каждая из которых имеет свои особенности. Основные из них: BeautifulSoup, lxml и встроенный html.parser.

BeautifulSoup

Это библиотека для удобного извлечения данных из HTML и XML. Она создает объектное представление документа, позволяя искать элементы по тегам, классам, ID и атрибутам. BeautifulSoup может работать с разными парсерами, включая lxml и html.parser.

from bs4 import BeautifulSoup

html = '<div class="content">Hello</div>'
soup = BeautifulSoup(html, 'html.parser')
print(soup.find('div', class_='content').text)  # Hello

lxml

Это быстрый и мощный парсер, поддерживающий XPath и CSS-селекторы. Он написан на C и часто используется в связке с BeautifulSoup для ускорения работы.

from lxml import html

tree = html.fromstring('<div class="content">Hello</div>')
print(tree.xpath('//div[@class="content"]/text()')[0])  # Hello

html.parser

Встроенный парсер Python, не требует установки дополнительных библиотек. Он медленнее lxml, но подходит для простых задач.

from html.parser import HTMLParser

class MyParser(HTMLParser):
    def handle_data(self, data):
        print(data)

parser = MyParser()
parser.feed('<div>Hello</div>')  # Hello

Выбор инструмента зависит от требований к скорости и сложности разметки. Для быстрого прототипирования используйте BeautifulSoup с lxml, для высоконагруженных систем — чистый lxml.