htmlq

Парсер html (аналогичный jq)
Репо: https://github.com/mgdm/htmlq

Install

pipx install htmlq

Usage

Получить все теги a:

curl -s https://www.rust-lang.org/ | htmlq 'a'

Получить содержимое тегов div

curl -s https://www.rust-lang.org/ | htmlq -t 'div'

Получить атрибут тегов div (in this case, класс):

curl -s https://www.rust-lang.org/ | htmlq -a 'class' 'div'

Поиск по классам, ID и их комбинации:

curl -s https://www.rust-lang.org/ | htmlq -t 'div.attribution'
curl -s https://www.rust-lang.org/ | htmlq -t '.attribution'
curl -s https://www.rust-lang.org/ | htmlq -t 'div#some_id'
curl -s https://www.rust-lang.org/ | htmlq -t '#some_id'
curl -s https://www.rust-lang.org/ | htmlq -t 'div.attribution#some_id'

Syntax highlighting w/ bat:

curl -s https://www.rust-lang.org/ | htmlq 'body' | bat --language html

---

htmlqtoolhtmlscraping