MENGENAL BEAUTIFULSOUP DAN REQUESTS
BeautifulSoup adalah library Web Paser untuk Python. BeautifulSoup memiliki banyak fungsi untuk melakukan navigasi obyek DOM pada HTML.
Untuk
install BeautifulSoup, gunakan perintah berikut pada command prompt: pip install beautifulsoup4
Lalu install
lxml, library pendukungnya, dengan menggunakan perintah: pip install lxml
soup =
BeautifulSoup(file_html, 'parser')
Syntax
diatas adalah untuk menggunakan beautifulSoup. file_html adalah
file html yang akan diparsing, parser dapat
menggunakan lxml atau html.parser.
Berikut
adalah file html yang akan digunakan untuk contoh penggunaan BeautifulSoup.
Perhatian, contoh dibawah dilakukan di REPL.
>>> html_doc = """
<html><head><title>The Dormouse's
story</title></head>
<body>
<p class="title"><b>The
Dormouse's story</b></p>
<p class="story">Once upon a time
there were three little sisters; and their names were
<a href="http://example.com/elsie"
class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie"
class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie"
class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
Salah satu
fungsi dari BeautifulSoup adalah untuk merapikan file html dengan memberikan
identasi dan newline. Syntaxnya adalah soup.prettify()
>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(html_file,'lxml')
>>> print(soup.prettify())
<html>
<head>
<title>
The Dormouse's story
</title>
</head>
<body>
<p class="title">
<b>
The Dormouse's story
</b>
</p>
<p class="story">
Once upon a time there were three little sisters; and their names were
<a class="sister" href="http://example.com/elsie"
id="link1">
Elsie
</a>
,
<a class="sister" href="http://example.com/lacie"
id="link2">
Lacie
</a>
and
<a class="sister" href="http://example.com/tillie"
id="link3">
Tillie
</a>
;
and they
lived at the bottom of a well.
</p>
<p class="story">
...
</p>
</body>
</html>
Contoh
Menggunakan BeautifulSoup
Contoh
mengakses tag title dan strukturnya.
>>> soup.title
<title>The Dormouse's story</title>
>>> soup.title.name
'title'
>>> soup.title.string
"The Dormouse's story"
soup.title.parent.name
'head'
Contoh
mengakses tag p dan ahref
>>> soup.p
<p class="title"><b>The Dormouse's
story</b></p>
>>> soup.p['class']
['title']
>>> soup.a
<a class="sister"
href="http://example.com/elsie"
id="link1">Elsie</a>
>>> soup.find_all('a')
[<a class="sister" href="http://example.com/elsie"
id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie"
id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie"
id="link3">Tillie</a>]
>>> soup.find(id="link3")
<a class="sister" href="http://example.com/tillie"
id="link3">Tillie</a>
Hal yang
umum dilakukan adalah ekstrak informasi link ahref
>>> for link in soup.find_all('a'):
... print(link.get('href'))
...
http://example.com/elsie
http://example.com/lacie
http://example.com/tillie
Hal yang
sering dilakukan lainnya adalah ekstrak text dari sebuah halaman web.
>>> print(soup.get_text())
The Dormouse's story
The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.
Komentar
Posting Komentar