Tutorial Lengkap Membuat News Aggregator Menggunakan Python

Tutorial Lengkap Membuat News Aggregator Menggunakan Python

Halo, bro dan sis yang suka ngulik dunia coding! Hari ini gue bakal ngajakin lo bikin proyek seru: News Aggregator pake Python. Lo bakal belajar banyak teknik mulai dari web scraping, API integration, sampai cara nyimpen data ke database SQLite. Cocok banget buat lo yang pengen asah skill Python sambil bikin aplikasi bermanfaat. Langsung aja yuk kita mulai dari step pertama!

Kenapa News Aggregator Itu Menarik?

Pernah nggak sih lo ngerasa overwhelmed sama banyaknya berita di internet? Dari berita politik sampai gosip selebriti, semuanya berseliweran di timeline. Nah, News Aggregator adalah solusi keren buat ngumpulin berita dari berbagai sumber dalam satu tempat. Bayangin kayak ada asisten pribadi yang nyuapin lo berita paling update setiap hari—keren, kan?

Dengan bikin News Aggregator sendiri, lo bisa:

1. Mengatur berita sesuai preferensi lo (teknologi, olahraga, finansial).
2. Mengasah kemampuan Python dengan berbagai teknik coding.
3. Nambah portofolio proyek keren buat nambah daya tarik di mata recruiter.

Baca Juga

• Mengiterasi Dictionary Di Python
• Library Python Terbaik Untuk Web Scraping

 

Langkah Pertama: Web Scraping dengan BeautifulSoup dan Requests

Kalau website berita nggak punya API, jangan khawatir bro. Lo masih bisa pake web scraping buat ngambil data langsung dari halaman HTML mereka. Kita akan pake dua library favorit: BeautifulSoup buat parsing HTML dan Requests buat HTTP request.

• Install Library
• Pertama, buka terminal lo dan ketik:
• pip install beautifulsoup4 requests
• Kode Sederhana untuk Web Scraping

Berikut adalah contoh script buat ambil headline dari website berita:

import requests
from bs4 import BeautifulSoup


# URL dari website berita
url = 'https://www.example-news-site.com'


# Kirim request GET ke website
response = requests.get(url)


# Cek apakah request berhasil
if response.status_code == 200:
    # Parse HTML-nya
    soup = BeautifulSoup(response.content, 'html.parser')


    # Cari semua elemen headline
    headlines = soup.find_all('h2', class_='headline')


    # Tampilkan teks dari setiap headline
    for headline in headlines:
        print(headline.get_text(strip=True))
else:
    print(f'Gagal ambil halaman. Status code: {response.status_code}')

Penjelasan Kode

• requests.get(url): Mengirim request HTTP ke website.
• BeautifulSoup(response.content, 'html.parser'): Parse konten HTML-nya.
• find_all('h2', class_='headline'): Cari elemen dengan tag <h2> dan class headline.

Analogi Simpel

• Bayangin lo dateng ke restoran dan pengen makan makanan enak. Nah, Requests itu kayak pelayan yang ngambilin menu buat lo, sementara BeautifulSoup adalah koki yang ngeracik data HTML biar bisa lo konsumsi dengan enak.

 

Langkah Kedua: Integrasi News API

Kalau lo pengen cara lebih elegan dan legal, pake News API aja. Gampang dan datanya lebih rapi.

• Daftar di NewsAPI
• Buka https://newsapi.org dan daftar buat dapetin API key gratis.
• Kode Mengambil Data Berita

Setelah dapet API key, lo bisa pake script ini:

import requests


api_key = 'YOUR_NEWSAPI_KEY'
url = 'https://newsapi.org/v2/top-headlines'


parameters = {
    'country': 'us',
    'category': 'technology',
    'apiKey': api_key
}


response = requests.get(url, params=parameters)
data = response.json()


if data['status'] == 'ok':
    for article in data['articles']:
        print(article['title'])
else:
    print(f"Error: {data['message']}")

Penjelasan Kode

• API Key: Kunci buat autentikasi request.
• Parameters: Filter berita berdasarkan negara dan kategori.
• Parsing JSON: Ambil informasi artikel dari respons API.

Tips Pro:

• Jangan lupa jaga API key lo biar nggak bocor ke publik. Simpen di file .env aja, terus load pake library dotenv.

 

Langkah Ketiga: Fetch Data Lewat RSS Feeds

Kalau lo pengen cara yang klasik tapi reliable, bisa pake RSS feeds.

• Install Feedparser
• pip install feedparser
• Kode Fetching RSS

import feedparser


feed_url = 'https://www.example-news-site.com/rss'
feed = feedparser.parse(feed_url)


for entry in feed.entries:
    print(f"Title: {entry.title}")
    print(f"Link: {entry.link}")
    print(f"Summary: {entry.summary}\n")

 

Langkah Keempat: Simpen Data ke Database dengan SQLite

Biar data lo nggak hilang pas aplikasi dimatikan, kita bakal nyimpen data ke database SQLite.

Setup Database

import sqlite3


def setup_database():
    conn = sqlite3.connect('articles.db')
    cursor = conn.cursor()
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS articles (
            id INTEGER PRIMARY KEY,
            title TEXT,
            summary TEXT,
            link TEXT,
            source TEXT,
            published DATE
        )
    ''')
    conn.commit()
    conn.close()

Simpan Artikel ke Database

def save_article(title, summary, link, source, published):
    conn = sqlite3.connect('articles.db')
    cursor = conn.cursor()
    cursor.execute('''
        INSERT INTO articles (title, summary, link, source, published)
        VALUES (?, ?, ?, ?, ?)
    ''', (title, summary, link, source, published))
    conn.commit()
    conn.close()

 

Tips Web Scraping yang Aman dan Etis

Web scraping itu keren, bro, tapi jangan sampe lo jadi "perampok data" yang nggak etis. Beberapa situs punya aturan ketat soal siapa aja yang boleh ngambil datanya. Nah, biar lo tetap aman dan nggak kena blacklist, coba ikuti tips berikut:

1. Baca Robots.txt

Sebelum mulai scraping, selalu cek file robots.txt di website target lo. File ini biasanya bisa diakses dengan nambahin /robots.txt setelah URL utama, contohnya https://www.contoh-website.com/robots.txt.

Di dalam file ini ada informasi soal halaman mana aja yang boleh diakses crawler dan mana yang nggak boleh. Kalau ada perintah Disallow: /admin, artinya lo nggak boleh scraping halaman admin.

Contoh isi robots.txt:

User-agent: *
Disallow: /private

Kalau ngelanggar? Bisa-bisa lo di-ban dari website tersebut, bro.

 

2. Delay Request

Jangan rakus, bro! Kalau lo kirim request secara brutal tanpa jeda, server bisa overload dan ngira lo bot yang mau bikin kerusuhan. Solusinya adalah kasih delay antar request.

Contoh sederhana dengan Python:

import time
import requests


urls = ["https://site1.com", "https://site2.com"]


for url in urls:
    response = requests.get(url)
    print(response.status_code)
    time.sleep(2)  # Delay 2 detik antar request

Dengan kasih delay kayak gini, lo bantu server tetap sehat dan performa scraping lo jadi lebih stabil.

 

3. Gunakan Header yang Wajar

Tambahin User-Agent ke request lo biar nggak dicurigai bot. Sebagian besar website bakal nolak request kalau nggak ada User-Agent.

Contoh menambahkan User-Agent di request:

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}


response = requests.get("https://example.com", headers=headers)
print(response.content)

Dengan tips-tips ini, lo nggak cuma jadi scraper yang keren, tapi juga etis dan profesional. Happy scraping, bro!

 

Kesimpulan: Coding News Aggregator Itu Seru Banget!

Dari web scraping, integrasi API, sampe nyimpen data ke database, lo udah punya modal buat bikin aplikasi news aggregator yang keren abis. Jangan ragu buat terus eksplorasi dan eksperimen. Kalau lo ngerasa stuck, inget aja bahwa setiap error adalah guru terbaik lo. Keep calm, stay curious, and happy coding, bro dan sis! 

Published on August 26, 2025
Last updated on June 03, 2026