Enerji ve Akaryakıt fiyatları

requests bize HTML'i tek parça metin olarak verir. BeautifulSoup bu metni ağaç yapısına çevirir; find ve find_all etiket adıyla, select ve select_one CSS seçiciyle eleman bulur. Bulunan elemandan get_text() ile yazıyı, ["href"] gibi köşeli parantezle niteliği alırız.

1. select("tr.kayit") ile sayfadaki 12 satırı alın.
2. Her satırdan .urun-adi yazısını, .fiyat hücresinin data-fiyat niteliğini ve bağlantının href değerini çıkarın.
3. Sonucu sözlük listesine çevirip yazdırın.

Uzun listeler sayfalara bölünür (pagination). Çoğu sitede sayfa numarası URL'deki bir parametredir: sayfa=1, sayfa=2... Bu deseni fark ettikten sonra bir döngüyle URL'leri üretir, her sayfayı çekip sonuçları tek listede biriktiririz. Liste 1200 kayıt ve 100 sayfadır; 101. sayfa 404 döner.

1. Sayfa numaralarına tıklayıp URL'deki sayfa parametresini izleyin.
2. for döngüsüyle 1'den 100'e kadar tüm sayfaları çekin, kayıtları biriktirin.
3. Sayfa sayısını bilmeden, 404 gelene ya da "sonraki" bağlantısı bitene kadar ilerleyen sürümü yazın.
4. İstekler arasına time.sleep koyup sunucuya nazik davranmayı anlatın.