İnternetsiz çalışma için web sitelerini indirmeye ilişkin kapsamlı rehber

Bir web sitesini çevrimdışı görüntüleme amacıyla tamamen indirmek için en kolay yol, ücretsiz HTTrack (Windows/Linux için) yardımcı programını veya wget komutunu (macOS/Linux/Windows için) kullanmaktır. Bu araçlar HTML, resimler, CSS ve betikleri kopyalar; bağlantı yapısını koruyarak sayfaların ağ bağlantısı olmadan yerel olarak açılmasını sağlar. JavaScript ile dinamik olarak yüklenen içeriğe sahip modern ve karmaşık siteler için Cyotek Web Copy Offline gibi özel programlar veya arşivleme hizmetleri daha uygun olacaktır.

Neden standart "Farklı Kaydet" işe yaramaz

Tarayıcının yerleşik "Sayfayı farklı kaydet" özelliği (Ctrl+S) yalnızca açık olan tek bir dosyayı kaydeder. Bağlantı verilen ilişkili sayfaları indirmez ve genellikle görsellerle stil dosyalarına giden yollar mutlak (internete yönlendiren) kaldığı için düzeni bozar.

Gerçek bir çevrimdışı erişim için şu özelliklere sahip bir araç gerekir:

1. Tüm dahili bağlantılar boyunca özyinelemeli şekilde ilerler.
2. Medya dosyalarını (resimler, videolar, belgeler) indirir.
3. Kod içindeki bağlantıları yeniden yazarak https://site.com/sayfa biçimindeki adresleri yerel yollarla (./sayfa.html) değiştirir.

Yöntem 1: HTTrack — Yeni başlayanlar için klasik çözüm

HTTrack Website Copier, grafik arayüze sahip en popüler ücretsiz çözümdür. Komut satırıyla uğraşmak istemiyorsanız idealdir.

Nasıl kullanılır:

1. HTTrack'i resmi web sitesinden indirip kurun.
2. Programı başlatın ve "İleri" düğmesine tıklayın.
3. Proje adını ve kaydetme klasörünü girin.
4. "Web adresi" alanına kopyalanacak sitenin URL'sini yapıştırın.
5. "Bitti" düğmesine tıklayın. Program tarama ve indirme işlemini başlatacaktır.

Avantajları:

• Ücretsiz ve açık kaynaklı.
• Anlaşılır arayüz.
• Kesintiye uğrayan indirmelerin devam ettirilebilmesi.

Dezavantajları:

• Ağır JavaScript çerçeveleri (React, Vue) üzerine inşa edilmiş sitelerle zayıf çalışır çünkü JS kodunu yürütmez.
• Arayüz eski görünmektedir.

Yöntem 2: Wget — İleri düzey kullanıcılar için güçlü bir araç

Wget, Linux ve macOS'ta varsayılan olarak bulunan ve Windows'a da kurulabilen bir konsol yardımcı programıdır. İndirme süreci üzerinde tam kontrol sağlar.

Siteyi klonlamak için temel komut

Terminali (veya komut satırını) açın ve aşağıdaki komutu girin:

wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://example.com

Anahtarların açıklaması:

• --mirror (-m): Özyinelemeli indirmeyi ve sınırsız derinliği etkinleştirir.
• --convert-links (-k): İndirmeden sonra bağlantıları yerel görüntüleme için dönüştürür.
• --adjust-extension (-E): Eksikse dosyalara .html uzantısını ekler.
• --page-requisites (-p): Sayfanın görüntülenmesi için gerekli tüm öğeleri (CSS, resimler) indirir.
• --no-parent (-np): Başlangıç dizininin üstüne çıkmaz (bir alt dizinden başladıysanız tüm alan adını indirmez).

Sunucu üzerindeki yükü sınırlama

İsteğinizin DDoS saldırısı gibi görünmemesi ve sitenin IP adresinizi engellememesi için istekler arasında bekleme süresi ekleyin:

wget --wait=2 --random-wait --mirror ...

Yöntem 3: Karmaşık durumlar için alternatifler

HTTrack ve wget işe yaramadıysa (site boş veya stiller eksik), içerik büyük olasılıkla JavaScript aracılığıyla dinamik olarak oluşturuluyor demektir.

Cyotek Web Copy Offline (Windows)

HTTrack için daha modern bir alternatif.

• Karmaşık bağlantı yapılarını daha iyi işler.
• Filtreleme kurallarını ayarlamak için kullanışlı bir sihirbaz sunar.
• İndirmeye başlamadan önce tam olarak neyin indirileceğini görmek için siteyi önceden tarmanıza olanak tanır.

SiteSucker (macOS / iOS)

Apple ekosistemi için popüler bir uygulama.

• Basit arayüz: sadece bağlantıyı yapıştırın.
• Sistemle iyi entegre olur.
• Ücretlidir (Mac App Store'da), ancak eski ücretsiz sürümleri mevcuttur.

SingleFile (Tarayıcı uzantısı)

Tüm site yapısına değil, yalnızca mükemmel görünümlü birkaç belirli makaleye veya sayfaya ihtiyacınız varsa.

• Chrome/Firefox için bir uzantıdır.
• Sayfayı tek bir HTML dosyasına kaydeder; tüm resimleri, yazı tiplerini ve stilleri (base64 formatında) içine gömer.
• Tek tek uzun makaleleri arşivlemek için idealdir, ancak tüm siteyi toplu halde indirmek için uygun değildir.

Araçların karşılaştırılması

İndirme sırasında sık yapılan hatalar

1. Bozuk resimler ve stiller.

   • Neden: Kaynaklara giden bağlantılar mutlak veya hotlink koruması ile korunuyor.
   • Çözüm: HTTrack'te "Bağlantılar" ayarlarını kontrol edin ve "Bağlantıları dönüştür" seçeneğinin işaretli olduğundan emin olun. Wget'te -k anahtarını kullanın.

2. Sonsuz indirme.

   • Neden: Sitede takvimler, sonsuz kaydırma veya döngüsel bağlantılar var.
   • Çözüm: Her zaman derinliği (-l 5) ve dosya boyutunu sınırlayın. Dışlama maskelerini kullanarak istek parametrelerini (örneğin, ?page=2, ?sort=asc) indirmelerden hariç tutun.

3. İçerik yerine boş sayfalar.

   • Neden: Site React/Angular üzerinde SPA (Tek Sayfalık Uygulama) kullanıyor. Wget ve HTTrack yalnızca boş şablonu görür.
   • Çözüm: Elle kaydetmek için SingleFile gibi tarayıcı uzantılarını veya geliştiriciyseniz özel render hizmetlerini (örneğin Puppeteer betiklerini) kullanın.

SSS

Bu araçlarla siteden video indirebilir miyim? Wget ve HTTrack, video dosyaları doğrudan bağlantılarla (.mp4, .avi) sunuluyorsa bunları indirir. Video HLS (.m3u8) üzerinden akış yapıyorsa veya DRM ile korunuyorsa bu araçlar işe yaramaz. youtube-dl (yt-dlp) gibi özel yazılımlar gerekecektir.

Başkalarının sitelerini indirmek yasal mı? Kişisel çevrimdışı görüntüleme amacıyla indirmek genellikle adil kullanım kapsamına girer. Ancak indirilen siteyi yayınlamak, içeriğini ticari amaçlarla kullanmak veya kimlik avı kopyaları oluşturmak yasa dışıdır ve telif haklarını ihlal eder.

Site yerel olarak açılıyor ama arama neden çalışmıyor? Site içi arama, sunucu tarafı bileşenler (PHP, Python, veritabanları) gerektirir. Statik kopyalama sırasında sunucu kodu korunmaz. Arama, site doğru şekilde indirilmiş saf istemci taraflı JS araması kullanmıyorsa çalışmayacaktır.

İndirilen site nasıl güncellenir? HTTrack'te "Mevcut projeyi güncelle" modu vardır. Program, sunucudaki ve yereldeki dosya tarihlerini karşılaştırır ve yalnızca değişiklikleri indirir. Wget'te bu daha zordur: -N (zaman damgası) anahtarını kullanmanız gerekir, ancak bu her zaman bağlantıları yeniden yazma işlemiyle doğru çalışmayabilir.