Arama motorlarının artık standart olmayan sayfaları dizine eklemesi engellendi

İstenen sayfa bir kaynak için standart bir sayfa olmadığında, Discourse artık X-Robots-Tag: noindex başlığıyla yanıt verecektir.

Discourse hem konu listeleri hem de konular için otomatik kaydırma tasarımı kullanıyor olsa da GoogleBot gibi arama motoru tarayıcılarına gösterdiğimiz şey bu değil. Arama motorları, her sayfada 20 gönderi bulunan sayfalardaki konuları görür. Ancak, kullanıcılar kendi gönderilerindeki belirli gönderilere bağlantı verebildiğinden ve bunu /t/title/topic_id/post_id URL formatını kullanarak yapacaklardır. Bunlar, tarayıcılar tarafından seçilecek ve site arama sonuçlarınıza yinelenen içerik ekleyecek ve alan adınızın sahip olduğu değerli ve sınırlı tarama bütçesini boşa harcayacaktır.

Kullanıcılarımız bu sorunu hafifletmek için, Discourse’da standart olmayan tüm URL’lere genişletmeyi başardığımız, gönderiye özel URL’ler gibi URL’lere "X-Robots-Tag: noindex eklenmesini önerdi. Bu, gizli bir site ayarı olarak yayınlandı ve 3 ay önce bu başlığın topluluk sitelerinde ve meta.discourse.org üzerinde etkinleştirilmesini denediğimiz sırada varsayılan olarak devre dışı bırakıldı.

Bu dönemin sonuçları şu ana kadar iyi göründüğü için, bu ayarı varsayılan olacak şekilde değiştirdik.

Herhangi bir nedenle örneğinizde bu davranışı istemiyorsanız, sunucunuzda
docker exec -i app rails runner "SiteSetting.allow_index_in_robots_txt = true"
çalıştırarak, kurallı olmayan sayfaların dizine eklenmesini etkinleştirebilirsiniz.

Göz atma ve arama sonuçlarında bir gecede büyük değişiklikler beklemeyin. Ancak, önümüzdeki aylarda belirli yayın sayfalarında tarama ve arama sonuçlarında bir düşüş göreceksiniz, bu da sitenizdeki yeni konulara ve sitenizdeki tarama bütçesi kısıtlamaları nedeniyle henüz dizine eklenmemiş içeriklere daha fazla tarama süresi harcanmasına neden olacaktır.

Kaynak: Search engines now blocked from indexing non-canonical pages - announcements - Discourse Meta