С 1 июля Reddit обновил свой robotos.txt, теперь всем ботам кроме гугла запрещено индексировать...

С 1 июля Reddit обновил свой robotos.txt, теперь всем ботам кроме гугла запрещено индексировать форумы и получать новые сообщения. Бинг вот уже подтвердил что они следуют этому и нового контента пока не будет.

Почему гуглу можно - гугл платит деньги за эту индексацию, подписан прямой контракт с Reddit по которому гугл сможет использовать эти данные для обучения своих языковых моделей