Індексованість словника R2U

[xrju]

Пошукавши у ґуґлі «хуткочинність» не знайшов жодної сторінки, хоча таке слово є у словнику R2U. Це свідчить про те, що пошукові системи просто не можуть проіндексувати сторінки словника.

Пропозиція:

Можливо було б варто створити індекс (реєстр) російських слів, для яких є переклад у словниках R2U? Наприклад, ось такий. Таким чином Google зможе знаходити та індексувати сторінки R2U, а відвідуваність (та популярність ваших якісних словників) підвищиться у рази.

[Andriy]

так, я про це думав, щоправда тре глянути щоб це не вплинуло на швидкодію (сайт крутиться в контейнері з досить обмеженими ресурсами), а також щоб запити ботів не впливали на статистику запитів користувачів... поміркую над цим, як буде вільний час...

[xrju]

Для того, щоб це не вплинуло сильно на швидкодію, достатньо буде прописати у файлі robots.txt обмеження на частоту запитів:

Код: Виділити все

User-agent: *
Crawl-delay: 10

А якщо вам так принципово відділяти статистику запитів користувачів від звернень ботів, то є два виходи:

1) Дивитися на поле запитів HTTP User-Agent та фільтрувати ботів (гадаю також, можна знайти достатньо якісний код PHP для цієї мети в Інтернеті);

2) Зробити збір статистики за допомогою коду JavaScript, який боти виконувати не вміють.

[Andriy]

2) Зробити збір статистики за допомогою коду JavaScript, який боти виконувати не вміють.

googlebots understand javascript, але навіть якщо б на це не звертати уваги, це б значно ускладнило код і сповільнило запит
я збирався дивитися в user-agent, але в ботів назви теж не є стандартизованими: є bot, spider, crawler і ще купа всякого мотлоху...

[Andriy]

пару днів тому відкрив статті словників для пошукових систем, вони потрішки індексують, але поки з’являться посилання на статті словника певно пройде деякий час