Клуб API Карт

Клуб API Карт

Интеграция данных с Dom.Svyaznoy.Ru c Яндекс.Картами

Пост в архиве.

Приветствую!

Мы хотим представлять наши данные о территории распространения интернет-провайдеров и тарифах на интернет на Яндекс.Картах. Для этого нам требуется привести в соответствие данные из КЛАДРа с координатами, сделав 1 - 1,5 млн. запросов к API Карт. А это почти трое суток непрерывной нагрузки на ваши сервера. Как нам не попасть под бан по IP-адресу?

Еще есть идея сделать карту плотности интернет-провайдеров/карту плотности интернет-подключений, но судя по описанию API Яндекс.Карт, сделать подобное затруднительно. Возможно, у вас был опыт решения подобных задач, которым вы можете поделиться? :)

 

Спасибо!

 

Игорь

Dom.Svyaznoy.Ru - сервис подбора интернет-провайдера по адресу или номеру домашнего телефона. Сейчас мы еженедельно обновляем адресные базы и тарифы ведущих интернет-провайдеров по всей России и постоянно подключаем к системе новых.  

3 комментария
Авторизуйтесь, чтобы оставить комментарий
nadya-ssh
28 января 2016, 04:27

Как раз недавно собирала данные по кладру сразу по 3м геокодерам (Яндекс Гугл Рамблер),

Яндексу выставила вроде по 2 запроса в секунду, чтобы он ошибки не возвращал и сделала обработку с нескольких хостов. Точность отличная, ошибки с геокодированием терпимые и в 40% случаев так или иначе решаемые. Часть домов не обнаружилось, но это не понятно чей косяк... кодера или кладра.

Гугл вообще не банил, он просто возвращал пустой xml, если запрос шел чаще чем 1 раз в секунду и стал возвращать пустые ответы через вроде 15000 запросов. В итоге его пришлось окучивать несколько суток. Кстати у него хреновая точность и путаница с номерами домов владений строений и корпусов, а местами старые тайлы и старая инфа.

С рамблером вообще проблем не возникло, правда у него нет как такового геокодера, поэтому просто подобрала строку запроса с карты. И инфа у него по качеству - серединка на половинку.

В итоге через неделю страданий получила базу с инфой точности exact house по 90% кладра. По Москве практически полная инфа. Так что тут главное не спешка, а аккуратный анализ того, что возвращает геокодер в ответ на запрос... 

dom-svyaznoy
28 января 2016, 04:27

Спасибо, !

tekunova
28 января 2016, 04:27
Уважаемые  и , сохранение результатов геокодирования запрещено пользовательским соглашением API Яндекс.Карт.

Обратите, пожалуйста, особое внимание на пункт: 
...
2.3.6. ОГРАНИЧЕНИЯ. Используя Сервис, Пользователь не имеет права:
...
2.3.6.5. Сохранять, обрабатывать и видоизменять полученные через Сервис Данные (включая результаты геокодирования), за исключением случаев временного хранения (кэширования) результатов геокодирования исключительно для целей улучшения функциональности и работоспособности Сервиса и только для использования в рамках возможностей, предоставляемых Сервисом.
...

, несмотря на то, что вы не нарушили пункт ПС о лимите обращений к геокодеру, вы все-равно не имеете права сохранять результаты геокодирования. т.к. это нарушение п. 2.3.6.5.