Клуб API Карт

есть 140 000 адресов, нужно для каждого получить гео-координату!

pndr
19 мая 2010, 17:10

Всем привет,

 

    - есть 140 000 адресов, нужно для каждого адреса получить гео-координату на yandex карте, какие есть идеи? может существуют готовые решения/сервисы? или статьи-мануалы по данной теме

11 комментариев
Подписаться на комментарии к посту
Посмотреть в клубе записи за последние 2-3 месяца. Вопрос подымался не один раз...

Ну и  задуматься о том как это сделать, что бы не исчерпать лимит обращений к геокодеру. Тут надо смотреть на специфику вашей задачи.

Возможно получиться геокодировать адреса при первом запросе. Т.е. первый пользователь работающий с этими адресами будет долго ждать, зато все остальные будут работать уже с координатами из базы.
Ну я предполагаю из расчёта один ключ на 25000 запросов, с генерировать 6 ключей, что бы отпарсить 140 тысяч адресов, запросы слать через CURL,потом парсить JSON-овский ответ, возможные ip баны обходить проксёй.... но как то хочется проще.

Обрабатывать каждый адрес индивидуально по запросу - тоже приходила такая мысль, но... как то это не очень, хочется один раз отмучиться и иметь готовую базу, чем цедить по капельке.
Королев Михаил
19 мая 2010, 18:47

жестоко. вам сервера яндекса и других пользователей карт не жалко ?))))


добавлять по первому запросу самое правильное - тем более что пришедший гугл или яндекс вам всё проиндексят :) - мало того - это будет готовым решением при онлайн пополнении базы адресов.

Если ничего не путаю, то ограничение на 25 тыс. запросов - это в сутки. Так что с ключами можно не париться :)

И есть у меня сомнение что прям все 140 тыс. адресов используются постоянно и активно. Возможно стоит подумать над алгоритмом, чем делать все сразу грубым brute force :)
И есть у меня сомнение....
- и у меня тоже, но партия сказала надо!

p.s.
25 тыс. запросов - это в сутки
 - а отпарсить хочется всё за один день, корпеть над этим неделю - извольте!
А зачем корпеть неделю? Вы что собираетесь за скриптом следить? :) И даже если предположить что один адрес будет обрабатываться в течении секунды - и то часов 38 на все понадобиться. В реальности больше.

Скрипт пишется в течении часа. Потом в течении 10 минут он запихивается в кронтаб и пусть себе понемногу работает... Все равно записи надо обрабатывать по 10-15 штук за один запуск скрипта, ибо так надежней.
а вот на счёт 38-ми часов это да...
Королев Михаил
19 мая 2010, 22:11
пока вы будете готовиться к публикации проекта - пройдёт неделя - начните сегодня :)
я из гугла соснул :) Только там они наоборот, в смысле широта и долгота. По началу понять не мог, чего это у меня по координатам Москвы вылезает какое-то киргуду непонятное :)
а большой объём? были какие нибудь проблемы(ограничения/баны) с гуглум?

www.geonames.org - качайте на здоровье хоть все города мира