есть 140 000 адресов, нужно для каждого получить гео-координату!

Пост в архиве.

Алексей

19 мая 2010, 17:10

Всем привет,

- есть 140 000 адресов, нужно для каждого адреса получить гео-координату на yandex карте, какие есть идеи? может существуют готовые решения/сервисы? или статьи-мануалы по данной теме

11 комментариев

Авторизуйтесь, чтобы оставить комментарий

Александр Новиков

28 января 2016, 07:30

Посмотреть в клубе записи за последние 2-3 месяца. Вопрос подымался не один раз...

Ну и задуматься о том как это сделать, что бы не исчерпать лимит обращений к геокодеру. Тут надо смотреть на специфику вашей задачи.

Возможно получиться геокодировать адреса при первом запросе. Т.е. первый пользователь работающий с этими адресами будет долго ждать, зато все остальные будут работать уже с координатами из базы.

Алексей

28 января 2016, 07:30

Ну я предполагаю из расчёта один ключ на 25000 запросов, с генерировать 6 ключей, что бы отпарсить 140 тысяч адресов, запросы слать через CURL,потом парсить JSON-овский ответ, возможные ip баны обходить проксёй.... но как то хочется проще.

Обрабатывать каждый адрес индивидуально по запросу - тоже приходила такая мысль, но... как то это не очень, хочется один раз отмучиться и иметь готовую базу, чем цедить по капельке.

Михаил Королев

28 января 2016, 07:30

жестоко. вам сервера яндекса и других пользователей карт не жалко ?))))

добавлять по первому запросу самое правильное - тем более что пришедший гугл или яндекс вам всё проиндексят :) - мало того - это будет готовым решением при онлайн пополнении базы адресов.

Александр Новиков

28 января 2016, 07:30

Если ничего не путаю, то ограничение на 25 тыс. запросов - это в сутки. Так что с ключами можно не париться :)

И есть у меня сомнение что прям все 140 тыс. адресов используются постоянно и активно. Возможно стоит подумать над алгоритмом, чем делать все сразу грубым brute force :)

Алексей

28 января 2016, 07:30

И есть у меня сомнение....

- и у меня тоже, но партия сказала надо!

p.s.

25 тыс. запросов - это в сутки

- а отпарсить хочется всё за один день, корпеть над этим неделю - извольте!

Александр Новиков

28 января 2016, 07:30

А зачем корпеть неделю? Вы что собираетесь за скриптом следить? :) И даже если предположить что один адрес будет обрабатываться в течении секунды - и то часов 38 на все понадобиться. В реальности больше.

Скрипт пишется в течении часа. Потом в течении 10 минут он запихивается в кронтаб и пусть себе понемногу работает... Все равно записи надо обрабатывать по 10-15 штук за один запуск скрипта, ибо так надежней.

Алексей

28 января 2016, 07:30

а вот на счёт 38-ми часов это да...

Михаил Королев

28 января 2016, 07:30

пока вы будете готовиться к публикации проекта - пройдёт неделя - начните сегодня :)

okakiy

28 января 2016, 07:30

я из гугла соснул :) Только там они наоборот, в смысле широта и долгота. По началу понять не мог, чего это у меня по координатам Москвы вылезает какое-то киргуду непонятное :)

Алексей

28 января 2016, 07:30

а большой объём? были какие нибудь проблемы(ограничения/баны) с гуглум?

orehov.y

28 января 2016, 07:30