Блог Яндекса
май 2005
Большие базы данных
1 мая 2005, 23:35
Большие базы данных это страшная вещь. По одной простой причине -- их содержимое сложно себе представить. Судить о том, что в них на самом деле находится внутри можно только запросам выдающим суммарные значения каких-нибудь полей.
Ответ получаешь через секунду, например, "1525882.25". А вдогонку "всего 212384 строки". Представляете себе распечатку из 212384 строк и графу "Итого" в конце?
При этом база данных работает в режиме онлайн 24 часа в сутки и 7 дней в неделю. В то время, пока мы спим, завтракаем или катаемся на лыжах, десятки транзакций одновременно выполняют множество изменений. Иногда удивляешься, как удается поддерживать данные в согласованном состоянии?
А дело в том, что все ходы записаны. В прямом смысле этой фразы. База данных ведет журнал всех своих изменений и может быть восстановлена на любой момент времени.
Иногда разработчики вынуждены выполнять операции массированного обновления данных, когда одной командой изменяются миллионы строк. В эти моменты некоторые из нас сталкиваются с острым чувством неведомого страха, хотя сознательно понимают, что ничего непоправимого произойти не может...Валерий Холодков, ведущий разработчик
Mozilla Firefox
7 мая 2005, 18:24
Многие сотрудники Яндекса пользуются в качестве основного браузера программой Mozilla Firefox. В мире этим браузером по сайтам ходят до 20% пользователей, в России пока меньше, однако со временем эта цифра растёт.
Я хочу рассказать, какие есть расширения и дополнения для Firefox, позволяющие облегчить взаимодействие с сервисами Яндекса. Обратите внимание, практически все они разработаны не в Яндексе, и мы не несём ответственности за их работоспособность
Хотите знать, что за сайт вы посещаете? Yandex Cy -- расширение, позволяющее для каждого посещаемого сайта посмотреть значение CY (индекса цитирования), а также категорию, позицию и описание сайта в Каталоге Яндекса.Yandex Search -- расширение, позволяющее, выделив текст на странице, щёлкнуть правой кнопкой и поискать этот текст любой из девяти поисковых служб Яндекса (поиск по вебу, поиск по блогам, Маркет, Энциклопедии, Карты, Картинки, Новости, Каталог, Лингво).Большую часть этих поисковых служб также можно добавить в поисковую строку Firefox. Хорошая подборка поисковых плагинов доступна на yafirefox.narod.ru.Вероятно, не все знают, что можно искать даже из адресной строки Firefox. Подробно про это в приложении к сервисам Яндекса рассказано на yafirefox.narod.ru/bookmark.html.Более того, искать выделенное слово можно даже при помощи специальной закладки. Подробнее про это можно прочитать в помощи Яндекса (выбирайте вариант для Netscape).Ещё один вариант поиска выделенного слова: можно заменить Google на Yandex в контекстном меню (пункт меню Search Web for "выделенное слово"). Для этого наберите в адресной строке Firefox адрес about:config и нажмите Enter. В поле filter наберите "search.defaulturl" (без кавычек) и снова нажмите Enter. Щёлкнув два раза на строке defaulturl, вставьте туда вот такую строку: http://www.yandex.ru/yandsearch?text=Что это я только про поиск? У Яндекса есть ещё и почта. При помощи расширения WebMailCompose можно настроить Firefox так, чтобы при нажатии на любую ссылку на написание писем, встречающуюся на веб-страницах, открывалось окно создания письма на Яндекс.Почте. Чтобы этого добиться, зайдите в настройки расширения. На вкладке "General" установите галочку "Left click", из выпадающего списка выберите "other". На вкладке "WebMail Services" уберите все галочки, кроме "Enable Other", в строчку рядом впишите: http://mail.yandex.ru/compose?to=^T&subject=^S&body=^M&cc=^C&bcc=^B
Счастливого сёрфинга!Роман Иванов, менеджер проектов
Улучшаем поиск по блогам
23 мая 2005, 16:18
На поиске по блогам и форумам произошли небольшие обновления.
Во-первых, по умолчанию поиск теперь ведётся без группировок по источнику (автору или серверу). В выдаче теперь может находиться много записей одного и того же автора, что в некоторых случаях избыточно, но зато искать упоминания (себя ли любимого или отзывов о цифровом фотоаппарате конкретной марки) стало гораздо проще.
Во-вторых, теперь, при пользовании расширенным поиском, выбранные в нём настройки можно использовать и на странице выдачи. Чекбокс, появляющийся под поисковой строкой, позволяет уточнять запрос, не возвращаясь в расширенный поиск.
В-третьих, резко уменьшено количество англоязычных потоков в базе поиска. Теперь даже по запросам, не содержащим русских слов, выдача содержит в основном записи авторов Рунета.Роман Иванов, менеджер проектов
Улучшаем Спамооборону
24 мая 2005, 11:43
В «Спамообороне» - программе, которая защищает почту Яндекса, мы достигли прогресса – научились детектировать сети и компьютеры, с которых происходит спамовая рассылка, причем не постфактум, а, так сказать, прямо на лету.
Это хорошо видно на майских графиках:
Красная кривая отражает процент числа входящих соединений, которым было отказано в коннекте из-за того, что данный компьютер скрыто или открыто используется для рассылки спама. Как видите, процент детектируемых "на входе" спаммерских компьютеров вырос в начале мая с 50-60% до 80-90%.
Желтая кривая отражает процент числа принятых писем, помещенных в папку "Спам" (для новых пользователей) или "Рассылки+Спам" (для старых пользователей, не пожелавших менять схему работы с почтой). То есть, желтая кривая показывает долю принятых писем, не попавших в папку "Входящие", иными словами, долю спама, "доступного" пользователям. Как видно из картинки, доля такого спама уменьшилась с 80-90% до 60-65%.
Что это значит для пользователя? Кроме общего повышения качества фильтрации это значит, что за счет новых алгоритмов мы перестали принимать большую часть спама. Это значит, что у пользователей стала меньше спама и в папке "Спам", и это значит, что стало легче нашим серверам.
Задачку о том, на сколько процентов сократилось дисковое пространство, требуемое для хранения спама на наших дисках, я оставляю нашим читателям, а в качестве подсказки напомню знаменитую задачу про грибы: "Ребята принесли из леса два килограмма грибов с 99%-ной влажностью, подсушили так, что содержание влаги в грибах упало до 98%, и взвесили. Так сколько же весят грибы после усушки?"Илья Сегалович, директор по технологиям
Как Яндекс.Новости на два часа перестали быть автоматическим сервисом
25 мая 2005, 18:20
Сегодня утром мне позвонил главный редактор Газеты.ру Владислав Бородулин и спросил, как мы смотрим на то, чтобы начать трансляцию новостей об аварии в системах энергноснабжения не автоматически, как обычно работают Яндекс.Новости, а вручную - так как большинство информационных сайтов недоступны, в том числе и Газета.ру. Признаться, об аварии я узнал из звонка Бородулина и попросил немного времени на организацию альтернативного способа публикации новостей, договорившись созвониться.
Действительно, абсолютное большинство московских новостных сайтов "лежали", что немедленно сказалось на главных новостях на Яндексе: сюжеты застыли в том виде, в каком были сформированы до аварии.
Мы быстро сделали публиковалку новостей прямо на страницах Яндекса и начали ставить на специальную страницу новости от ряда центральных источников, которые передавались нам по телефону и по факсу (увы, до Газеты.ру, которая стала инициатором ручной ленты, мы так и не смогли дозвониться).
Стандартные пять новостей на главной странице были заменены на анонс:
---------------------------------
Сегодня в Москве - массовое отключение электричества.
Нарушена работа многих систем, в том числе и интернета.
Автоматическое обновление Яндекс.Новостей продолжается, однако не все источники доступны.
Ряд СМИ сообщают нам информацию по телефону, читайте ленту последних новостей.
---------------------------------
К счастью, вскоре новостные источники постепенно начали подниматься, робот Яндекс.Новостей вновь заработал, и спустя час пять новостей на главной странице снова были результатом автоматической работы компьютерной программы.
Дмитрий Иванов, директор по проектам
Самый длинный домен
26 мая 2005, 11:46
Найдётся все! Даже самый длинный домен, на который его создатель израсходовал 239 символов. Полностью имя домена звучит так: "www.public-organization-capital-of-the-world.which-establishes-world-records-welcomes-all-inhabitants.of-the-planet-and-invites-them-to-visit-our-ancient-city.yours-faithfully-chairman-of-government-anatolij-kosjanchuk.epak.infocom.lviv.ua".
Если внимательно прочитать, что в нем написано, можно заметить упоминание имени и фамилии anatolij-kosjanchuk. Остается надеяться, что первые 30 слов в названии домена не являются его отчеством.Александр Садовский, руководитель отдела веб-поиска