Кафедра
Инженерных дисциплин
 
Краснодонский факультет инженерии и менеджмента
Восточноукраинского национального университета
имени Владимира Даля
Чт, 03.10.2024, 12:08
Приветствую Вас Гость | RSS
Меню сайта

Форма входа

Категории раздела
Новости Факультета!!! [141]
Новости нашего региона [484]
Новости науки и техники [1134]
IT- новости [942]
Авто-новости [98]
Сообщения об интересных событиях [414]
Зарубежные новости [203]
Новости материаловедения [74]
Водород [28]
Сведения о влиянии водорода. Водородная энергетика.
Здоровье [126]
Новости образования [48]
Новости университета [43]
Новости Украины [70]
Разное [320]
Триботехника [1]
Компьютерные игры [43]
Программирование [9]
Подготовка к поступлению [162]

Поиск

Главная » 2010 » Июль » 10 » Яндекс разработал технологию поиска данных в реальном времени
10:21
Яндекс разработал технологию поиска данных в реальном времени

Яндекс разработал технологию поиска данных в реальном времени

Компания Яндекс разработала и внедрила новую поисковую технологию, которая позволяет находить совсем свежие документы — через минуты после их появления в интернете.

Достаточно много поисковых запросов (от 2% в спокойные дни до 8% в дни важных событий) посвящено событиям, которые случились совсем недавно. Задавая эти запросы, пользователи ожидают найти в том числе и документы, которые были созданы только что. Чтобы хорошо отвечать на такие запросы, Яндекс, во-первых, научился выявлять их среди общего потока, и во-вторых, внедрил нового поискового робота — Orange. Orange работает в режиме реального времени. Он умеет находить свежие документы, как только они появились в интернете, индексировать их и выкладывать на поисковые сервера буквально за несколько секунд.

Некоторые сайты интернета обновляются не очень часто, а на других — например, на новостных ресурсах — новые документы создаются постоянно. Orange обходит такие сайты и добавляет новые документы в поиск по мере их появления, без задержек.

Чтобы определять, нужна ли свежая информация в ответ на те или иные запросы, Яндекс разработал несколько детекторов. Они анализируют самую разную информацию — например, тематику сообщений в СМИ или рост количества поисковых запросов по той или иной теме.

Напомним, что около полугода назад подобные системы реального времени были внедрены также на поисковиках Google и Microsoft Bing.

«В интернете сейчас все больше real-time информации, которая нужна людям прямо сейчас. И мы хотим дать им возможность находить её прямо сейчас, — говорит Федор Романенко, менеджер качества поиска. — Это только первый шаг, конечно, мы будем улучшать качество поиска по новостным запросам и дальше. Новая технология дает возможность делать это сравнительно легко».

Робот Orange и технология поиска в реальном времени были разработаны специалистами из Yandex.Labs — калифорнийского офиса компании — в сотрудничестве с разработчиками из московского офиса.

Как говорится в блоге компании, Orange познает ссылочную структуру интернета. Для этого ему достаточно скачивать и переобходить только часть «старых» страниц — хоть и достаточно большую. Полученные знания позволяют Orange обнаруживать почти все новые страницы, выбирать из огромного их количества все хоть сколько-нибудь интересные и мгновенно рассчитывать для них ссылочные факторы ранжирования. Вслед за роботом Orange документы обрабатывает Real-Time поиск — он подхватывает выбранные документы, индексирует их и за секунды выкладывает на поиск.

"С помощью Orange мы достигли значительного улучшения свежести базы. В будущем мы сделаем его еще более агрессивным: Orange будет использовать все доступные источники информации об изменениях в интернете и реагировать на эти изменения мгновенно", - говорят в Яндексе.

Кластер Orange Crawler реализован как распределенная вычислительная система: на каждой машине одновременно выполняются сотни небольших задач, результаты их работы в виде маленьких асинхронных сообщений отправляются на другие машины. На всем кластере сегодня обрабатывается более 100 000 сообщений в секунду. Подобная архитектура позволяет исключить задержки при обработке Real-Time информации.

mobus.com

http://www.internetua.com/yandeks-razrabotal-tehnologiua-poiska-dannih-v-realnom-vremeni
Категория: Разное | Просмотров: 620 | Добавил: Professor | Рейтинг: 0.0/0
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Мы - Далевцы!

Календарь
«  Июль 2010  »
ПнВтСрЧтПтСбВс
   1234
567891011
12131415161718
19202122232425
262728293031

Архив записей

Наши партнёры
  • Кафедра гуманитарных и социально-экономических дисциплин
  • Официальный блог
  • Сообщество uCoz
  • FAQ по системе
  • Инструкции для uCoz

  • Статистика

    Онлайн всего: 1
    Гостей: 1
    Пользователей: 0

    Copyright MyCorp © 2024     Created by Alex Kalinin