В значительной степени модернизирован сервис поиска схем

1. Введена "морфология" русского языка (на очереди англ.язык; планомерный ввод морфологии радиоэлектронных терминов, если отсутствуют)
2. Введен автоматический перевод вводимого запроса на русский и английский языки ("словарь" пока очень небольшой, на очереди расширение "словаря". Если есть в наличие НЕшифрованные версии словарей по радиоэлектронике - не откажемся от предложений или полезных ссылок)
3. Модернизирован механизм выдачи более релевантных документов вверху:
   1. Увеличен "вес" заголовка документа по сравнению с телом
   2. При прочих равных условиях более редкие слова выводятся выше
   3. Из поиска исключены стоп-слова
   4. Есть и другие know-how, которые наиболее полезны для поиска терминов по радиоэлектронике и электронным компонентам
4. Удаленые все неработающие сторонние ссылки. Теперь планируется периодическая проверка существующих и внесение сторонних ссылок только с сохранением копии страницы.

Работа совсем не закончена в этом направлении. После исключения не фатальных багов, в дальнейшем планируется как улучшение самого механизма поиска-каталога, так и количественное наполнение каталога.

Будем признательны за конструктивную критику, замечания, пожелания и вопросы.

Будем рады участию в нашем проекте заинтересованных лиц (писать на e-mail в правой колонке "Контакты").

Пользуюсь случаем, чтобы высказать свое мнение по поводу поиска схем, т.к. это объявление как раз натолкнуло на мысль попробовать задать запрос по одной из актуальных сейчас тем на форуме:
http://www.rlocman.ru/forum/showthread.php?t=1346
Итак, попытка была найти что-то относящееся к теме "усилитель для гитары".
Учитывая, что результаты поиска могут быть достаточно интернациональными, порадовал автоматический перевод на английский (точнее, попытка, но это уже можно приветствовать) и включение этих слов в поиск.
Однако есть и обратная сторона: не найдя ничего, точно подходящего к заданному запросу, поиск выдал 782 результата, относящиеся просто к слову "усилитель" (что вобщем не удивительно, учитывая популярность такого термина).
Причем насторожило даже не отсутствие подходящего результата и не большое количество слегка похожих по названию, а то, что во первых, среди результатов попадались самые разные усилители, в том числе не только не гитарные, но и совсем даже не звуковые, и во вторых, нередко предварительные анотации представленной ссылки не совсем соответствовали ее реальному содержанию.

В этой связи у меня возникла мысль о некоторой нерациональности существующего способа представления ссылок.
Например, если на каком-то сайте есть информация по более, чем одной теме, то все имеющиеся здесь указания на это разделены как самостоятельные, т.е. среди результатов поиска может оказаться большое число таких, которые на самом деле направляют почти в одно и то же место.
Таким образом если на каком-то сайте есть 30 документов, включенных в поисковую манину Радиолоцмана и соответствующих тематике запроса, то все они будут представлены как отдельные результаты, разбросанные среди других, хотя на мой взгляд на самом деле результат должен быть всего один, хотя и с указанием всего имеющегося в нем разнообразия!
Таким образом сейчас попадая на многотематичный сайт и не будучи полностью уверенным в том, что все полезное, что там находится, в обязательном порядке включено в поисковую машину Радиолоцмана, лично я стараюсь пересмотреть по местной навигации сайта все, что может быть полезно.
Потом продолжая изучение результатов поиска приходится неоднократно натыкаться на нередко многочисленные результаты, отсылающие к уже знакомым страницам, при том среди этих повторяющихся результатов затеряны и "одиночные" ссылки на другие сайты, ради которых и имеет смысл дальше пересматривать все немалое общее количество, наполненное "повторами".
Конечно, около каждого результата есть некоторое указание его происхождения, из которого можно понять, что это ссылка на уже посещенный сайт, но понятно это становится только при открытии конкретной страницы с результатами, которых для успокоения приходится перепроверить иногда очень много (см. пример выше), да и вообще это совсем не обязательная нагрузка на мозги, которая только зря отнимает время и силы.

И разделение тематики могло бы быть более четким, например, врядли имеет смысл выдавать в результатах ссылки на ВЧ усилители, если запрос был по звуковым и соответственно наоборот.

Ну и еще одна уже известная трудность - когда велся описанный выше поиск (вчера), после выдачи первых результатов перейти на вторую их страницу так и не удалось - постоянно выдавалось сообщение о том, что такая страница не найдена, при том то же происходило в течение 3-4 часов при любой повторной попытке зайти в раздел сайта "Схемы", хотя на форуме все работало вполне нормально (с учетом "местных особенностей", о которых я уже писал в соседней теме здесь: http://www.rlocman.ru/forum/showthre...=2615#post2615 ), потом доступ к этому разделу так же внезапно восстановился.

Итак, поиск прошел 2 стадию модернизацию и стал значительно лучше. Если в кратце, не в даваясь, в подробности описать процесс поиска (не только на нашем сервере, а вообще) можно так по этапам:

1. Удаление из поискового запроса стоп-слов (мусор)
2. Добавление в поисковый запрос уточняющих слов
   1. морфология=склонения и пр
   2. перевод на другой язык (нестандартный подход, примененный у нас)
3. Вывод отсортированных результатов по их значимости (программисты называют это релевантностью)

Замечу, что абсолютно не важно сколько выдается результатов на запрос, главное - чтобы наиболее значимые (релевантные) документы были как можно "выше".

Цитата:

Сообщение от RVRSS

Итак, попытка была найти что-то относящееся к теме "усилитель для гитары".

Плюс для этого запроса мы добавили перевод слова "гитара" (я писал выше, что в "словаре" у нас очень мало слов, он наполнялся "вручную". Будет возможность - установим полноценный на 10 тысяч). Итак имеем новые результаты:
усилитель для гитары
Прокомментриую, результаты

1. Откинуто стоп-слово "для" (представляете, что было бы если в результаты были включены документы с этим предлогом?)
2. Морфология - произведен поиск по всем формам слов (например, усилители, усилителя усилителем и пр.) Добавлены переводы слов (и не одни, например: amp, amplifier для усилителя). Кстати, "морфология" позволила перевести правильно слово "гитары" (т.к. в ловаре оно хранится в именительном падеже)
3. Вывод по релевантности. Тоже не тривиальная задача. Не вдаваясь в подробности, только прокомментирую конечные результаты
   1. Сначала идут 3 результата, где одновременно встречаются оба слова - усилитель и гитара. Далее идут документы, где встречается только 1 слово
   2. Потом идут 2 результата с наиболее редким словом из 2-х - гитара
   3. Остальные реузльтаты со словом усилитель (т.к. оно более популярное, то считается менее значимым)

Есть еще куча всяких параметров, которые влияют на поиск (например, в заголовках слова более значимы, чем в тексте и пр.) И все это должно работать достаточно быстро при больших объемах данных. Я просто привел все это (правда вкратце), чтобы показать, что реализация процесса грамотно построенного поиска - не такая уж тривиальная задача, как может показаться на первый взгляд. В общем, все и даже крупные поисковики работают по этим же принципам.

Надеюсь, что ряд вопросов, поднятых в предыдущем посте, уже сняты.

Цитата:

Сообщение от RVRSS

Причем насторожило даже не отсутствие подходящего результата и не большое количество слегка похожих по названию, а то, что во первых, среди результатов попадались самые разные усилители, в том числе не только не гитарные, но и совсем даже не звуковые

Тут уж ничего не поделаешь. Программа для этого должна обладать примитивным "интеллектом". Это решаемо частично с помощью экспертных систем, накапливаемой базы знаний и пр. Но все это имеет смысл при больших объемах данных.

Цитата:

Сообщение от RVRSS

, и во вторых, нередко предварительные анотации представленной ссылки не совсем соответствовали ее реальному содержанию.

Не думаю, что таких документов много. Вообще в будущем, я думаю, база будет пополняться за счет собственных документов, расположенных непосредственно на сервере, что снимет данную проблему.

Цитата:

Сообщение от RVRSS

В этой связи у меня возникла мысль о некоторой нерациональности существующего способа представления ссылок.
Например, если на каком-то сайте есть информация по более, чем одной теме, то все имеющиеся здесь указания на это разделены как самостоятельные, т.е. среди результатов поиска может оказаться большое число таких, которые на самом деле направляют почти в одно и то же место. ...

Спорный момент. С другой стороны можно сказать, что меня не интересует с какого сайта этот документ, главное чтобы он был. Для повторов документов - а вдруг, какой нибудь из сайтов лежит в данный момент.
Хотя справедливости, стоит сказать, что дубли будут постепенно удалться, по крайней мере после того, как этот документ появится непосредственно на сервере РадиоЛоцмана.

Цитата:

Сообщение от RVRSS

Ну и еще одна уже известная трудность - когда велся описанный выше поиск (вчера), после выдачи первых результатов перейти на вторую их страницу так и не удалось - постоянно выдавалось сообщение о том, что такая страница не найдена.

Есть такие трудности с нагрузкой на сервер. Частично их решили, но не в полной степени. Решим обязательно.

Спасибо, за внимание

Кстати, есть функции расширенного поиска
усилитель для гитары
Здесь выводятся документы, где присутствуют оба слова

Пока возник маленький вопрос по сходной теме - поиску на форуме.
Вот при ответе в теме:
http://www.rlocman.ru/forum/showthread.php?t=1445
вспомнил, что уже раньше писал об этом и захотел найти ту тему (она представлена в ссылке в моем ответе).
Речь была о полевых транзисторах фирмы International Rectifier, но точных цифр в названиях могло и не быть или я их не помню, поэтому просто задал в поиске "IRF", но никакого полезного результата к сожалению не получил и пришлось искать самому вручную перебирая списки тем.
В чем же причина?
Что делать, если я например хочу найти все темы, где упоминаются транзисторы указанной фирмы?

Поиск по форуму:
тут у нас движок сторонней разработки и соответсвенно поиск тоже. Что нужно знать при поиске (может пригодится и для других поисковиков).

Полнотекстовый поиск предполагает поиск только по "словам", но НЕ по их части. "Слово" представляет собой набор цифро-буквенных символов, разделенных пробелами, переносами строк и т.д. Отсюда следует:

1. Многие поисковики справедливо ставят ограничения на мин. длину индексируемого слова. В данном случае (еще раз повторюсь стороннего движка) было установлено по умолчанию - 4. Т.е. "слова" длиной 3 символа просто не участвовали в поиске. Мы исправили эту установку - сейчас в поиске участвуют слова длиной 3 и более символов. См.:
IRF

2. Кроме того, следует меть в виду, что обычный поисковик не ищет по части слова. Т.е., если в документе есть слово, скажем IRF6610, но нет отдельного слова IRF, то результаты поиска будут нулевыми.

В отличие от этого, на других разделах Радиолоцмана используется собственный движок, который частично ищет по части слова. См. например: IRF
если сюда добавить еще морфологию (склонения, времена и пр.), словарь, то преимущество собственного движка Радиолоцмана будет очевидным. Поэтому мы держим курс в дальнейшем на замену форумного движка на собственный. Вообще, потихоньку идем к созданию поиска по всему сайту с возможностью поика по каждому из разделов в отдельности.

P.S. Спасибо RVRSS за дельное (впрочем как всегда) замечание.

Хорошо работаете ребята,мне бы так.

Работаем?
А я вот и не заметил...
Да, это уже диагноз!
Подумываю обратиться к врачу...

Вот еще один интересный случай из практики поиска схем - захотел найти схему от AKAI 2107, который обсуждался в разделе о ТВ.
К сожалению, ни один из полученных многих ответов в виде ссылок не приводил на указанные страницы со схемами, а всегда только на одну и ту же страницу на самом Радиолоцмане, посвященную вообще поиску схем.
(обратите внимание на изчезновение цифр в окончании адреса перенаправления при преходе по этимм ссылкам)
В итоге кое-как вышел на нужную страницу со схемой через указанную ниже ссылку на домашнюю страницу сайта, на котором расположены схемы, и воспользовавшись уже тамошним внутренним поиском.
Если все так работает, то не вижу смысла в указании в ответах на запрос в поиске множественных ссылок на итоговые документы - ведь выйти на них напрямую все равно невозможно.
Надо или это исправлять, или давать в ответах только действительно рабочие ссылки на главные страницы сайтов, где находятся искомые документы.

Смотрел этот случай и раньше
http://www.rlocman.ru/shem/search.html?q=AKAI+2107
но все времени не было ответить

В выдаче - верхние 3 ссылки по теме. Из них первая (архив) рабочая (была и раньше рабочей), а 2-е последующие - фактически работающие, но не отображался текст по каким то причинам на их сервере (то ли реклама блокировала, то ли еще что, сам текст страницы был, но в браузере не отображался). Сейчас там вроде исправили.

Вообще, - это неблагодарный труд - поддерживать качество чужих ссылок, поэтому держать курс на пополение базы схем только из страниц, располдоженных на нашем сервере.

Наверное, надо будет сделать что то типа файлообменника. Сейчас идут большие работы по модернизации сервера, если заметили
На очереди создание собственной систем поиска по форуму и интеграции этого поиска в поиск по всему сайту - http://www.rlocman.ru/search.html , ну и еще много что намечается...