Better Sorted Search Results with Xapian

If you're using Xapian in 1.6.3 or even in 1.7beta2 the displayed results from a xapian search are NOT always good (comparing to the "slow" MoinMoin Search). In Xapian, I guess, there are some weights used, but I just do not understand how/where this is configurable.

Examples

FullTextSearch for a single word

Searching for the term: MoinMoin

• http://lotek.heavy.ch/Index?action=fullsearch&context=180&value=MoinMoin&fullsearch=Text

 * Volltextsuche: "MoinMoin"

Ergebnisse 1 - 20 von about 238 Ergebnisse aus ungefähr 1251 Seiten. (0.94 Sekunden)

MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (log-1.7.py) . . . 10 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (ShowRev-1.7.py) . . . 9 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
WikiKurs/01 Was ist ein MoinMoin-Wiki? . . . 13 Treffer
    ...nd speichern, sie sind sofort danach verfügbar. Inhalt steht vor Aussehen. * sicher: MoinMoin merkt sich alle alten Seitenversionen * vernetzt: die Informationen im Wiki sind seh...

1.6k - Rev: 1 (aktuelle) zuletzt geändert: 0
WikiCourse/01 What is a MoinMoin wiki? . . . 13 Treffer
    ... content, which is available at once. Content is more important than design. * safe: MoinMoin remembers all old page versions. * cross-linked: the information in the wiki is high...

1.5k - Rev: 1 (aktuelle) zuletzt geändert: 0
WikiKurs/01 Was ist ein MoinMoin-Wiki . . . 13 Treffer
    ...nd speichern, sie sind sofort danach verfügbar. Inhalt steht vor Aussehen. * sicher: MoinMoin merkt sich alle alten Seitenversionen * vernetzt: die Informationen im Wiki sind seh...

1.6k - Rev: 1 (aktuelle) zuletzt geändert: 2008-01-07 12:23:08
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (simplemente-chico.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (moose.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (greenmist.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (explorer_theme.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (exampletheme.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (classic_dark.jpg) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (StartSeite.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (ShowCSV.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (MoinMoinArchitecture.png) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoinWiki/Erweiterungen und Anpassungen für MoinMoin 1.6 (Desktop.zip) . . . 4 Treffer

65.3k - Rev: 6 (aktuelle) zuletzt geändert: 2008-03-26 13:26:20
MoinMoin/TextFormatting . . . 9 Treffer
    ... system and help pages ONLY in the moinmaster wiki! For more ## information, please see MoinMaster:MoinPagesEditorGroup. ## MoinMoin/TextFormatting was replaced by HelpOnMoinWikiSy...

0.4k - Rev: 1 (aktuelle) zuletzt geändert: 0
MoinMoin . . . 101 Treffer
    ...MoinMoin is a Python Wiki:WikiClone, based on Wiki:PikiPiki. The name is a common German slang expression (see MoinMoin:MoinMoinEtymology for more about that). If you run a Wiki us...

2.7k - Rev: 1 (aktuelle) zuletzt geändert: 0

• Why the main page "MoinMoin" with 101 Hits is not on first position?

Note
If you're using more then one word, the search results are getting much better.

Category Search

If you've got a page like:

<<FullSearchCached(cat:Linux)>>

see: http://lotek.heavy.ch/CategoryLinux

The first 20 results are displayed like:

# v4l-dvb
# sK1
# procps
# pdftk
# loadavg
# iftop
# htop
# getdeb
# freies Magazin
# dvdauthor
# dvd::rip
# blueMarine
# bin-bash
# ardour
# Zarafa
# Yalm-Magazine
# Xara
# Wing IDE
# Wine-doors
# Wicd

• It would be better if the search could be alphabetically.

Wanted

• Default resultliste from user started search should be sorted with weights (BM25)

  • An option (buttons) to resort the resultpage to alphabeticaly (pagename) or date (latest rev first)

• A search from a macro like FullSearch or PageList should use default alphabeticaly, but the possiblity to change this behavior to date or weights

Other Ideas

Just some inputs, don't know if this is "compatible" with the xapian or the current used moinmoin query parser.

• FrequencyScore - If the search word is found repeated, then the page should also more scores to receive

• LocationScore - Dependently where the search term is found (title, header1-3, category, wiki text, attachment) then the page should it different scores received (e.g. a title hit should count more then a text hit)

• DistanceScore - If the two or more words (search term) are closer (together), the more score should this page received

• DateScore - If a page is more current, then it should more scores to receive

• HitScore - If a page got more visitors (hits), then it should more scores to receive

• PagerankScore - like google, documents which many references from other pages, become better weighted

• LinkTextScore - if a page contains links to other pages, then it should score more, depent on the amount of links

• AlphabeticallyScore - pages with "a" should score more then pages with "b" (this should be only used if some pages get same score)

Maybe the system need to be configurable; that you can say witch score you would like to use/add (also possible to set some priority); e.g. in a CategoryCategory page - it would be ONLY an AlphabeticallyScore.

IF we all could/would use xapian bultin features, then we would have the greates wiki/search engine in the world so no need to reinvent the wheel.

• Sorting

• QueryParser

• Spelling Correction

• Stemming

• Synonyms

• Value Ranges

thx -- MarcelHäfner 2008-05-14 22:00:26

CategoryFeatureRequest