XAPIAN简介（一）

1. IR简介
谈到xapian就得先提基本概念，xapian，lucene是什么？他们这些的本质就是**IR 信息检索（Information Retrieval）**的实现方式。再直白点就是你给我一个关键词，我给你从筛选出一堆你想要的文章。
那就先聊聊信息检索的基本概念，首先我们拿到一篇文章就是要分词，也就是去掉无意义的词。
举个例子:
文件一：Students should be allowed to go out with their friends, but not allowed to drink beer.
那么我经过分词得到词元(Token)如下: “Students”，“allowed”，“go”，“their”，“friends”，“allowed”，“drink”，“beer”，“My”，“friend”，“Jerry”，“went”，“school”，“see”，“his”，“students”，“found”，“them”，“drunk”，“allowed”

而这些词中有很多再提取词干，如“cars”到“car”等，我们把提取的词干称之为term(词)。
常见的分词技术一般都是基于mmseg算法。常用的分词器有firso等。然后这些term和document之间会创建索引，大家可以想象为书籍的目录。之后的系列文章我会剖析xapian的源码，给大家聊xapian的c++架构包大家爽。

2. xapian的数据库文件结构
我谈的版本是xapian1.2.2版本是新的稳定开发版本。
XAPIAN创建数据库后主要有如下7张表，相对而言前面三张表是重点 。
1. posting listtable 保存了被每一个term索引的document，实际上保存的应该是document在database中的Id，此Id是的。
2. record table 保存了每一个document所关联的data，data不能通过query检索，只能通过document来获取。
3. term list table 保存了索引每个document的所有的term。
4. position listtable 保存了每一个Term出现在每一个document中的位置。
5. value table 保存了每一个document的values，values是用作保存、排序或其它作用的。
6. spellingtable 保存了拼写纠正的数据。
7. synonymtable 保存术语的字典，例如NBA、C#或C++等。

然后查询的时候，可以说是我知道了你给的term，我就能在posting listtable中查询到含有这个term的document的id。而决策出document的先后顺序，则有很多算法，例如BM25,BOOL算法等。具体的算法我并不谈，我主要是来谈xapian的C++代码的。

3.xapian的源代码目录和结构
1.下载源码在linux下，直接
./configue
make
make install(这步不成功也不用慌张，只要make没出错就行)
编译好后就会有
libxapian.a
libgetopt.a
libflintcheck.a 1.0V (1.0版本以后出现)
libchertcheck.a 1.2V (1.2版本以后出现)
libbrasscheck.a 1.4V (1.4版本以后出现)
上面第三步出错的同学，你在xapian的目录下输入ls -a然后看到了那个.lib文件夹了吧，把里面我提到的这几个库拷贝到你想拷贝的目录下就好了，程序link的时候指向你的那个目录就好了。
libflintcheck.a，libchertcheck.a ，libbrasscheck.a 分别是xapian的三种数据存储格式。

我们用的头文件在include文件夹下，即xapian.h，这个文件其实是一个总的头文件，里面引用了xapian各个模块的API。具体的API看官网帮助文档。
api目录下给的都不是实际代码的实现，只是一个架子，也就是你看的给你用的头文件直接对应的.cc。xapian使用了pimpl的设计模式，即实际做事的是类的一个私有成员，这个成员是一个类的指针也是一个接口类，用的C++多态实现了chert，barss,flint三种数据模式的切换。
C++功力不深的同学想研究xapian的实现，就直接看backends目录下的源码吧，这里面都是实际功能的实现。


————————————————
版权声明：本文为CSDN博主「RobotZKB」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ZHOUKUANBIN/article/details/51029158