关键词库-Go 语言高效分词, 支持英文、中文、日文等
Go 语言高效分词, 支持英文、中文、日文等
词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。
支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RPC服务。
分词速度单线程9MB/s,goroutines并发42MB/s(8核Macbook Pro)。
安装/更新
go get -u github.com/go-ego/gse
Build-tools
go get -u github.com/go-ego/re
re gse
To create a new gse application
$ re gse my-gse
re run
To run the application we just created, you can navigate to the application folder and execute:
$ cd my-gse && re run
使用
|
|
- 原文作者:知识铺
- 原文链接:https://geek.zshipu.com/post/crawler/%E5%85%B3%E9%94%AE%E8%AF%8D%E5%BA%93-Go-%E8%AF%AD%E8%A8%80%E9%AB%98%E6%95%88%E5%88%86%E8%AF%8D-%E6%94%AF%E6%8C%81%E8%8B%B1%E6%96%87%E4%B8%AD%E6%96%87%E6%97%A5%E6%96%87%E7%AD%89/
- 版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,非商业转载请注明出处(作者,原文链接),商业转载请联系作者获得授权。
- 免责声明:本页面内容均来源于站内编辑发布,部分信息来源互联网,并不意味着本站赞同其观点或者证实其内容的真实性,如涉及版权等问题,请立即联系客服进行更改或删除,保证您的合法权益。转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。也可以邮件至 sblig@126.com