工程篇之搭建以图搜图服务

基于内容的召回在推荐系统中是比较常见的召回策略,常见有基于用户或物品的标签召回或者基于用户的年龄,地域等召回,一般该策略的实现是基于开源软件 Elasticseach 实现的。虽然召回的结果都比较合理,但是召回的新颖度,惊喜度等都比较低。比如通过标签“刘德华”进行召回,基本上召回的都是包含刘德华字眼的物品,不太可能召回出“黎明”,“张学友”等其他四大天王的物品。近年随着万物皆可 Embedding,特别是 word2vec,item2vec, graph2vec 等技术的成功应用,通过物品向量召回物品向量的方法也成为推荐系统中比较常用的召回策略。本文着重讲述通过开源软件 Vearch 来搭建一个向量搜索服务,并成功实现以图搜图的功能。

[阅读全文]
 |   

推荐算法深入浅出之协同过滤

相关推荐是一种常见的推荐场景,比如资讯流推荐中详情页下方的推荐列表(基于物品的相关推荐),微信看一看(基于用户的相关推荐)等。 在这个场景中必然绕不开一个算法:协同过滤算法。

[阅读全文]
 |   

推荐算法深入浅出之逻辑回归

谈及机器学习或推荐算法,不得不提入门级的逻辑回归算法。但我们真的掌握逻辑回归了么?不妨回答一下以下问题:

  1. 逻辑回归的代价函数以及公式推导?
  2. 批量梯度下降和随机梯度下降的差异?
  3. 样本太大,导致特征编码耗时太长怎么办?
  4. 如何优化随机梯度下降使得算法又快又准?

如果你对上述问题心里没底不妨读下这篇文章。本文分为四个部分,第一部分介绍逻辑回归算法的推导过程,以便理解算法背后的理论基础;第二部分介绍逻辑回归的实现细节 ,包含特征散列的技巧以及学习率自适应,使得算法能够支撑更大的数据集。第三部分简单的安利一波逻辑回归的工业级实现工具 Vowpal Wabbit,最后一部分分享一些在学习逻辑回归过程中的思考。

[阅读全文]
 |