行使AnalyticDB轻快实现以图搜图和人脸检索
当前位置 :| 阿坝藏族羌族自治州却吧二手车交易网 > 车号 > 行使AnalyticDB轻快实现以图搜图和人脸检索

行使AnalyticDB轻快实现以图搜图和人脸检索

来源:http://www.sunaijie830711.cn 作者:阿坝藏族羌族自治州却吧二手车交易网 时间:2020-07-17 点击: 165

原标题:行使AnalyticDB轻快实现以图搜图和人脸检索

石阡县层隐装饰设计公司

1. 背景

以图搜图在生活中有着普及的行使, 当吾们在电视上望到有人穿着一件时兴的裙子或者帅气的球鞋也想拥未必, 吾们能够拍张照片然后掀开淘宝然后上传照片就能够迅速的找到这个商品. 吾们望到一张电影截图想清新出处的时候只要将图片粘贴到百度或者谷歌的图搜框中就能够找到有关电影的新闻. 以图搜图还能够议决照片在海量的人物相册中迅速的找到想要找的现在的. 当您在行使百度谷歌等搜索引擎的以图搜图功能的时候的时候是否觉得这栽"暗科技"遥不走及呢? 其实议决AnalyticDB挑供的深度学习算法和高效向量检索, 吾们只必要行使SQL就能够轻快的搭建一套以图搜图编制, 不必要掌握tensorflow, pytorch等深度学习框架, 也不必要学习OpenCV之类的视觉算法库. 本文将介绍如何议决AnalyticDB来迅速搭建一套以图搜图编制. 内容包括: 以图搜图原理介绍, AnalyticDB以图搜图演示, 以图搜图代码实现, AnalyticDB的产品介绍, 总结和演示编制的源码分享.

2.以图搜图原理介绍

以图搜图又被称为逆向图搜(Reverse image search)是一栽基于内容的图像检索(Content-based Image Retrieval) 技术. 以图片行为查询的对象, 以图搜图编制会在大量的图像记录中返回与查询图像内容最有关的记录. 例如, 商品图搜会返回与查询图片中主体物品相通或相通的图片新闻. 人脸的图搜会按照图片中人脸特征返回现在的人物的记录. 如下图所示是一个以图搜图的流程图. 以图搜图行使的核心模块有两个, 其中特征挑取模块主要负责从图像中挑取视觉特征, 从而获得一个高维的特征向量, 在这个高维特征空间中越相通的图像距离越近. 向量检索模块负责在海量的图像特征向量荟萃查找与查询图片特征最挨近的前k个记录, 并返回.

2.1 图像特征挑取

现在主流的特征挑取算法主要行使深度学习模型里如VGG[1], ResNet[2] , MobileNet[3], SqueezeNet[4]等模型行为骨干网络, 然后行使分歧的手段生成特征. 最浅易的手段是直接将分类模型例如VGG模型的分类层前一层输出行为图像的特征. 这栽算法在以图搜图场景中往往召回率不是很高. 第二栽手段是将模型的中间层的特征经过稀奇的的手段池化如RMAC[5], GeM[6] 和降维从而得到. 第三栽手段是将模型在现在的数据集上行使特意设计的亏损函数进走前一训练. 例如商品以图搜图特征挑取模型清淡必要在商品数据集上进走迁移学习, 才能更添实在的挑取分歧商品的视觉特征。

AnalyticDB挑供的通用以图搜图模型采用了阿里云自研的特征挑取模型.AnalyticDB模型行使海量图片训练并且行使了先辈的特征后处理手段. 与常用的VGG分类模型特征挑取模型相比, AnalyticDB行使了众个尺度的特征,更益的均衡图像的部门特征和高层次特征, 在众样的图像场景中有更益的泛化能力。

AnalyticDB还挑供了阿里云自研的人脸特识别模型, 基于大量数据训练, 模型已经在众个城市的安防和新零售场景大周围行使. 在百万人脸ID的相册中千分之一误识率下召回率能够达到99%.

2.2 向量检索

向量检索又称为比来邻( Nearest Neighbor Search, NN)检索, 主要负责在海量特征向量中迅速的查找与查询向量距离比来的k个记录, 固然暴力的计算查询向量与数据库中一切向量的距离然后再进走排序能够找到最相近的记录, 但是这栽手段的时间复杂度在大周围数据场景下无法已足需求的. 在实际行使场景中, 清淡行使近似比来邻检索(Approximate Nearest Neighbor, ANN)的手段, ANN主要是行使向量数据分布的特性以殉国肯定检索精度为代价,迅速的返回能够是查询现在的比来邻的记录. 常见的ANN的手段有基于部门敏感哈希(LSH)的手段[7], 基于乘积量化的手段[8]和基于图的手段[9].

3. AnalyticDB 非组织化分析工具OpenAnalytic

OpenAnalytic是AnalyticDB上的非组织化分析工具, OpenAnalytic 挑供了雄厚的图像, 视频, 文本分析的AI算法算子, 如人脸检测, 人脸识别, 人脸性别,年龄识别, 商品属性识别, 图像现在的检测, 声纹识别, 文本特征挑取等. 用户能够按照实际需求来肆意的行使这些AI算子来解放的编排本身的算法pipeline. 例如, 本问中行使的图像特征挑取pipeline和人脸特征挑取pipeline如下图所示. 用户只必要议决pipeline_create UDF创建pipeline, 就能够在AnalyticDB集群上分布式的运走这些已创建的pipeline获取非组织化数据分析的效果.

4. 以图搜图编制演示

吾们行使AnalytcDB搭建了两套演示编制, 一套是通用的以图搜图的编制另一套是人脸检索编制. 演示编制的源码已经一切开源, 只必要下载源码(代码地址见章节6)并开通AnalyticDB就能够一键启动演示编制. 为了方便用户体验, AnalyticDB推出了1元购运动, 只需1元就能够开通. 演示的架构如下图所示, 能够望到整挑架构特意浅易, AnalyticDB负责图像的识别和数据的存储, 查询, 不必要倚赖其他的诸如深度学习推理之类的服务.

4.1 以图搜图编制

以图搜图的演示界面如下图所示, 用户能够将本地图片批量的导入AnalyticDB行为搜索的现在的相册. 用户能够议决选择本地图片或填写网络图片的URL来进走以图搜图. 同时, 用户能够选择必要返回最相通的图片数现在。

吾们挑前向AnalyticDB中导入了近50000张图片. 如下图所示, 吾们行使一张鸟类的图片进走以图搜图(右侧图片预览), 能够望到返回的一切都是相通的鸟类的照片. 每张照片下方表现了与查询图片的特征的距离, 距离越近外示越相通。

4.2 人脸检索编制

吾们还能够用AnalyticDB搭建人脸检索编制, 能够议决人脸照片在相册中查询现在的人物的记录.人脸检索演示的架构与以图搜图几乎相通, 差别是行使了的是人脸特征挑取的算法pipeline. 吾们在底库中导入了13000众张人脸照片, 然后行使人脸照片进走查询,能够望到返回效果前3张都是与查询用户是联相符幼我, 向量的距离都比较幼, 由于吾们竖立了返回前10相近个效果, 但是相册中只有3张查询现在的的照片, 因而返回的后7个效果与查询现在的不是联相符幼我,车号 吾们也能够望到这7幼我与查询现在的的向量距离都远宏大于前3张。

5. 行使AnalyticDB搭建以图搜图编制

下面吾们来介绍如何行使AnalyticDB来实现上一章节介绍的以图搜图和人脸检索编制。

5.1 创建插件

别离创建AnalyticDB的非组织化分析插件OpenAnalytic和向量检索插件fastann

CREAT EXTENSION IF NOT EXISTS open_analytic;

CREAT EXTENSION IF NOT EXISTS fastann;

5.2 建外

吾们能够行使如下sql语句建外, 外中保存了图片的名称, 二进制文件和图像的特征向量(用户也能够将图片的文件保存至阿里云的OSS对象存储服务上.这边不做详细介绍)

CREATE TABLE image_search_table (

image_name TEXT NOT NULL, # 图像文件名

image_data BYTEA NOT NULL, # 图像二进制文件

feature REAL[] NOT NULL, # 图像特征

PRIMARY KEY (image_name)

);

5.3 建索引

为图像的特征向量列构建ANN索引添快查询速度.

CREATE INDEX image_search_feature_index

ON image_search_table USING ann (feature) WITH (dim = 1024);

5.4 创建特征挑取算法pipeline

议决以下sql能够实走4.3创建的pipeline。 这个UDF的输入是pipeline名称和图像的byte array。 输出是包含图像特征向量的JSON串

SELECT open_analytic.pipeline_run_dist_random('general_feature_extractor',

<image_byte_array>);

5.5 挑取图片特征向量

议决以下sql能够实走4.3创建的pipeline. 这个UDF的输入是pipeline名称和图像的byte array. 输出是包含图像特征向量的JSON串

SELECT open_analytic.pipeline_run_dist_random('general_feature_extractor',

<image_byte_array>);

5.6 图像数据导入

在获取图像特征以后, 能够将图像数据导入4.1创建的 image_search_table外中。

INSERT INTO image_search_table VALUES (<image_name>,

<image_byte_array>, <image_feature>);

5.7以图搜图查询

议决以下sql能够检索与查询图片向量最相通的前10条记录。

SELECT image_name, image_data, l2_distance(feature, <feature_vector>)

FROM image_search_table

ORDER BY feature <-> <feature_vector>

LIMIT 10;

5.8 人脸检索编制

以上吾们介绍了如何行使Analytic来实现以图搜图, 搭建人脸检索编制的逻辑与以图搜图编制几乎是相通的 只必要将5.1-5.6章节中行使的的pipeline名称从 'general_feature_extractor' 替换为 'face_feature_extractor' 就能够将以图搜图编制变成一幼我脸检索编制. 特意的方便.

6. AnalyticDB介绍

分析型数据库(AnalyticDB)是阿里云上的一栽高并发矮延时的PB级实时数据仓库,能够毫秒级针对万亿级数据进走即时的众维分析透视和营业追求。AnalyticDB for MySQL 周详兼容MySQL制定以及SQL:2003 语法标准, AnalyticDB forPostgreSQL 声援标准 SQL:2003,高度兼容 Oracle 语法生态。

向量检索和非组织化数据分析是AnalyticDB的进阶功能. 现在两款产品都包含向量检索功能, 能够声援人脸, 人体, 车辆等的相通查询和选举编制。AnalyticDB在实在行使场景中能够声援10亿级别的向量数据的查询, 毫秒级别的反响时间. AnalyticDB已经在众个城市的宏大项现在中大周围安放。

在清淡的包含向量检索的的行使编制中, 清淡开发者会行使向量检索引擎(例如Faiss)来存储向量数据, 然后行使有关型数据库存储组织化数据. 在查询时也必要交替查询两个编制, 这栽方案会有额外的开发做事并且性能也不是最优. AnalyticDB声援组织化数据和非组织化数据(向量)的检索,仅仅行使SQL接口就能够迅速的搭建首以图搜图或者图片 组织化数据同化检索等功能. AnalyticDB的优化器在同化检索场景中会按照数据的分布和查询的条件选择最优的实走计划,在保证召回的同时,得到最优的性能。AnalyticDB向量版采用了众项创新性技术, 这些技术在吾们的论文 AnalyticDB-V: A Hybrid Analytical Engine Towards Query Fusion for Structured and Unstructured Data 中有详细介绍介绍. 现在论文已经被数据库三大顶会之一的VLDB批准, 具有技术领先性.

组织化新闻 非组织化新闻(图片)同化检索在实际行使中被普及行使的. 例如人脸门禁编制被安放在众个幼区时, 吾们行使一张外存储了一切幼区的人脸特征, 在人脸检索时吾们只必要检索现在幼区的人脸特征. 在这栽情况下, 行使AnalyticDB吾们只必要在SQL中增补where 幼区名 ='xxx' 就能够简单实现。AnalyticDB同时挑供了先辈的图像文本分析算法, 能够挑取非组织化数据的特征和标签, 用户仅仅必要行使SQL就能够完善图像文本内容的分析.

更众新闻能够参考文章: https://zhuanlan.zhihu.com/p/82284704

7. 结语

本文介绍了如何行使AnalyticDB来搭建以图搜图, 人脸识别编制. 演示编制的源码能够在https://github.com/aliyun/alibabacloud-AnalyticDB-python-demo-AI 下载. AnalyticDB还声援其他五花八门人造智能算法如现在的检测, 商品识别, 声纹识别, 基因识别等等. 下一期吾们将介绍如何行使AnalyticDB做更添复杂的图像分析.

References

[1] Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).

[2] He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

[3] Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications." arXiv preprint arXiv:1704.04861 (2017).

[4] Iandola, Forrest N., et al. "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size." arXiv preprint arXiv:1602.07360 (2016).

[5] Gordo, Albert, et al. "Deep image retrieval: Learning global representations for image search." European conference on computer vision. Springer, Cham, 2016.

[6] Radenović, Filip, Giorgos Tolias, and Ondřej Chum. "Fine-tuning CNN image retrieval with no human annotation." IEEE transactions on pattern analysis and machine intelligence 41.7 (2018): 1655-1668.

[7] Indyk, Piotr, and Rajeev Motwani. "Approximate nearest neighbors: towards removing the curse of dimensionality." Proceedings of the thirtieth annual ACM symposium on Theory of computing. 1998.

[8] Jegou, Herve, Matthijs Douze, and Cordelia Schmid. "Product quantization for nearest neighbor search." IEEE transactions on pattern analysis and machine intelligence 33.1 (2010): 117-128.

[9] Malkov, Yury A., and Dmitry A. Yashunin. "Efficient and robust approximate nearest neighbor search using hierarchical navigable small world graphs." IEEE transactions on pattern analysis and machine intelligence (2018).

上云就望云栖号,点此查望更众:https://yqh.aliyun.com/?utm_content=g_1000100940

本文为阿里云内容,未经批准不得转载。

与西岸美术馆一同揭幕的,还有其与蓬皮杜中心五年展陈合作项目

7月13日,国家发改委副秘书长苏伟表示,今年及后续150项重大水利工程建设匡算总投资约1.29万亿元,能够带动直接和间接投资约6.6万亿元,年均新增就业岗位约80万个。

编者按:

此时推进全球化之路的TikTok,似乎有些生不逢时。

原标题:饰演过李秉宪童年角色的韩国童星们都有谁



Tag:行使,AnalyticDB,轻快,实现,以图,搜图,和,人脸

 

最新评论
评论内容:不能超过250字,需审核,请自觉遵守互联网相关政策法规。
用户名: 密码:
匿名?
>> 亚太时间:港股气氛转益 有看..

>> 原创海贼王:最后一位伙伴是..

>> 益兄弟就是必要时做你的女人..

>> 高管戴口罩直播3幼时 超27万人..

>> 美国女子监狱探亲室有床,探..

>> 股价一度突破900美元,特斯拉..

>> 原创年轻人首购如何选,这几..

>> ST锐电连续16天股价低于1元 逆..

>> 这是美国最强的卡车?当司机..

>> 原创库克比来喊出微信再不适..

>>  那些很实用的神奇宝贝,吸..

>> 广西明年高校艺术类统考总分..

>> 茅台经销商不当营销遭处罚..

>> 原创王炸之后再来王炸?瞄准..

>> 原创战斗铁汉独自与越军周旋..

>> 亚太时间:港股气氛转益 有看..

>> 原创海贼王:最后一位伙伴是..

>> 益兄弟就是必要时做你的女人..

>> 高管戴口罩直播3幼时 超27万人..

>> 美国女子监狱探亲室有床,探..

>> 股价一度突破900美元,特斯拉..

>> 原创年轻人首购如何选,这几..

>> ST锐电连续16天股价低于1元 逆..

>> 这是美国最强的卡车?当司机..

>> 原创库克比来喊出微信再不适..

>>  那些很实用的神奇宝贝,吸..

>> 广西明年高校艺术类统考总分..

>> 茅台经销商不当营销遭处罚..

>> 原创王炸之后再来王炸?瞄准..

>> 原创战斗铁汉独自与越军周旋..