2021-05-31 12:58
博雯 发自 凹非寺

量子位 报道 | 公众号 QbitAI

你是否也有过这样的时候。

厨具清洁正水声大作，手机突然响了起来。这时你满手泡沫水渍，大脑瞬间空白：


sad。

那，语音控制？

Siri表示周围水声太大我好像不明白你在说什么。

至于手势控制……我手要空着还会有这个问题吗！


那有没有更nice的一种方式呢？

这个可以有—— 牙齿控制了解一下。

通过 牙齿动作*（teeth gestures）*来代替常规输入方式。

这就是来自康奈尔大学SciFi实验室的一项新研究—— TeethTap。

效果展示

TeethTap是一种可穿戴系统，主要由耳后佩戴的IMU和接触式麦克风组成。




如果能将这套系统集成到相关设备，那么既不用动手，也不用顾忌环境噪音的设备控制方式，或许就真的未来可期了。

那么，它到底是怎么实现的呢？

13种基础牙齿动作

好，现在，先咬个牙。

注意到了吗，你在活动牙齿时，你的舌头、下颌骨，以及口腔肌肉都会随之运动。

而研究人员在 设计基本牙齿动作时，便是受此启发。

对于牙齿接触的范围，以舌头朝向 （引申到下颌方向）为y轴，以侧面运动方向为x轴，这里x-y平面的四个极限点就可以描述为现实动作里的前、后、左、右。



通过以上两个维度，共设计了13种基础的“牙齿动作” （teeth gestures）。


就像26个英语字母可以组成无数单词一样，这13个“基本动作”也可以组合成为各种生活中的常用指令。

“动声结合”的硬件设备

TeethTap主要由两个接触式麦克风 （BU-30179-000）和两个惯性测量单元 （IMU）组成。看外形有点像造型奇怪，设备繁多的运动耳机。


自然弯曲的PLA灯丝将IMU传感器压在耳朵下方的下颌骨处，并将麦克风固定到耳后的颞骨上，而麦克风则连接到可以放大和过滤声音信号的定制PCB板上。

在运动时，来自麦克风 （声传感器）的滤波数据和来自IMU的陀螺仪数据，分别通过板载12位的ADC和I2C通信发送到微控制器 （HUZZAH32）。

最后，HUZZAH32将数据发送到计算机以使用WiFi进行处理。


从去躁到识别

那么上述的 数据分析及传输算法具体是怎么实现的呢？

流程图是这样：


首先从连续数据流中划分一个以2s为单位的滑动窗口，随着数据不断流入流出，滑动窗口也进行20次/s的移动。

当检查到音频数据出现足够的尖峰时，再检查陀螺仪的y轴绝对最大值是否超过预定的能量阈值，以此来判定是否有动作发生。

而对于咀嚼或说话等可行为能产生的噪声干扰，研究人员也实现了带有线性核的SVM模型分类器，对接收数据里的噪声段和动作段进行了区分。

在对数据进行分割并过滤掉噪声之后，再使用K近邻算法（k = 1）对手势进行分类。

再使用DTW距离函数在每次迭代中输出一个值，最终将具有最小距离值的手势确定为预测动作。

团队介绍

SciFi是位于康奈尔大学计算机与信息科学系的跨学科实验室。


而对于现在的这款TeethTap，作者也坦然承认只是概念性的展示，所以不管是在外表美观程度还是功能性上都还有所欠缺。

而未来的整体思路是以足够小的电子元件，将整个系统集成在耳机、听筒，甚至是一副眼镜框架上。

等等？


参考链接：

[1]https://spectrum.ieee.org/tech-talk/biomedical/bionics/the-next-frontier-for-gesture-control-is-teeth

[2]https://arxiv.org/pdf/2102.12548.pdf

[3]
https://youtu.be/HdmoSGWE2vo

— 完—

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

点这里 ?关注我，记得标星哦～

英伟达CV公开课免费报名！

p.s. 报名后还可入群获取其他 课程回放、 课程PPT、 源代码哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~返回搜狐，查看更多
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。