Development of a sensorized tip for physical activity classification and fall detection

Resumen

The need for rehabilitation has increased over the years. The individualisation of rehabilitation plays an important role in improving the lives of people in need. Within this individualisation of rehabilitation, the use of physical activity data can be very useful to know the condition of the person. But the knowledge of constant physical activity is almost impossible for therapists.The use of technology, with the purpose of helping to know the physical activity performed by people, is becoming more and more common. Through the sensorization of the person, very interesting data can be obtained to help in rehabilitation. In addition, thanks to this sensorization, it is possible to know other types of events, such as a fall, whose rapid action can avoid increasing the need for rehabilitation.Typically this type of sensorization is done using wearable sensors, but several researchers have proposed the use of sensors integrated into assistive devices for walking for those who need them, as this solution is less invasive. While many of the devices can measure physical activity, they have the disadvantage that the sensing elements are fixed to the assistive devices for walking. This may prevent the user from being comfortable, as it is not the assistive device for walking that he/she normally uses. For this reason, the design of an interchangeable sensor tip between different assistive devices for walking is very important.This paper presents an innovative prototype of a sensorized tip that can be interchanged between different assistive devices for walking. It is capable of classifying different physical activities as well as detecting falls. The developed tip is able to adapt to different assistive devices for walking on the market. In addition, this sensorized tip consists of a series of sensors that provide the information needed to classify physical activities and detect falls. These sensors are: a force sensor to measure axial forces; a 3-axis accelerometer, a 3-axis gyroscope and a 3-axis magnetometer to measure movement; and a barometer to measure height variations. In addition, the data from these sensors is sent via Bluetooth Low Energy, making the devices autonomy very high. Because people when using an assistive device for walking do not always use it in the most appropriate way and tend to twist the device, an algorithm is proposed to estimate what is the angle of advance. In this way the data of the Lateromedial and Anteroposterior angles can be obtained in a simple way. This sensorized tip is validated by a series of tests to achieve good measurement errors.In order to know the physical activity carried out by the assistive device for walking user, a classifier capable of classifying 5 different physical activities is created. The use of Machine Learning techniques is considered for this purpose. In order to use these techniques, it is proposed the segmentation of the data in windows by events to create a series of features for each window. Since the number of features is very high, a dimensionality reduction using Random Forest is proposed in order to use the most relevant ones. Once these most important features are known, it is proposed to use K-Nearest Neighbors (K-NN), Support Vector Machine (SVM) and Artificial Neural Network (ANN) to classify between walking, fast walking, going up stairs, going down stairs and standing still. The classifiers performed are compared with each other, achieving results between 92% and 97%, using only 7 features.Moreover, a fall detector is proposed through the use of the sensorized tip. This fall detector, like the physical activity classifier, follows a methodology in which the data is first divided into windows and then a set of features is generated. This is followed by dimensionality reduction of the features and an SVM-based detector. This classifier is based on two modules, one of which detects when the assistive device for walking is dropped and the other one detects when the person with the assistive device for walking is fallen. Results higher than 0.96 F-Score are achieved. Finally, the results obtained by the sensorized tip-based detector are compared with the results obtained by wearable sensors.EUSKARAErrehabilitazio beharra areagotu egin da urteak igaro ahala. Indibidualizazioak oso eginkizun garrantzitsua du errehabilitazio beharra duten pertsonen bizitza hobetzeko. Errehabilitazioaren indibidualizazio horren barruan, jarduera fisikoari buruzko datuak erabiltzea oso baliagarria izan daiteke pertsonaren egoera ezagutzeko. Baina jarduera fisiko etengabea ezagutzea ia ezinezkoa da terapeutentzat.Teknologiaren erabilera, pertsonek egiten duten jarduera fisikoa ezagutzeko, gero eta ohikoagoa da. Pertsonaren sentsorizazioaren bidez, oso datu interesgarriak lor daitezke errehabilitazioan laguntzeko. Gainera, sentsorizazio horri esker, beste gertaera mota batzuk ezagutzea lor daiteke, hala nola erorketa bat gertatzen denean, eta horien jarduera azkarrak errehabilitazio beharra areagotzea ekidin dezake.Oro har, sentsorizazio mota hori sentsore eramangarrien bidez egiten da, baina hainbat ikertzailek proposatu dute sentsore integratuak erabiltzea laguntza teknikoko gailuetan, behar duten pertsonentzat, eta soluzio hori ez da hain inbaditzailea. Gailu askok jarduera fisikoa neur badezakete ere, elementu sentsoreak ibiltzeko laguntza gailuetan finko egotearen eragozpena dute. Horrek erabiltzailea eroso egotea eragotz dezake, ez baita normalean erabiltzen duen ibiltzeko laguntza gailua. Hori dela eta, ibiltzeko laguntza gailu ezberdinen artean alda daitekeen punta sentsorizatu baten diseinua oso garrantzitsua da.Lan honek ibiltzeko laguntza gailu ezberdinen artean trukatzeko gai den punta sentsorizatuaren prototipo berritzailea aurkezten du. Jarduera fisikoak sailkatzeko eta erorikoak detektatzeko gai da. Garatutako punta merkatuko ibiltzeko laguntza gailuetara egokitzeko gai da. Gainera, sentsorizatutako punta honek sentsoreak ditu, jarduera fisikoen sailkapena egiteko eta erorikoak detektatzeko informazioa ematen dutenak. Sentsore hauek dira: indar axialak neurtzeko indar-sentsore bat; 3 ardatzeko azelerometro bat, 3 ardatzeko giroskopio bat eta 3 ardatzeko magnetometro bat mugimendua neurtzen dutenak; eta altuera aldaketak neurtzeko barometro bat. Gainera, sentsore horien datuak Bluetooth Low Energy bidez bidaltzen dira, gailuaren autonomia oso handia izan dadin. Jendeak ibiltzeko laguntza gailu bat erabiltzen duenean ez duenez beti modurik egokienean erabiltzen eta gailua okertzen duenez, aurrerapen angelua zein den kalkulatzeko algoritmo bat proposatzen da. Horrela, Lateromedial eta Anteroposterior angeluetako datuak erraz lor daitezke. Punta sentsorizatu hori proba batzuen bidez balioztatzen da, eta neurketa-errore onak lortzen diraIbiltzeko laguntza gailuaren erabiltzaileak egindako jarduera fisikoa ezagutu ahal izateko, 5 jarduera fisiko sailkatzeko gai den sailkatzaile bat egiten da. Machine Learningen teknikak helburu horretarako erabiltzea proposatzen da. Teknika horiek erabili ahal izateko, datuak gertaeren arabera leihoetan segmentatzea proposatzen da, leiho bakoitzeko hainbat ezaugarri sortzeko. Ezaugarrien kopurua oso handia denez, Random Forest erabiliz dimentsionaltasuna murriztea proposatzen da, garrantzitsuenak erabili ahal izateko. Ezaugarri garrantzitsu horiek ezagutu ondoren, K-Nearest Neighbors (K-NN), Support Vector Machine (SVM) eta Artificial Neural Network (ANN) erabiltzea proposatzen da, ibiltzeko, azkar ibiltzeko, eskailerak igotzeko, eskailerak jaisteko eta geldirik egoteko jarduera fisikoak sailkatzeko. Egindako sailkatzaileak elkarren artean alderatzen dira, %92 eta %97 arteko emaitzak lortuz.Gainera, erorikoak detektatzeko punta sentsorizatua erabiltzea proposatzen da. Erorikoa detektagailu horrek, jarduera fisikoen sailkatzaileak bezala, metodologia bati jarraitzen dio. Metodologia horretan, lehenik eta behin, datuak leihoetan zatitzen dira, ondoren zenbait ezaugarri sortzeko. Ondoren, dimentsionaltasun murrizketa eta SVMn oinarritutako detektagailua egiten dira. Sailkatzaile hori bi moduluren arabera egiten da; modulu batek ibiltzeko laguntza gailua erori denean detektatzeko balio du, eta besteak ibiltzeko laguntza gailua duen pertsona erori denean detektatzeko. F-Score-ren 0.96tik gorako emaitzak lortzen dira. Azkenik, sentsorizatutako puntan oinarritutako detektagailuak lortutako emaitzak sentsore eramangarrien bidez lortutako emaitzekin alderatzen dira.CASTELLANOLa necesidad de rehabilitación se ha visto incrementada con el paso de los años. La individualización de esta juega un papel muy importante para mejorar la vida de las personas que la requieren. Dentro de esta individualización de la rehabilitación, el uso de los datos de la actividad física puede ser muy útiles para conocer el estado de la persona. Pero el conocimiento de la actividad física constante es casi imposible para los terapeutas.El uso de la tecnología, con el propósito de ayudar al conocimiento de la actividad física realizada por las personas, es cada vez más común. Mediante la sensorización de la persona se pueden conseguir datos muy interesantes para ayudar en la rehabilitación. Además, gracias a esta sensorización se puede conseguir conocer otro tipo de eventos, como una caída, cuya actuación rápida puede evitar incrementar la necesidad de rehabilitación.Por lo general este tipo de sensorización se realiza mediante el uso de sensores vestibles, pero varios investigadores han propuesto el uso de sensores integrados en los dispositivos de ayuda técnica, para aquellas personas que los necesitan, siendo esta solución es menos invasiva. Si bien muchos de los dispositivos pueden medir la actividad física, estos tienen el inconveniente de que los elementos sensores se encuentran fijos en los dispositivos de ayuda a la marcha. Esto puede impedir que el usuario se encuentre cómodo, ya que no es el dispositivo de ayuda a la marcha que el usa habitualmente. Por ese motivo, el diseño de una contera sensorizada intercambiable entre los distintos dispositivos de ayuda a la marcha es muy importante.Este trabajo presenta un prototipo innovador de contera sensorizada capaz de intercambiarse entre distintos dispositivos de ayuda a la marcha. Esta es capaz de clasificar diferentes actividades físicas, así como de detectar caídas. La contera desarrollada es capaz de adaptarse a los distintos dispositivos de ayuda a la marcha del mercado. Además, esta contera sensorizada consta de una serie de sensores que aportan la información para la realización de la clasificación de actividades físicas y detección de caídas. Estos sensores son: un sensor de fuerza para medir las fuerzas axiales; un acelerómetro de 3 ejes, un giroscopio de 3 ejes y un magnetómetro de 3 ejes para medir el movimiento; y un barómetro para medir las variaciones de altura. Además, los datos de estos sensores se envían vía Bluetooth Low Energy, haciendo que la autonomía del dispositivo sea muy elevada. Debido a que la gente cuando usa un dispositivo de ayuda a la marcha no siempre lo usa de la manera más adecuada y suele torcer el dispositivo, se propone un algoritmo para estimar cual es ángulo de avance. De esta manera se pueden conseguir los datos de los ángulos Lateromedial y Anteroposterior de manera sencilla. Esta contera sensorizada se valida mediante una serie de pruebas consiguiendo unos errores de medición buenos.Para poder conocer la actividad física realizada por el usuario del dispositivo de ayuda a la marcha, se realiza un clasificador capaz de clasificar 5 diferentes actividades físicas. Se propone del uso de técnicas de Machine Learning para este propósito. Para poder usar estas técnicas, se propone la segmentación de los datos en ventanas por eventos para crear una serie de características por cada ventana. Debido a que el número de características es muy elevado, se propone una reducción de dimensionalidad mediante el uso de Random Forest, para así poder usar las más relevantes. Una vez conocidas estas características más importantes, se propone el uso de K-Nearest Neighbors (K-NN), Support Vector Machine (SVM) y Artificial Neural Network (ANN) para clasificar entre andar, andar rápido, subir escaleras, bajar escaleras y estar quieto. Los clasificadores realizados se comparan entre sí, consiguiendo resultados entre el 92% y el 97%.Además, se propone un detector de caídas mediante el uso de la contera sensorizada. Este detector de caídas, al igual que el clasificador de actividades físicas, sigue una metodología en la cual primero se realiza una división de los datos en ventanas para después generar una serie de características. Luego se realiza una reducción de dimensionalidad y un detector basado en SVM. Este clasificador se hace en base a dos módulos, los cuales uno sirve para detectar cuando el dispositivo de ayuda a la marcha se ha caído y el otro detecta cuando se ha caído la persona con el dispositivo de ayuda a la marcha. Se consiguen resultados mayores del 0.96 de F-Score. Por último, se comparan los resultados obtenidos por el detector basado en la contera sensorizada con los resultados obtenidos por sensores vestibles. // The need for rehabilitation has increased over the years. The individualisation of rehabilitation plays an important role in improving the lives of people in need. Within this individualisation of rehabilitation, the use of physical activity data can be very useful to know the condition of the person. But the knowledge of constant physical activity is almost impossible for therapists.The use of technology, with the purpose of helping to know the physical activity performed by people, is becoming more and more common. Through the sensorization of the person, very interesting data can be obtained to help in rehabilitation. In addition, thanks to this sensorization, it is possible to know other types of events, such as a fall, whose rapid action can avoid increasing the need for rehabilitation.Typically this type of sensorization is done using wearable sensors, but several researchers have proposed the use of sensors integrated into assistive devices for walking for those who need them, as this solution is less invasive. While many of the devices can measure physical activity, they have the disadvantage that the sensing elements are fixed to the assistive devices for walking. This may prevent the user from being comfortable, as it is not the assistive device for walking that he/she normally uses. For this reason, the design of an interchangeable sensor tip between different assistive devices for walking is very important.This paper presents an innovative prototype of a sensorized tip that can be interchanged between different assistive devices for walking. It is capable of classifying different physical activities as well as detecting falls. The developed tip is able to adapt to different assistive devices for walking on the market. In addition, this sensorized tip consists of a series of sensors that provide the information needed to classify physical activities and detect falls. These sensors are: a force sensor to measure axial forces; a 3-axis accelerometer, a 3-axis gyroscope and a 3-axis magnetometer to measure movement; and a barometer to measure height variations. In addition, the data from these sensors is sent via Bluetooth Low Energy, making the devices autonomy very high. Because people when using an assistive device for walking do not always use it in the most appropriate way and tend to twist the device, an algorithm is proposed to estimate what is the angle of advance. In this way the data of the Lateromedial and Anteroposterior angles can be obtained in a simple way. This sensorized tip is validated by a series of tests to achieve good measurement errors.In order to know the physical activity carried out by the assistive device for walking user, a classifier capable of classifying 5 different physical activities is created. The use of Machine Learning techniques is considered for this purpose. In order to use these techniques, it is proposed the segmentation of the data in windows by events to create a series of features for each window. Since the number of features is very high, a dimensionality reduction using Random Forest is proposed in order to use the most relevant ones. Once these most important features are known, it is proposed to use K-Nearest Neighbors (K-NN), Support Vector Machine (SVM) and Artificial Neural Network (ANN) to classify between walking, fast walking, going up stairs, going down stairs and standing still. The classifiers performed are compared with each other, achieving results between 92% and 97%, using only 7 features.Moreover, a fall detector is proposed through the use of the sensorized tip. This fall detector, like the physical activity classifier, follows a methodology in which the data is first divided into windows and then a set of features is generated. This is followed by dimensionality reduction of the features and an SVM-based detector. This classifier is based on two modules, one of which detects when the assistive device for walking is dropped and the other one detects when the person with the assistive device for walking is fallen. Results higher than 0.96 F-Score are achieved. Finally, the results obtained by the sensorized tip-based detector are compared with the results obtained by wearable sensors.EUSKARAErrehabilitazio beharra areagotu egin da urteak igaro ahala. Indibidualizazioak oso eginkizun garrantzitsua du errehabilitazio beharra duten pertsonen bizitza hobetzeko. Errehabilitazioaren indibidualizazio horren barruan, jarduera fisikoari buruzko datuak erabiltzea oso baliagarria izan daiteke pertsonaren egoera ezagutzeko. Baina jarduera fisiko etengabea ezagutzea ia ezinezkoa da terapeutentzat.Teknologiaren erabilera, pertsonek egiten duten jarduera fisikoa ezagutzeko, gero eta ohikoagoa da. Pertsonaren sentsorizazioaren bidez, oso datu interesgarriak lor daitezke errehabilitazioan laguntzeko. Gainera, sentsorizazio horri esker, beste gertaera mota batzuk ezagutzea lor daiteke, hala nola erorketa bat gertatzen denean, eta horien jarduera azkarrak errehabilitazio beharra areagotzea ekidin dezake.Oro har, sentsorizazio mota hori sentsore eramangarrien bidez egiten da, baina hainbat ikertzailek proposatu dute sentsore integratuak erabiltzea laguntza teknikoko gailuetan, behar duten pertsonentzat, eta soluzio hori ez da hain inbaditzailea. Gailu askok jarduera fisikoa neur badezakete ere, elementu sentsoreak ibiltzeko laguntza gailuetan finko egotearen eragozpena dute. Horrek erabiltzailea eroso egotea eragotz dezake, ez baita normalean erabiltzen duen ibiltzeko laguntza gailua. Hori dela eta, ibiltzeko laguntza gailu ezberdinen artean alda daitekeen punta sentsorizatu baten diseinua oso garrantzitsua da.Lan honek ibiltzeko laguntza gailu ezberdinen artean trukatzeko gai den punta sentsorizatuaren prototipo berritzailea aurkezten du. Jarduera fisikoak sailkatzeko eta erorikoak detektatzeko gai da. Garatutako punta merkatuko ibiltzeko laguntza gailuetara egokitzeko gai da. Gainera, sentsorizatutako punta honek sentsoreak ditu, jarduera fisikoen sailkapena egiteko eta erorikoak detektatzeko informazioa ematen dutenak. Sentsore hauek dira: indar axialak neurtzeko indar-sentsore bat; 3 ardatzeko azelerometro bat, 3 ardatzeko giroskopio bat eta 3 ardatzeko magnetometro bat mugimendua neurtzen dutenak; eta altuera aldaketak neurtzeko barometro bat. Gainera, sentsore horien datuak Bluetooth Low Energy bidez bidaltzen dira, gailuaren autonomia oso handia izan dadin. Jendeak ibiltzeko laguntza gailu bat erabiltzen duenean ez duenez beti modurik egokienean erabiltzen eta gailua okertzen duenez, aurrerapen angelua zein den kalkulatzeko algoritmo bat proposatzen da. Horrela, Lateromedial eta Anteroposterior angeluetako datuak erraz lor daitezke. Punta sentsorizatu hori proba batzuen bidez balioztatzen da, eta neurketa-errore onak lortzen diraIbiltzeko laguntza gailuaren erabiltzaileak egindako jarduera fisikoa ezagutu ahal izateko, 5 jarduera fisiko sailkatzeko gai den sailkatzaile bat egiten da. Machine Learningen teknikak helburu horretarako erabiltzea proposatzen da. Teknika horiek erabili ahal izateko, datuak gertaeren arabera leihoetan segmentatzea proposatzen da, leiho bakoitzeko hainbat ezaugarri sortzeko. Ezaugarrien kopurua oso handia denez, Random Forest erabiliz dimentsionaltasuna murriztea proposatzen da, garrantzitsuenak erabili ahal izateko. Ezaugarri garrantzitsu horiek ezagutu ondoren, K-Nearest Neighbors (K-NN), Support Vector Machine (SVM) eta Artificial Neural Network (ANN) erabiltzea proposatzen da, ibiltzeko, azkar ibiltzeko, eskailerak igotzeko, eskailerak jaisteko eta geldirik egoteko jarduera fisikoak sailkatzeko. Egindako sailkatzaileak elkarren artean alderatzen dira, %92 eta %97 arteko emaitzak lortuz.Gainera, erorikoak detektatzeko punta sentsorizatua erabiltzea proposatzen da. Erorikoa detektagailu horrek, jarduera fisikoen sailkatzaileak bezala, metodologia bati jarraitzen dio. Metodologia horretan, lehenik eta behin, datuak leihoetan zatitzen dira, ondoren zenbait ezaugarri sortzeko. Ondoren, dimentsionaltasun murrizketa eta SVMn oinarritutako detektagailua egiten dira. Sailkatzaile hori bi moduluren arabera egiten da; modulu batek ibiltzeko laguntza gailua erori denean detektatzeko balio du, eta besteak ibiltzeko laguntza gailua duen pertsona erori denean detektatzeko. F-Score-ren 0.96tik gorako emaitzak lortzen dira. Azkenik, sentsorizatutako puntan oinarritutako detektagailuak lortutako emaitzak sentsore eramangarrien bidez lortutako emaitzekin alderatzen dira.CASTELLANOLa necesidad de rehabilitación se ha visto incrementada con el paso de los años. La individualización de esta juega un papel muy importante para mejorar la vida de las personas que la requieren. Dentro de esta individualización de la rehabilitación, el uso de los datos de la actividad física puede ser muy útiles para conocer el estado de la persona. Pero el conocimiento de la actividad física constante es casi imposible para los terapeutas.El uso de la tecnología, con el propósito de ayudar al conocimiento de la actividad física realizada por las personas, es cada vez más común. Mediante la sensorización de la persona se pueden conseguir datos muy interesantes para ayudar en la rehabilitación. Además, gracias a esta sensorización se puede conseguir conocer otro tipo de eventos, como una caída, cuya actuación rápida puede evitar incrementar la necesidad de rehabilitación.Por lo general este tipo de sensorización se realiza mediante el uso de sensores vestibles, pero varios investigadores han propuesto el uso de sensores integrados en los dispositivos de ayuda técnica, para aquellas personas que los necesitan, siendo esta solución es menos invasiva. Si bien muchos de los dispositivos pueden medir la actividad física, estos tienen el inconveniente de que los elementos sensores se encuentran fijos en los dispositivos de ayuda a la marcha. Esto puede impedir que el usuario se encuentre cómodo, ya que no es el dispositivo de ayuda a la marcha que el usa habitualmente. Por ese motivo, el diseño de una contera sensorizada intercambiable entre los distintos dispositivos de ayuda a la marcha es muy importante.Este trabajo presenta un prototipo innovador de contera sensorizada capaz de intercambiarse entre distintos dispositivos de ayuda a la marcha. Esta es capaz de clasificar diferentes actividades físicas, así como de detectar caídas. La contera desarrollada es capaz de adaptarse a los distintos dispositivos de ayuda a la marcha del mercado. Además, esta contera sensorizada consta de una serie de sensores que aportan la información para la realización de la clasificación de actividades físicas y detección de caídas. Estos sensores son: un sensor de fuerza para medir las fuerzas axiales; un acelerómetro de 3 ejes, un giroscopio de 3 ejes y un magnetómetro de 3 ejes para medir el movimiento; y un barómetro para medir las variaciones de altura. Además, los datos de estos sensores se envían vía Bluetooth Low Energy, haciendo que la autonomía del dispositivo sea muy elevada. Debido a que la gente cuando usa un dispositivo de ayuda a la marcha no siempre lo usa de la manera más adecuada y suele torcer el dispositivo, se propone un algoritmo para estimar cual es ángulo de avance. De esta manera se pueden conseguir los datos de los ángulos Lateromedial y Anteroposterior de manera sencilla. Esta contera sensorizada se valida mediante una serie de pruebas consiguiendo unos errores de medición buenos.Para poder conocer la actividad física realizada por el usuario del dispositivo de ayuda a la marcha, se realiza un clasificador capaz de clasificar 5 diferentes actividades físicas. Se propone del uso de técnicas de Machine Learning para este propósito. Para poder usar estas técnicas, se propone la segmentación de los datos en ventanas por eventos para crear una serie de características por cada ventana. Debido a que el número de características es muy elevado, se propone una reducción de dimensionalidad mediante el uso de Random Forest, para así poder usar las más relevantes. Una vez conocidas estas características más importantes, se propone el uso de K-Nearest Neighbors (K-NN), Support Vector Machine (SVM) y Artificial Neural Network (ANN) para clasificar entre andar, andar rápido, subir escaleras, bajar escaleras y estar quieto. Los clasificadores realizados se comparan entre sí, consiguiendo resultados entre el 92% y el 97%.Además, se propone un detector de caídas mediante el uso de la contera sensorizada. Este detector de caídas, al igual que el clasificador de actividades físicas, sigue una metodología en la cual primero se realiza una división de los datos en ventanas para después generar una serie de características. Luego se realiza una reducción de dimensionalidad y un detector basado en SVM. Este clasificador se hace en base a dos módulos, los cuales uno sirve para detectar cuando el dispositivo de ayuda a la marcha se ha caído y el otro detecta cuando se ha caído la persona con el dispositivo de ayuda a la marcha. Se consiguen resultados mayores del 0.96 de F-Score. Por último, se comparan los resultados obtenidos por el detector basado en la contera sensorizada con los resultados obtenidos por sensores vestibles.