Pourquoi nous avons besoin de plus de visibilité dans les algorithmes d'analyse des médias sociaux que nous utilisons

Pourquoi nous avons besoin de plus de visibilité dans les algorithmes d'analyse des médias sociaux que nous utilisons

Les médias sociaux sont de plus en plus devenus la lentille à travers laquelle nous observons le monde humain moderne. À son tour, la vaste industrie des plateformes d'analyse des médias sociaux sont devenues les instruments par lesquels nous utilisons cette lentille pour donner un sens à la société. Pourtant, malgré les décisions prises par les entreprises et les gouvernements dans le monde réel sur leurs résultats, nous savons étonnamment peu sur les algorithmes qui alimentent la plupart de ces plateformes, en particulier leurs cas de périphérie et les nuances interprétatives. Comment pouvons-nous prendre des décisions significatives sur les médias sociaux en fonction des résultats d'algorithmes dont nous ne connaissons rien?

Presque chaque plate-forme d'analyse des médias sociaux offre aujourd'hui une certaine forme d'analyse de sentiment, typiquement un score positif neutre-négatif simple, mais aussi occasionnellement quelques catégories supplémentaires plus nuancées comme la joie ou la peur.

Ces scores de sentiment sont devenus une ressource de Go-to pour comprendre les tendances sociales, classer la réaction aux sujets et aider à guider les décisions commerciales et de marketing.

Le calcul du sentiment des médias sociaux est une tâche extrêmement difficile, remplie de complexités.

Malheureusement, peu de sociétés de médias sociaux offrent des détails techniques de fond sur la façon dont leurs algorithmes de sentiment fonctionnent, les traitant comme des secrets d'affaires propriétaires.

Certains révèlent que leurs systèmes sont traditionnels simples "sac de mots" compteurs mot qui ont simplement deux listes de mots, un pour "positive" des mots et un pour les mots "négatifs" et juste compter jusqu'à combien de mots d'un tweet sont dans chaque liste. Certains ajoutent un score à chaque mot d'enregistrement juste comment «positif» ou «négatif», il est, de différencier entre «amour» et «comme» ou «déteste» et «aversion». Certains utilisent des algorithmes statistiques ou même neuronaux plus sophistiqués. Cependant, presque aucun partagent leurs listes de mots ou algorithmes réels.

Une visibilité rudimentaire sur les algorithmes de sentiment peut être trouvée en filtrant à des tweets juste négatifs ou positifs, puis en utilisant la fonctionnalité de nuage de mot d'histogramme offerte par la plupart des plateformes pour voir quels mots semblent dominer ces tweets. Cela peut aider à identifier les décorrespondances de vocabulaire particulièrement flagrantes.

Par exemple, un outil a systématiquement classé les tweets de basketball comme nettement plus négatifs que les tweets de football. Le coupable s'est avéré être le fait que de nombreux tweets de basket-ball dans l'échantillon contenait le mot «Cour» pour désigner le terrain de basket-ball, tandis que le dictionnaire de sentiment de l'outil étiqueté «Cour» comme un mot très négatif, en supposant qu'il a toujours renvoyé à un tribunal juridique.

De même, une autre analyse a montré des tweets sur les républicains étant beaucoup plus positifs que ceux sur les démocrates parce que pendant la période de l'échantillon démocrates ont été souvent désignés comme simplement «démocrates» alors que les républicains ont été systématiquement désignés comme «le Parti républicain. Le mot «partie» était incorrectement étiqueté par l'algorithme comme un mot très positif.

Les algorithmes de sentiment de rétro-ingénierie de cette façon peuvent aider à identifier les déviations entre les dictionnaires de l'algorithme et le domaine spécifique en cours d'examen. Certaines plateformes d'analyse sociale permettent à leurs utilisateurs d'ajuster manuellement les dictionnaires de sentiment appliqués à une analyse donnée, en prenant en charge l'adaptation de domaine, mais pas tous. Une telle analyse algorithmique peut également donner des indices quant à la provenance de son dictionnaire, avec quelques plateformes utilisant des dictionnaires de sentiment Open source bien connus légèrement modifiés.

Certains fournissent des indices enterrés dans leur documentation interne de l'utilisateur, comme notant que leur système de sentiment a été initialement formé sur quelques centaines de milliers ou quelques millions de tweets lorsque la société a été fondée et n'a pas été mis à jour depuis. En fait, peu de mise à jour de leurs dictionnaires en temps réel heure par heure pour capturer les dernières nuances linguistiques de Twitter.

L'utilisation d'un dictionnaire basé sur quelques millions de tweets échantillonnés à partir d'une décennie soulève de graves inquiétudes au sujet de ce que ces résultats sont réellement mesurer.

La plupart des utilisateurs de la plate-forme d'analyse des médias sociaux ne sont pas des scientifiques des données, ce qui signifie qu'ils ne pensent pas de façon critique à ce genre de questions ou effectuent des évaluations systématiques des résultats qu'ils reçoivent.

La détection de langue est un autre algorithme opaque mais d'une importance critique lorsque vous recherchez des mots qui ont des significations différentes dans différentes langues ou qui représentent le nom d'une marque dans une langue, mais un mot sans rapport commun dans un autre.

À première vue, il peut sembler être relativement trivial pour déterminer la langue d'un tweet donné. Cependant, la faible quantité de texte et la prévalence des acronymes et la terminologie de l'argot rendent le contenu des médias sociaux particulièrement difficile pour les algorithmes traditionnels de détection de langage. Des outils comme la bibliothèque de détection de langage de Google Chrome (CLD2) peuvent être facilement appliqués aux tweets avec des résultats tout à fait utilisables, mais de nombreuses plateformes d'analyse déploient leurs propres algorithmes personnalisés qui ont été optimisés pour un usage social, en particulier Twitter.

Les bibliothèques largement utilisées comme CLD2 ont bien compris les caractéristiques de performance et la documentation détaillée sur leurs cas de bord. Certains, comme CLD2, sont complètement open source, permettant aux utilisateurs avancés de comprendre parfaitement comment l'algorithme arrive à ses déterminations et d'identifier de manière proactive les environnements où il peut lutter.

En revanche, peu d'entreprises d'analyse des médias sociaux fournissent beaucoup de documentation sur leurs systèmes de détection de langue exclusifs. Beaucoup déclinent pour répondre à des questions techniques spécifiques, y compris le type d'algorithme et la taille et l'origine de ses données de formation, traitant ces informations comme des informations commerciales exclusives.

Comme pour le sentiment, il est parfois possible d'inverser l'ingénierie que l'algorithme «propriétaire» d'une société donnée est en réalité juste une bibliothèque standard comme CLD2 avec quelques étapes de base de prétraitement bon sens comme supprimer des hyperliens et des références de @username.

La plupart du temps, cependant, il est tout simplement impossible de savoir comment fonctionne l'algorithme de détection de langue d'une entreprise.

S'appuyant sur un algorithme tiers sans aucune compréhension de ses nuances et des cas de périphérie est extrêmement dangereux quand il s'agit d'interpréter les résultats qu'il donne. Si une plate-forme analytique rapporte que les tweets néerlandais sur un sujet ont diminué de cinq fois sur une période de 24 mois jusqu'à presque zéro, cela signifie-t-il vraiment que les Hollandais ont tout simplement cessé de parler de ce sujet ou pourrait-il simplement être que Néerlandais Les pratiques de Twitter, de l'utilisation de l'argot aux abréviations, ont évolué de telle sorte que l'algorithme de détection de la langue de l'entreprise devient de moins en moins précis à la détection de la langue?

Sans informations supplémentaires, il n'y a aucun moyen de savoir si les tendances linguistiques observées sont des artefacts réels ou simplement algorithmiques.

La comparaison des résultats entre plusieurs sociétés d'analyse sociale peut prêter confiance aux tendances observées, mais l'absence de détails techniques sur les algorithmes sous-jacents utilisés par chaque plateforme rend impossible de savoir si elles sont toutes en réalité en utilisant le même partage algorithmes sous le capot.

De nombreuses plateformes offrent des mesures vagues de «l'importance» ou «impressions» ou «influence» de ceux tweeting sur un sujet donné. Certains fournissent au moins des définitions de base de ces termes, comme additionner le nombre total de followers de tous les utilisateurs qui tweeté sur un sujet donné. Pourtant, aucune de ces approches n'est vraiment satisfaisante ou significative dans toutes les requêtes.

Si Donald Trump tweets son soutien d'un nouveau livre, son approbation est susceptible de conduire une moitié de la population américaine à embrasser le livre et l'autre moitié pour diaboliser. De même, si Barack Obama tweets son soutien d'un livre, la réaction sera probablement exactement inverse de celle de l'approbation de Trump. En bref, les deux individus ont une base démographique et idéologique spécifique dont ils sont très influents.

Un marketeur souhaitant lancer un nouveau livre libéral ne peut pas simplement classer tous les utilisateurs de Twitter par un score magique de "influence" et de choisir Donald Trump à partir du haut de la liste pour demander à l'approuver, ni pourraient-ils choisir Barack Obama pour lancer un livre de penchant conservateur. Ils doivent examiner la «démographie de l'influence» de chaque utilisateur.

Peu de plateformes offrent ces scores d'influenceur de niveau démographique dans le cadre de leurs affichages sommaires de routine.

En fait, peu de plateformes divulguent comment ils calculent les informations démographiques qu'ils offrent pour les utilisateurs de Twitter, de l'âge à la géographie aux niveaux de revenu et d'éducation. Estimer l'emplacement des tweets non-geotagged est une tâche extrêmement difficile et la majorité des approches les plus évidentes ne fonctionnent pas réellement.

Filtrer les tweets par pays d'origine est donc un processus incroyablement sujette aux erreurs au mieux, avec des résultats incertains.

Plus largement, il y a souvent une forte fracture entre les supports marketing de nombreuses plateformes d'analyse des médias sociaux et les réalités limitées de la façon dont ces plateformes fonctionnent réellement. Par exemple, les plateformes peuvent se commercialiser agressivement en tant qu'entreprises d'apprentissage profond qui exploitent la pleine puissance des réseaux neuronaux pour donner un sens à Twitter. En réalité, certains font valoir ces allégations sur un examen plus approfondi, reconnaissant qu'ils limitent leur utilisation de l'apprentissage profond à seulement quelques outils de spécialité mineure et que ces outils sont à leur tour limités à de petits échantillons aléatoires de données, avec l'écrasante majorité de leurs les résultats sont basés sur des approches non neuronales.

En bref, ne faites pas confiance aux brochures marketing d'une entreprise – Posez les questions difficiles sur la question de savoir si chaque algorithme que vous allez utiliser est basé sur le neuronal, naïve bayésienne ou simplement comptage de mots.

Pour réduire la complexité computationnelle des outils tels que les nuages de mots, les histogrammes attributaires, les cartes, l'analyse de sentiment personnalisée, le clustering et d'autres analyses d'ordre supérieur, certaines entreprises limitent leurs outils d'analyse à de petits échantillons du total des données. Bien que la requête d'origine puisse correspondre à plus d'un quart de milliard de tweets, le nuage de mots résultant pourrait être basé sur juste le plus récent 1 000 tweets ou un échantillon aléatoire de 10 000 tweets, réduisant considérablement sa couverture. Certaines plateformes placent des avertissements importants dans leurs interfaces utilisateur au sujet de cet échantillonnage, tandis que d'autres enterrent ces mises en garde profondes dans leur documentation technique.

En mettant tout cela ensemble, la révolution de l'analytique des médias sociaux reflète une tendance plus large du monde des mégadonnées: comme nous assemblons des archives toujours plus grandes de comportement humain, nous explorons ces données par des algorithmes toujours plus opaques. Nous pelleter pétaoctets de données à travers ces boîtes noires et de signaler ce qui est sorti de l'autre extrémité, sans même la moindre compréhension de savoir si ces résultats signalés sont en quelque sorte précis ou significatif ou comment leur exactitude peut varier d'une requête à une requête. À son tour, les entreprises et les gouvernements prennent des décisions économiques et politiques très réelles basées sur des chiffres qui pourraient, à toutes fins utiles, être simplement produits par un générateur de nombres aléatoires.

En fin de compte, comment pouvons-nous prendre des décisions significatives sur les médias sociaux en fonction des résultats d'algorithmes dont nous ne connaissons rien?

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *