Was ist BERT?

Es gibt eine Menge Hype und Fehlinformationen über das neue Google-Algorithmus-Update. Was ist BERT eigentlich, wie funktioniert es und warum ist es für unsere Arbeit als SEOs wichtig? Schauen Sie das Video der Expertin für maschinelles Lernen und Natursprachenverarbeitung Britney Muller, während sie genau aufschlüsselt, was BERT ist und was es für die Suchmaschinenbranche bedeutet.


Klicken Sie auf das Bild oben, um eine hochauflösende Version in einer neuen Registerkarte zu öffnen!

In diesem Beitrag wird nur BERT betrachtet. Niemand ist ein BERT-Experte, aber man kann viel dazu recherchieren. Experten auf diesem Gebiet wurden interviewt und unser Ziel ist es, zu versuchen, ein Katalysator für diese Informationen zu sein, damit sie leichter zu verstehen sind.
Es gibt eine Menge Aufregung, die im Augenblick in der Industrie um BERT passiert und warum man nicht speziell dafür SEO-optimierten Content erstellen kann. Während das wahr ist, kann man es, man muss nur wirklich gute Inhalte im richtigen Kontext für seine Benutzer schreiben. Und stets für Updates im Kontext sorgen.

Ein Wort der Vorsicht: Übertreiben Sie es nicht mit BERT

Allyson Ettinger, eine Forscherin für natürliche Sprachverarbeitung sagt: Es ist noch weit, Sprache und Kontext so zu verstehen, wie wir Menschen sie verstehen können. Sie denkt, das es wichtig ist, das im Hinterkopf zu behalten, dass wir nicht überbetonen, was dieses Modell kann, aber es ist ein ziemlich monumentaler Moment in NLP und Machine Learning.

Wo kommt das BERT her?

Wir möchten jedem einen breiteren Kontext dafür geben, woher BERT kommt und wohin es geht. Wir denken, dass BERT schon eine Art von Bombe ist, die auf die SEO-Industrie fällt.

Verarbeitung natürlicher Sprache

Traditionell haben Computer eine unmögliche Zeit gehabt, die Sprache zu verstehen. Sie können Text speichern, wir können Text eingeben, aber das Verständnis von Sprache war für Computer schon immer unglaublich schwierig. So kommt die Natural Language Processing (NLP), das Feld, auf dem Forscher einzigartige Modelle entwickeln, die für bestimmte Arten des Sprachverständnisses gelöst werden können. Einige Beispiele sind: Named Entity Recognition, Klassifizierung, Sentimentanalyse, Fragen und Antworten.
All dies wurde traditionell durch individuelle Modelle gelöst, die für eine bestimmte Sprachaufgabe geeignet sind, und so sieht es ein wenig wie Ihre Küche aus:
Denken Sie an die einzelnen NLP-Modelle wie Utensilien, die Sie in Ihrer Küche haben, sie alle haben eine sehr spezifische Aufgabe, die sie sehr gut können.
Betrachten Sie nun ein Allround-Küchengerät à la Thermomix, das 11 Ihrer am häufigsten verwendeten Geräte in einem ist. Das ist BERT, das einzige Küchengerät, das elf der besten Lösungen zur Verarbeitung natürlicher Sprachen wirklich, wirklich gut beherrscht, nachdem es verfeinert wurde.
Eine spannende Differenzierung im NLP-Bereich. Deshalb sind die Menschen sehr begeistert, weil sie nicht mehr alle Einzelmodelle benötigen. Sie können BERT verwenden, um für die Mehrheit der NLP-Aufgaben zu lösen, was sinnvoll ist, dass Google BERT in den Algorithmus von Google integriert.

Wohin geht BERT?

Allyson sagte, „Ich denke, wir werden für eine Weile auf dem gleichen Weg weitergehen und immer größere und bessere Varianten von BERT entwickeln, die stärker sind in der Art und Weise, wie BERT stark ist und wahrscheinlich mit den gleichen grundlegenden Einschränkungen.“
Es gibt bereits Tonnen von verschiedenen Versionen von BERT, und wir werden weiterhin immer mehr davon sehen. Es wird interessant sein zu sehen, wohin dieser Raum führt.

Wie ist BERT so intelligent geworden?

Google nahm Wikipedia-Text und viel Geld für Rechenleistung in die Hand (TPUs, in denen sie in einem V3-Pod zusammengefasst sind), die diese großen Modelle betreiben können. Sie benutzten dann ein unbeaufsichtigtes neuronales Netzwerk, um aus dem gesamten Text der Wikipedia zu trainieren, um Sprache und Kontext besser zu verstehen.
Sie benutzten dann ein unbeaufsichtigtes neuronales Netzwerk, um aus dem gesamten Text der Wikipedia weiter zu trainieren, um Sprache und Kontext besser zu verstehen.
Das Interessante an der Art und Weise, wie es lernt, ist, dass es jede beliebige Länge an Text nimmt (was gut ist, weil die Sprache in der Art und Weise, wie wir sprechen, ziemlich willkürlich ist) und es sie in einen Vektor umwandelt.
Ein Vektor ist eine feste Zahlenfolge. Auf diese Weise wird die Sprache auf eine Maschine übersetzbar.
Dies geschieht in einem wirklich wilden n-dimensionalen Raum, den wir uns nicht einmal vorstellen können, ähnliche kontextuelle Sprache in die gleichen Bereiche zu bringen.
Um intelligenter und intelligenter zu werden, verwendet BERT eine Taktik namens Maskierung.

 

.

 

 

Die Maskierung tritt auf, wenn ein zufälliges Wort innerhalb eines Satzes verborgen ist. BERT als bidirektionales Modell betrachtet die Wörter vor und nach dem versteckten Wort, um vorauszusagen, was das Wort ist / meint.
Es tut dies immer und immer und immer wieder, bis es mächtig ist in der Vorhersage maskierter Wörter. Es kann dann weiter verfeinert werden, um 11 der häufigsten Aufgaben der natürlichen Sprachverarbeitung zu erfüllen.

Was ist BERT?

BERT ist ein vortrainiertes, unbeaufsichtigtes Modell der natürlichen Sprachverarbeitung. BERT kann 11 der häufigsten NLP-Aufgaben nach der Feinabstimmung übertreffen und wird so zu einem Raketenverstärker für die Verarbeitung und das Verständnis natürlicher Sprache. BERT ist zutiefst bidirektional, d.h. es betrachtet die Wörter vor und nach den Entitäten und dem Kontext, die auf Wikipedia vortrainiert wurden, um ein umfassenderes Verständnis der Sprache zu ermöglichen.

Welche Dinge kann BERT nicht tun?

Allyson Ettinger schrieb dieses wirklich großartige Forschungspapier namens What BERT Can’t Do. Der überraschendste Ansatzpunkt ihrer Forschung war dieser Bereich der Negationsdiagnostik, was bedeutet, dass das BERT nicht sehr gut darin ist, die Negation zu verstehen oder was die Dinge nicht sind.

 

 

 

 

 

 

 

 

 

Zum Beispiel, wenn man Robin eingibt, ist ein …. Es hat einen Vogel vorhergesagt, was richtig ist, das ist großartig. Aber wenn man einen Robin betritt, ist er kein …. Er sagt wieder den Vogel voraus. In Fällen, in denen BERT keine Negationsbeispiele oder keinen Kontext gesehen hat, wird es immer noch schwer sein, das zu verstehen. Es gibt eine Tonne wirklich interessanterer Takeaways in Allysons Forschung, sehr empfehlenswert, dass Sie es ausprobieren.

Wie optimieren Sie für BERT? (Das kannst du nicht!?)


Schließlich, wie optimieren Sie für BERT? Nochmals, das kannst du nicht. Die einzige Möglichkeit, Ihre Website mit diesem Update zu verbessern, ist, wirklich großartige Inhalte für Ihre Benutzer zu schreiben und die Absicht zu erfüllen, die sie suchen.
Eine großartige Ressource, die Ihnen hilft, besser zu verstehen und für NLP zu schreiben, ist Briggsby’s On-page SEO for NLP Artikel.

Googles wachsende Kapazität für das Verstehen natürlicher Fragen

Eine Sache, die ich nur erwähnen muss, weil ich das wirklich nicht aus meinem Kopf bekommen kann, ist diese Keynote von Jeff Dean von Google. Er spricht über BERT und geht dann auf natürliche Fragen und natürliches Fragenverständnis ein. Der große Vorteil für uns war dieses Beispiel, okay, sagen wir, jemand stellte die Frage: „Kannst du Anrufe im Flugzeugmodus machen und entgegennehmen?“

 

 

 

 

 

 

 

 

 

Der Textblock, in dem die natürliche Sprachübersetzungsschicht von Google versucht, all diesen Text zu verstehen, ist sehr technisch und schwer zu verstehen:
Der Flugzeugmodus, der Airplanegmodus, der Flugmodus, der Offline-Modus oder der Standalone-Modus ist eine Einstellung, die auf vielen Smartphones, tragbaren Computern und anderen elektronischen Geräten verfügbar ist, die bei Aktivierung die Übertragung von Hochfrequenzsignalen durch das Gerät unterbrechen und dadurch Bluetooth, Telefonie und WiFi deaktivieren. GPS kann deaktiviert sein oder auch nicht, da es keine Funkwellen sendet.
Mit diesen Schichten und unter Nutzung von Dingen wie BERT waren sie in der Lage, aus all dieser sehr komplexen, langen und verwirrenden Sprache einfach „Nein“ zu sagen. Es ist wirklich stark in unserem Raum.

Betrachten Sie Dinge wie vorgestellte Ausschnitte; betrachten Sie Dinge wie SERP-Funktionen. Ich meine, das kann anfangen, einen großen Einfluss auf unseren Raum zu haben. Deshalb denke ich, dass es wichtig ist, einen Puls zu haben, wo es hingeht und was in diesem Bereich vor sich geht.

Erfahre mehr über die Philosophie von Oplayo in diesem PDF

Bei der Auswahl eines Online-Marketing Beratungs- und Serviceunternehmens oder eines Performance Marketing Teams achten Sie zumindest auf diese Auszeichnungen:PartnerBadge-HorizontalSEO 2015

Oplayo ist nun auch ein autorisiertes Beratungsunternehmen für „Digitale Markterschließung“ und „Digitalisierte Geschäftsprozesse“ 
Lassen Sie sich von uns beraten wie Sie davon profitieren können!