Die neue Scholar Lab-Suche von Google nutzt KI, um relevante Studien zu finden

Google hat angekündigt Es testet ein neues KI-gestütztes Suchtool, Gelehrtenlabordas darauf ausgelegt ist, detaillierte Forschungsfragen zu beantworten. Seine Leistung warf jedoch eine größere Frage auf, was „gute“ Wissenschaftsstudien ausmacht. Wie sehr werden Wissenschaftler einem Tool vertrauen, das spezifische Methoden zur Bestimmung der Beliebtheit von Studien beim wissenschaftlichen Establishment aufgibt, um Beziehungen zwischen Begriffen zu lesen und so gute Forschungsergebnisse ans Licht zu bringen?

Das neue Suchtool nutzt KI, um wichtige Themen und Beziehungen in der Suchanfrage eines Benutzers zu identifizieren und ist derzeit nur einer begrenzten Gruppe angemeldeter Benutzer verfügbar. Im Demovideo von Scholar Labs wurde eine Frage zum Brain-Computer Interface (BCI) gestellt. Ich habe einen Doktortitel in BCIs und war daher neugierig, was die Wissenschaftlerlabore machen.

Das erste Ergebnis war ein Übersichtsartikel der BCI-Forschung, der 2024 in einer Fachzeitschrift mit dem Titel veröffentlicht wurde Angewandte Wissenschaften. Scholar Labs enthält Erklärungen, warum die Ergebnisse mit der Abfrage übereinstimmen, und weist darauf hin, dass in dem Artikel die Erforschung eines nichtinvasiven Signals namens Elektroenzephalogramm erörtert und einige der führenden Algorithmen auf diesem Gebiet untersucht werden.

Aber ich habe festgestellt, dass es Scholar Labs an Filtern für gängige Kennzahlen mangelt, mit denen „gute“ Studien von „nicht so guten“ unterschieden werden können. Eine Messgröße ist die Häufigkeit, mit der eine Studie nach der Veröffentlichung von anderen Studien zitiert wird, was grob gesagt die Beliebtheit einer Arbeit angibt. Es hängt auch mit dem Timing zusammen: Eine kürzlich veröffentlichte Studie kann innerhalb weniger Monate null oder Hunderte Zitate haben; Eine Studie aus den 90er Jahren könnte die Zahl auf mehrere Tausend beziffern. Eine weitere Messgröße ist der „Impact Factor“ einer Wissenschaftszeitschrift. Zeitschriften, die häufig zitierte Studien veröffentlichen, haben einen höheren Impact-Faktor und daher den Ruf, strenger oder aussagekräftiger für die wissenschaftliche Gemeinschaft zu sein. Angewandte Wissenschaften Selbstberichte a Schlagfaktor von 2,5. NaturZum Vergleich: der Impact-Faktor 48,5.

Basic Google Scholar bietet die Möglichkeit, Studien nach „Relevanz“ zu ordnen und die Anzahl der Zitate für jedes Ergebnis aufzulisten. Google-Sprecherin Lisa Oguik erklärte, dass das Ziel der neuen Scholar Labs darin bestehe, „die nützlichsten Artikel für die Nutzerforschung auszugraben“. Rand Dies geschieht durch die Einstufung von Arbeiten auf die gleiche Weise wie die Forscher selbst, sagt Google, „indem der vollständige Text jedes Dokuments gewichtet wird, wo es veröffentlicht wurde, von wem es geschrieben wurde und wie oft und kürzlich es in anderer wissenschaftlicher Literatur zitiert wurde.“

Allerdings werde das neue Scholar Lab die Ergebnisse nicht auf der Grundlage der Zitationszahl eines Artikels oder des Impact-Faktors einer Zeitschrift bewerten oder einschränken, erklärte Oguik. Rand.

„Auswirkungsfaktoren und Zitierzahlen hängen vom Forschungsgebiet der Arbeiten ab und können für die meisten Benutzer schwierig sein, angemessene Werte im Kontext spezifischer Forschungsfragen abzuschätzen“, schrieb Oguik. „Durch die Eingrenzung nach Impact-Faktor oder Anzahl der Zitierungen können wichtige Artikel oft übersehen werden – insbesondere Artikel in interdisziplinären/angrenzenden Fachgebieten/Zeitschriften oder kürzlich veröffentlichte Artikel“, fügte Oguik hinzu.

Matthew Schrag, außerordentlicher Professor für Neurologie am Vanderbilt University Medical Center, sagte in einem Interview, dass Kennzahlen wie Zitationszahlen und Impact-Faktoren „sehr grobe Einschätzungen der Qualität einer Arbeit“ seien. RandStimme der Aussage von Google zu. Sie „sprechen mehr über den sozialen Kontext des Papiers“ als über seine Qualität, obwohl „hoffentlich diese beiden Dinge miteinander verbunden sind“, sagte er.

Schrag, der die Alzheimer-Krankheit entdeckte, ist einer von vielen Wissenschaftler-Indikatoren, die nachgelassen haben. Fragwürdige Daten in veröffentlichten wissenschaftlichen Studien. Die Studien stammen aus bekannten Fachzeitschriften und sind das Ergebnis der Bemühungen von Datenexperten wie Scragg und der sorgfältigen Aufmerksamkeit der gesamten Wissenschaftsgemeinschaft. Medizinische BildgebungÄnderungen herausgegeben von NobelpreisträgerUnd Bundesuntersuchung In gefälschten Daten.

Allerdings ist es schwierig NEIN Nutzen Sie die Zitationszahl oder den Ruf einer Zeitschrift, um nach unerwarteten Studien zu suchen, insbesondere wenn Sie ein neues Fachgebiet betreten. James Smoliga, Professor für Rehabilitationswissenschaft an der Tufts University und häufiger Nutzer des ursprünglichen Google Scholar, findet, dass er häufig zitierte Artikel glaubwürdiger findet. „Ich bin genauso schuldig wie alle anderen“, sagte er Rand. Er tut es trotzdem entlarvt In einer Studie verwendete Methoden mit Tausenden von Referenzen. „Und ich weiß selbst, dass dem nicht so ist, aber dennoch stecke ich immer noch in dieser Falle fest, denn was soll ich sonst tun?“

Ich habe die Demo-Abfrage von Scholar Labs zur BCI-Forschung für Schlaganfallpatienten in PubMed nachgebildet, einem wichtigen Repositorium für biomedizinische und Gesundheitsforschung, das von der National Library of Medicine der US-amerikanischen National Institutes of Health betrieben wird. Im Gegensatz zu Scholar Labs ist PubMed stark auf Filter und zugehörige Regeln angewiesen. oders und UndS. Ich habe meine Ergebnisse darauf beschränkt, nur klinische Forschungsartikel zu überprüfen, also nur solche, die in den letzten fünf Jahren an Menschen durchgeführt wurden. Ich habe Preprints ausgeschlossen, bei denen es sich um Studien handelt, die direkt in Papierrepositorien wie arXiv oder bioRxiv veröffentlicht werden, ohne den Überprüfungsprozess anderer Wissenschaftler zu durchlaufen. Zwei der sechs Ergebnisse konzentrierten sich speziell auf das Elektroenzephalogramm als primäre Art der nichtinvasiven BCI zur Behandlung von Schlaganfallpatienten.

Benutzer können in ihrer Anfrage nach „aktuellen“ Artikeln fragen und in ihrer Anfrage einen Zeitraum angeben, und Scholar Lab verwendet den „Volltext der Forschungsarbeiten“, um Ergebnisse zu finden, die der Benutzeranfrage entsprechen, fügte Oguik hinzu.

Google nennt Scholar Labs „eine neue Richtung für uns“ und plant, in Zukunft das Feedback der Nutzer einzubeziehen. Es gibt eine Warteliste für den Zugang.

Schrag glaubt, dass KI-gesteuerte Forschung, wie die neuen Scholar Labs, einen Platz im wissenschaftlichen Ökosystem hat. Dies könnte theoretisch dazu führen, dass die Oberfläche von Papieren, die andernfalls durchs Raster fallen würden, breiter ins Netz fällt, oder zusätzlicher Kontext zur Beliebtheit des Papiers auf Social-Media-Plattformen hinzugefügt wird, fügte er hinzu. Er sagte, dass Studien eine ganzheitliche Bewertung benötigen, die KI möglicherweise bewältigen kann. „Man muss verstehen, welche Standards in Bezug auf die Genauigkeit in diesem Bereich gelten und ob eine Studie diese erfüllt“, fügte er hinzu.

Letztlich seien die Wissenschaftler dafür verantwortlich, zu bestimmen, welche Wissenschaft wirksam sei, sagte Schrag. Dazu ist es erforderlich, die wissenschaftliche Literatur zu lesen und sich mit ihr auseinanderzusetzen, „um der letzte Schiedsrichter zu sein und nicht den Algorithmus zum letzten Schiedsrichter dessen zu machen, was wir für hochwertig halten.“