Google’ın yeni Scholar Labs araması, alakalı çalışmaları bulmak için yapay zekayı kullanıyor

Google’ın var duyuruldu yapay zeka destekli yeni bir arama aracını test ediyor, Akademik Laboratuvarlarayrıntılı araştırma sorularına yanıt vermek için tasarlanmıştır. Ancak bunun gösterimi, “iyi” bilim çalışmaları bulma konusunda daha büyük bir sorunun altını çizdi. Bilim insanları, bir çalışmanın bilim kurumu nezdindeki popülerliğini ölçmenin tipik yollarından vazgeçip, iyi bir araştırmanın ortaya çıkmasına yardımcı olmak için kelimeler arasındaki ilişkileri okumayı tercih eden bir araca ne kadar güvenecekler?

Yeni arama aracı, bir kullanıcının sorgusundaki ana konuları ve ilişkileri belirlemek için yapay zekayı kullanıyor ve şu anda sınırlı sayıda oturum açmış kullanıcı tarafından kullanılabiliyor. Scholar Labs’ın demo videosunda beyin-bilgisayar arayüzleri (BCI’ler) hakkında bir soru yer alıyordu. BCI’larda doktoram var, bu yüzden Scholar Labs’ın neler ortaya çıkardığını görmek için sabırsızlanıyordum.

İlk sonuç, 2024 yılında yayınlanan bir BCI araştırması inceleme makalesiydi. Uygulamalı Bilimler. Scholar Labs, sonuçların sorguyla neden eşleştiğine dair açıklamalar içeriyor; bu nedenle makalenin, elektroensefalogram adı verilen invazif olmayan bir sinyale yönelik araştırmayı tartıştığına ve bu alandaki bazı önde gelen algoritmaları araştırdığına dikkat çekti.

Ancak Scholar Labs’ın “iyi” çalışmaları “çok iyi olmayan” çalışmalardan ayırmak için kullanılan ortak ölçüm filtrelerinin bulunmadığını fark ettim. Bir ölçüm, bir çalışmanın yayınlanmasından bu yana diğer çalışmalar tarafından kaç kez alıntılandığıdır ve bu da genel olarak bir makalenin popülerliği anlamına gelir. Aynı zamanda zamanla da ilişkilidir: Yakın zamanda yayınlanan bir araştırmada hiç alıntı yapılmayabilir veya birkaç ay içinde yüzlerce alıntı yapılabilir; 90’larda yapılan bir araştırma binlerce kişinin çığırtkanlığını yapabilir. Bir diğer ölçüm ise bilim dergisinin “etki faktörü”dür. Yaygın olarak alıntı yapılan çalışmaları yayınlayan dergilerin etki faktörü daha yüksektir ve bu nedenle bilim camiası için daha titiz veya anlamlı oldukları konusunda bir üne sahiptirler. Uygulamalı Bilimler kendi kendine raporlar 2,5 etki faktörü. DoğaKarşılaştırma için etki faktörünün şöyle olduğunu söylüyor: 48.5.

Orijinal Google Akademik’te çalışmaları “alaka düzeyine” göre sıralama seçeneği bulunur ve her sonuç için yapılan alıntıların sayısı listelenir. Google sözcüsü Lisa Oguike, yeni Scholar Labs’ın amacının “kullanıcının araştırma arayışı için en yararlı makaleleri” ortaya çıkarmak olduğunu söyledi. eşik Google, bunu, makaleleri araştırmacıların kendileriyle aynı şekilde sıralayarak, “her belgenin tam metnini, nerede yayınlandığını, kim tarafından yazıldığını ve diğer bilimsel literatürde ne sıklıkta ve ne kadar yakın zamanda alıntılandığını tartarak” yaptığını söylüyor.

Ancak Oguike, yeni Scholar Labs’ın sonuçları bir makalenin alıntı sayısına veya bir derginin etki faktörüne göre sıralamayacağını veya sınırlamayacağını söyledi. eşik.

Oguike, “Etki faktörleri ve alıntı sayıları makalelerin araştırma alanına bağlıdır ve çoğu kullanıcı için belirli araştırma soruları bağlamında uygun değerleri tahmin etmek zor olabilir” diye yazdı. Oguike, “Etki faktörü veya alıntı sayılarıyla sınırlamak, çoğu zaman önemli makalelerin, özellikle de disiplinlerarası/bitişik alanlardaki/dergideki makalelerin veya yakın zamanda yayınlanmış makalelerin kaçırılmasına neden olabilir” diye ekledi.

Vanderbilt Üniversitesi Tıp Merkezi Nöroloji Profesörü Matthew Schrag, alıntı sayısı ve etki faktörü gibi ölçümlerin “bir makalenin kalitesine ilişkin oldukça kaba değerlendirmeler” olduğunu söyledi. eşikGoogle’ın beyanına katılıyorum. Her ne kadar “bu iki şeyin birbiriyle bağlantılı olduğunu ümit etsek de”, “makalenin kalitesinden ziyade sosyal bağlamı hakkında daha fazla konuşuyorlar” dedi.

Alzheimer hastalığını araştıran Schrag, Alzheimer hastalığını işaretleyen birçok bilim insanı-dedektiften biri. yayınlanmış bilim çalışmalarında şüpheli veriler. Schrag gibi veri dedektiflerinin çabaları ve genel olarak bilim camiasının daha yakından ilgilenmesi, çalışmaların saygın dergilerden alınmasıyla sonuçlandı. üzerinde oynanmış görsellertarafından yapılan düzeltmeler Nobel Ödülü sahipleriVe federal soruşturmalar sahte verilere dönüştürüyoruz.

Yine de zor Olumsuz Özellikle yeni bir alana girerken, bir çalışmayı gelişigüzel incelemek için alıntı sayısını veya derginin itibarını kullanın. Tufts Üniversitesi’nde rehabilitasyon bilimleri profesörü olan ve orijinal Google Akademik’i sık sık kullanan James Smoliga, çok alıntı yapılan makalelerin daha güvenilir olduğuna inandığını fark etti. “Herkes gibi ben de suçluyum” dedi eşik. olmasına rağmen bunu yapıyor çürütülmüş Binlerce alıntı yapılan bir çalışmada kullanılan yöntemler. “Ve durumun böyle olmadığını biliyorum ama yine de bu tuzağa düşüyorum çünkü başka ne yapacağım?”

ABD Ulusal Sağlık Enstitüleri Ulusal Tıp Kütüphanesi tarafından yürütülen önde gelen biyomedikal ve sağlık araştırmaları deposu olan PubMed’de, felç hastalarına yönelik BCI araştırmalarıyla ilgili Scholar Labs demo sorgusunu tekrarladım. Scholar Labs’ın aksine PubMed, büyük oranda filtrelere ve bunlarla bağlantılı terimlere dayanır. veyakum VeS. Sonuçlarımı yalnızca son beş yıldaki klinik araştırma makalelerini, yani yalnızca insanlar üzerinde yapılmış olan makaleleri inceleyecek şekilde daralttım. Diğer bilim adamlarının inceleme sürecinden geçmeden arXiv veya bioRxiv gibi bir kağıt deposuna doğrudan gönderilen çalışmalar olan ön baskıları hariç tuttum. Altı sonuçtan ikisi, felç hastalarına yardımcı olmak için kullanılan birincil noninvazif BCI türü olan elektroensefalograma odaklandı.

Oguike, kullanıcıların sorgularında “en son” makaleleri isteyebileceğini ve taleplerinde bir süre belirtebileceklerini ve Scholar Labs’ın kullanıcı sorgusuyla eşleşen sonuçları bulmak için “araştırma makalelerinin tam metnini” kullanacağını ekledi.

Google, Scholar Labs’ı “bizim için yeni bir yön” olarak adlandırıyor ve gelecekte kullanıcı geri bildirimlerini dahil etmeyi planladığını söylüyor. Erişim için bir bekleme listesi vardır.

Schrag, yeni Scholar Labs gibi yapay zeka destekli aramanın da bilimsel ekosistemde bir yeri olduğunu düşünüyor. Kendisi, teorik olarak, normalde gözden kaçan gazeteleri yüzeyde tutmak için daha geniş bir ağ oluşturabileceğini veya bir gazetenin sosyal medya platformlarındaki popülaritesi hakkında ek bağlam ekleyebileceğini ekledi. Çalışmaların, yapay zekanın ele alabileceği bütünsel bir değerlendirmeye ihtiyacı olduğunu söyledi. “Alandaki standartların titizlik açısından ne olduğu ve bir çalışmanın bunu karşılayıp karşılamadığı konusunda fikir sahibi olmanız gerekir” diye ekledi.

Schrag, sonuçta bilim adamlarının hangi bilimin etkili olduğunu belirlemekten sorumlu olduğunu söyledi. “Son hakem olmak ve algoritmaların yüksek kalite olarak değerlendirdiğimiz şeylerde son hakem olmasına izin vermemek” için bilim literatürünü okumayı ve bunlarla ilgilenmeyi gerektirir.