Merklisten exportieren / Exporter les listes de sélection || swissbib-info

Deutsche Version Version française

Merklisten exportieren

Da swissbib per Ende März 2021 eingestellt wird, stehen auch die in swissbib gespeicherten Merklisten nur noch bis zu diesem Zeitpunkt zur Verfügung. Um die gespeicherten Daten auch nach der Abschaltung von swissbib nutzen zu können, müssen sie exportiert werden.

Auf swissbib stehen dazu drei verschiedene Export-Optionen zur Verfügung:

  • BibTex: Der Export enthält ausgewählte Informationen und kann mit verschiedenen Literaturverwaltungsprogrammen genutzt werden. Falls Sie die Liste in Excel exportieren möchten, empfehlen wir den Export in BibTex. Anschliessend können Sie die Daten mit JabRef umwandeln.
  • EndNote/Citavi: Der Export enthält analog zu BibTex ausgewählte Informationen und ist für die Verwendung mit EndNote und Citavi aufbereitet.
  • MARC XML: Der Export enthält die komplette Beschreibung einer bibliographischen Ressource. Die Option steht nicht zur Verfügung, wenn gelöschte Aufnahmen auf der Merkliste enthalten sind.

Vorgehen für einen Export:

 


 

  1. Titel für den Export auswählen: Über "Alle auf dieser Seite auswählen" werden alle auf der Seite sichtbaren Titel exportiert. Bei Merklisten mit mehr als 50 Einträgen muss pro Seite ein Export durchgeführt werden. Alternativ können auch einzelne Titel angewählt und exportiert werden.
  2. Exportieren: Dabei kann die gewünschte Export-Option gewählt werden.

 

 

Exporter les listes de sélection

Comme swissbib cessera ses activités à fin mars 2021, les listes de sélection sauvegardées ne seront plus disponibles après cette date. Pour conserver les informations contenues dans ces listes de sélection, vous devez les exporter.

Il y 3 options d'export dans swissbib :

  • BibTex. L'export contient une sélections des informations présentes dans swissbib et peut être utilisé avec la plupart des logiciels de gestion de références bibliographiques. Si vous voulez exporter votre liste au format Excel, nous vous recommandons de faire un export en BibTex puis d'utiliser l'outil JabRef qui permet ensuite de transformer le BibTex en Excel.
  • EndNote/Citavi. L'export contient les mêmes informations que l'export BibTex et est spécialement approprié pour l'utilisation dans les logiciels EndNote et Citavi.
  • MARC XML. Cet export contient la totalité des informations présentes dans swissbib pour une ressource bibliographique. Cette option n'est pas disponible lorsque votre liste de sélection contient des notices qui ont été supprimées du catalogue swissbib par la suite.

Comment export les références : 

 

  1. Choisir les références à exporter ou sélectionner toutes les références à l'aide de la case à cocher idoine. Cette action doit être répétée pour chaque page si votre liste de sélection a plus de 50 références.
  2. Exporter en choisissant l'option d'export.

Merklisten exportieren / Exporter les listes de sélection || swissbib-info

Deutsche Version Version française

Merklisten exportieren

Da swissbib per Ende März 2021 eingestellt wird, stehen auch die in swissbib gespeicherten Merklisten nur noch bis zu diesem Zeitpunkt zur Verfügung. Um die gespeicherten Daten auch nach der Abschaltung von swissbib nutzen zu können, müssen sie exportiert werden.

Auf swissbib stehen dazu drei verschiedene Export-Optionen zur Verfügung:

  • BibTex: Der Export enthält ausgewählte Informationen und kann mit verschiedenen Literaturverwaltungsprogrammen genutzt werden. Falls Sie die Liste in Excel exportieren möchten, empfehlen wir den Export in BibTex. Anschliessend können Sie die Daten mit JabRef umwandeln.
  • EndNote/Citavi: Der Export enthält analog zu BibTex ausgewählte Informationen und ist für die Verwendung mit EndNote und Citavi aufbereitet.
  • MARC XML: Der Export enthält die komplette Beschreibung einer bibliographischen Ressource. Die Option steht nicht zur Verfügung, wenn gelöschte Aufnahmen auf der Merkliste enthalten sind.

Vorgehen für einen Export:

 


 

  1. Titel für den Export auswählen: Über "Alle auf dieser Seite auswählen" werden alle auf der Seite sichtbaren Titel exportiert. Bei Merklisten mit mehr als 50 Einträgen muss pro Seite ein Export durchgeführt werden. Alternativ können auch einzelne Titel angewählt und exportiert werden.
  2. Exportieren: Dabei kann die gewünschte Export-Option gewählt werden.

 

 

Exporter les listes de sélection

Comme swissbib cessera ses activités à fin mars 2021, les listes de sélection sauvegardées ne seront plus disponibles après cette date. Pour conserver les informations contenues dans ces listes de sélection, vous devez les exporter.

Il y 3 options d'export dans swissbib :

  • BibTex. L'export contient une sélections des informations présentes dans swissbib et peut être utilisé avec la plupart des logiciels de gestion de références bibliographiques. Si vous voulez exporter votre liste au format Excel, nous vous recommandons de faire un export en BibTex puis d'utiliser l'outil JabRef qui permet ensuite de transformer le BibTex en Excel.
  • EndNote/Citavi. L'export contient les mêmes informations que l'export BibTex et est spécialement approprié pour l'utilisation dans les logiciels EndNote et Citavi.
  • MARC XML. Cet export contient la totalité des informations présentes dans swissbib pour une ressource bibliographique. Cette option n'est pas disponible lorsque votre liste de sélection contient des notices qui ont été supprimées du catalogue swissbib par la suite.

Comment export les références : 

 

  1. Choisir les références à exporter ou sélectionner toutes les références à l'aide de la case à cocher idoine. Cette action doit être répétée pour chaque page si votre liste de sélection a plus de 50 références.
  2. Exporter en choisissant l'option d'export.

Zur Einstellung der swissbib Suchoberflächen // Fin d’activité des interfaces de recherche swissbib || swissbib-info

Deutsche Version Version française

Nach rund 12 Jahren schliessen sich die Tore der bekannten grünen, orangen und blauen Suchoberflächen von swissbib. Die letzte Datenverarbeitung durch swissbib erfolgt am 31.12.2020 (mit Ausnahme der Bibliotheksverbünde, die ihre primäre Suchoberfläche bereits am 7. Dezember zu SLSP wechseln). Bis zum Jahresende werden die Metadaten auch weiterhin zu WorldCat gepusht. Die Suchoberflächen swissbib grün und swissbib blau (jusbib) werden, jedoch ohne aktualisierte Metadaten, in der Übergangsphase noch bis zum 31. März 2021 aufrufbar sein. Bis zu diesem Tag stellen wir die Metadaten auch über unsere SRU Schnittstelle der Öffentlichkeit zur Verfügung. Die OAI-PMH Schnittstelle wird per 19. Februar abgeschaltet. Die Metadaten der Schweizer Bibliotheken werden künftig über die neuen Discoveries von SLSP (ab 7. Dezember 2020) und RERO21 (ab 12. Juli 2021) recherchierbar sein.

Wir bedanken uns an dieser Stelle sehr herzlich bei all unseren Kooperationspartnern und Freunden - bei swissuniversities, der Universitätsbibliothek Basel und allen Datengebern für ihre jahrelange finanzielle Unterstützung, bei verschiedenen Institutionen für die gemeinsamen Projekte und bei unseren früheren und aktuellen Teammitgliedern für deren tatkräftige Mitwirkung und Mitgestaltung der Vision von swissbib. Und natürlich auch bei unseren Partnern rund um die Suchoberflächen - beim swissbib-Beirat, dem Konsortium der Schweizer Hochschulbibliotheken, der AG swissbib Basel Bern und dem Verein Juristische Bibliotheken Schweiz VJBS bzw. eJustice.ch. Schliesslich wäre swissbib ohne die Unterstützung der IT Services der Universität Basel nicht so performant und nahezu unterbruchsfrei verfügbar gewesen, wie man es sich gewohnt war.

Wir werden aber nicht ganz verschwinden. Das über Jahre hinweg aufgebaute Wissen wird Eingang finden in neue Projekte - in die neue Memobase, in den Nachfolger des HAN-Katalogs namens swisscollections und in diverse weitere Projekte und Ideen rund um das Datenmanagement. Zugleich steht unser Fachwissen allen weiterhin zur Verfügung: Unsere Entwicklungen sind unter freier Lizenz auf GitLab und GitHub auffindbar. Und auch für Fragen, Austausch und die Entwicklung neuer Ideen sind wir stets offen. Unser bisheriger Projektblog wird zwar abgeschlossen, aber weiterhin zugänglich bleiben, neue Erkenntnisse rund um das Datenmanagement und aus diversen Projekten dazu werden wir wie bis anhin über verschiedene Kanäle teilen.

Wir freuen uns auf eine spannende Zukunft voller Innovationen und neuer Projekte.

Après 12 ans d'activité, les interfaces bien connues de swissbib.ch (swissbib vert), de baselbern.swissbib.ch (swissbib orange) et de jus.swissbib.ch (swissbib bleu) vont cesser d'offrir leurs prestations. Le dernier import des données des bibliothèques et leur traitement auront lieu le 31 décembre 2020 (à l'exception des réseaux de bibliothèques qui seront live avec SLSP le 7 décembre déjà). Jusqu'à la fin de cette année, les métadonnées des bibliothèques seront aussi envoyées à WorldCat. Toutefois, jusqu'au 31 mars 2021, il sera toujours possible de faire des recherches dans swissbib vert et swissbib bleu, mais les métadonnées ne seront plus actualisées. L'interface SRU sera aussi disponible jusqu'au 31 mars 2021. Quant à l'interface OAI-PMH, elle sera disponible seulement jusqu'au 19 février. Dans le futur, il sera possible de chercher dans les collections des bibliothèques suisses à travers les nouvelles interfaces de recherche de SLSP (dès le 7 décembre 2020) et de RERO21 (dès le 12 juillet 2021).

Nous profitons de l'occasion pour remercier du fond du cœur tous nos partenaires et amis, que ce soit swissuniversities, la Bibliothèque de l'Université de Bâle, ou tous les fournisseurs de données, pour leur soutien financier sur ces nombreuses années. Nous remercions aussi les différentes institutions avec lesquelles nous avons mené des projets communs ainsi que les membres de l'équipe pour leur engagement dynamique et leur participation active à la vision de swissbib. Sans oublier nos partenaires autour des interfaces de recherche : le comité consultatif de swissbib, le Consortium des bibliothèques universitaires suisses, le groupe de travail swissbib Basel Bern, l'Association des bibliothèques juridiques Suisses ABJS ainsi que eJustice.ch. Enfin, swissbib ne serait pas aussi disponible et performant sans le soutien des Services IT de l'Université de Bâle.

Nous n'allons toutefois pas complètement disparaître. L'expertise acquise durant ces années sert déjà aux nouveaux projets en cours : la nouvelle plateforme Memobase, le nouveau portail qui remplacera le catalogue HAN sous le nom de swisscollections et d'autres projets et idées autour de la gestion et du traitement des données des institutions culturelles. De plus, notre expertise reste à votre disposition : nos développements sont disponibles sous licence libre sur GitLab et GitHub et nous sommes prêts à mener votre prochain projet. N'hésitez pas à nous contacter. Quant à notre blog de projet, il va s'arrêter mais restera disponible en ligne. Restez y connectés pour découvrir la suite de nos projets et nos différentes expériences autour de la gestion des données.

Nous nous réjouissons d'un futur palpitant et rempli d'innovations et de nouveaux projets.

Zur Einstellung der swissbib Suchoberflächen // Fin d’activité des interfaces de recherche swissbib || swissbib-info

Deutsche Version Version française

Nach rund 12 Jahren schliessen sich die Tore der bekannten grünen, orangen und blauen Suchoberflächen von swissbib. Die letzte Datenverarbeitung durch swissbib erfolgt am 31.12.2020 (mit Ausnahme der Bibliotheksverbünde, die ihre primäre Suchoberfläche bereits am 7. Dezember zu SLSP wechseln). Bis zum Jahresende werden die Metadaten auch weiterhin zu WorldCat gepusht. Die Suchoberflächen swissbib grün und swissbib blau (jusbib) werden, jedoch ohne aktualisierte Metadaten, in der Übergangsphase noch bis zum 31. März 2021 aufrufbar sein. Bis zu diesem Tag stellen wir die Metadaten auch über unsere SRU Schnittstelle der Öffentlichkeit zur Verfügung. Die OAI-PMH Schnittstelle wird per 19. Februar abgeschaltet. Die Metadaten der Schweizer Bibliotheken werden künftig über die neuen Discoveries von SLSP (ab 7. Dezember 2020) und RERO21 (ab 12. Juli 2021) recherchierbar sein.

Wir bedanken uns an dieser Stelle sehr herzlich bei all unseren Kooperationspartnern und Freunden - bei swissuniversities, der Universitätsbibliothek Basel und allen Datengebern für ihre jahrelange finanzielle Unterstützung, bei verschiedenen Institutionen für die gemeinsamen Projekte und bei unseren früheren und aktuellen Teammitgliedern für deren tatkräftige Mitwirkung und Mitgestaltung der Vision von swissbib. Und natürlich auch bei unseren Partnern rund um die Suchoberflächen - beim swissbib-Beirat, dem Konsortium der Schweizer Hochschulbibliotheken, der AG swissbib Basel Bern und dem Verein Juristische Bibliotheken Schweiz VJBS bzw. eJustice.ch. Schliesslich wäre swissbib ohne die Unterstützung der IT Services der Universität Basel nicht so performant und nahezu unterbruchsfrei verfügbar gewesen, wie man es sich gewohnt war.

Wir werden aber nicht ganz verschwinden. Das über Jahre hinweg aufgebaute Wissen wird Eingang finden in neue Projekte - in die neue Memobase, in den Nachfolger des HAN-Katalogs namens swisscollections und in diverse weitere Projekte und Ideen rund um das Datenmanagement. Zugleich steht unser Fachwissen allen weiterhin zur Verfügung: Unsere Entwicklungen sind unter freier Lizenz auf GitLab und GitHub auffindbar. Und auch für Fragen, Austausch und die Entwicklung neuer Ideen sind wir stets offen. Unser bisheriger Projektblog wird zwar abgeschlossen, aber weiterhin zugänglich bleiben, neue Erkenntnisse rund um das Datenmanagement und aus diversen Projekten dazu werden wir wie bis anhin über verschiedene Kanäle teilen.

Wir freuen uns auf eine spannende Zukunft voller Innovationen und neuer Projekte.

Après 12 ans d'activité, les interfaces bien connues de swissbib.ch (swissbib vert), de baselbern.swissbib.ch (swissbib orange) et de jus.swissbib.ch (swissbib bleu) vont cesser d'offrir leurs prestations. Le dernier import des données des bibliothèques et leur traitement auront lieu le 31 décembre 2020 (à l'exception des réseaux de bibliothèques qui seront live avec SLSP le 7 décembre déjà). Jusqu'à la fin de cette année, les métadonnées des bibliothèques seront aussi envoyées à WorldCat. Toutefois, jusqu'au 31 mars 2021, il sera toujours possible de faire des recherches dans swissbib vert et swissbib bleu, mais les métadonnées ne seront plus actualisées. L'interface SRU sera aussi disponible jusqu'au 31 mars 2021. Quant à l'interface OAI-PMH, elle sera disponible seulement jusqu'au 19 février. Dans le futur, il sera possible de chercher dans les collections des bibliothèques suisses à travers les nouvelles interfaces de recherche de SLSP (dès le 7 décembre 2020) et de RERO21 (dès le 12 juillet 2021).

Nous profitons de l'occasion pour remercier du fond du cœur tous nos partenaires et amis, que ce soit swissuniversities, la Bibliothèque de l'Université de Bâle, ou tous les fournisseurs de données, pour leur soutien financier sur ces nombreuses années. Nous remercions aussi les différentes institutions avec lesquelles nous avons mené des projets communs ainsi que les membres de l'équipe pour leur engagement dynamique et leur participation active à la vision de swissbib. Sans oublier nos partenaires autour des interfaces de recherche : le comité consultatif de swissbib, le Consortium des bibliothèques universitaires suisses, le groupe de travail swissbib Basel Bern, l'Association des bibliothèques juridiques Suisses ABJS ainsi que eJustice.ch. Enfin, swissbib ne serait pas aussi disponible et performant sans le soutien des Services IT de l'Université de Bâle.

Nous n'allons toutefois pas complètement disparaître. L'expertise acquise durant ces années sert déjà aux nouveaux projets en cours : la nouvelle plateforme Memobase, le nouveau portail qui remplacera le catalogue HAN sous le nom de swisscollections et d'autres projets et idées autour de la gestion et du traitement des données des institutions culturelles. De plus, notre expertise reste à votre disposition : nos développements sont disponibles sous licence libre sur GitLab et GitHub et nous sommes prêts à mener votre prochain projet. N'hésitez pas à nous contacter. Quant à notre blog de projet, il va s'arrêter mais restera disponible en ligne. Restez y connectés pour découvrir la suite de nos projets et nos différentes expériences autour de la gestion des données.

Nous nous réjouissons d'un futur palpitant et rempli d'innovations et de nouveaux projets.

Years of experience in the preparation and processing of metadata meets methods of Machine Learning || swissbib-info

Deutsche Version english version

Jahrelange Erfahrung in der Aufbereitung und Verarbeitung von Metadaten trifft auf Maschinelles Lernen

Seit gefühlt zwei, drei Jahren lassen sich kaum mehr Artikel zum Thema Daten und Informationen finden, in denen nicht mindestens einmal Begriffe wie "Maschinelles Lernen", "Künstliche Intelligenz" (KI) oder "Neuronale Netze" erwähnt und als das Erfolgsrezept für die Zukunft beschrieben werden. Sollte damit das, was wir in den letzten 12 Jahren gemacht haben, veraltet und nicht mehr relevant sein? Das swissbib Team ist ja nicht dafür bekannt, sich vor neuen Softwaretechnologien zu scheuen. Wir schauen schon seit je her regelmässig über den Tellerrand um mitzubekommen, ob sich neue Methoden nicht mit unseren klassischen Methoden verbinden lassen. Das Problem dabei: Bevor man aus der Menge des Möglichen etwas Vielversprechendes wählen, ausprobieren und dann vielleicht produktiv einsetzen kann, muss man sich erstmal durch die Grundlagen und Begrifflichkeiten des neuen Themengebiets kämpfen. Nicht so einfach für ein swissbib Team, dass mit Personen nicht üppig ausgestattet ist und den Laden (sprich die "grünen, orangenen oder wie auch immer farbigen Services") am Laufen halten muss.

Helfen kann in so einer Situation manchmal Begeisterung für die Sache, Offenheit (auch von Software) und ein Netz von Personen von ausserhalb unseres Bibliothekskuchens, die man neugierig auf coole Projekte mit unseren Daten machen kann. So geschehen mit Andreas Jud, ein swissbib-Freund, der sich in einer Weiterbildung an der EPF Lausanne mit Methoden des maschinellen Lernens beschäftigt hat. Im Rahmen seines Abschlussprojekts hat er untersucht, welche der zahlreichen Methoden sich für das Clustern von bibliographischen Metadaten einsetzen lassen. In dieser Blog-Serie wird er in die ausgewählten Methoden und Ergebnisse einführen. Die komplette Projektarbeit ist als eine Serie von Jupyter Notebooks frei verfügbar.

Im swissbib Projekt ist die Essenz all unserer Aktivitäten der Umgang mit und die Aufbereitung von (Meta-) Daten. Normalisieren, Anreichern, Zusammenführen  (Clustern) sowie Verknüpfen von Informationen und dies alles auf maschineller Basis ist die Grundlage dafür, dass wir Services wie verschiedene Discoveries, unterschiedliche Schnittstellen oder Dienstleistungen für Dritte anbieten können. Vor allem für das maschinelle Clustern von Daten nutzen wir die (kommerzielle) Software eines Partners, die es uns flexibel ermöglicht, Daten so aufzubereiten, dass man sie für die unterschiedlichen Services einsetzen kann. Dies war über die Jahre kein einmaliger Vorgang mit einem statischen Resultat sondern ein iterativer Prozess, in denen sowohl wir (in den letzten Jahren vor allem unsere Kollegin Silvia Witzig) von der Nutzerinnenseite als auch unser Partner gegenseitig Wissen in den Prozess zur Verbesserung der Datenaufbereitung einbrachten. Die Aktivitäten zur Datenaufbereitung bleiben zentral für die Qualität der Dienstleistungen, die swissbib erbringt.

Maschinelles Lernen basiert auf Daten. Daten von swissbib sind daher die Basis der Abschlussarbeit von Andreas an der EPFL. Mit den Daten, die Andreas in ihrer Rohform vom swissbib Team erhalten hat, lassen sich Ergebniscluster von überzeugender Qualität ermitteln. Dies sei an dieser Stelle bereits vorweggenommen. Nach Abschluss der Arbeit bleiben aber Bereiche, an denen gearbeitet werden muss, um die Resultate in einen produktiven Betrieb zu überführen.
  • Die Projektarbeit von Andreas hatte ihren Schwerpunkt im Gegenüberstellen unterschiedlicher Methoden des maschinellen Lernens. Fragen zur Skalierung der Datenmengen (wie wir sie im swissbib Projekt mit 45 Millionen Aufnahmen bewältigen müssen) konnten nicht berücksichtigt werden. Dieser offene Punkt muss noch angegangen werden. Die Bildung von sogenannten pre-cluster auf der inhaltlichen sowie der Einsatz von Frameworks zur verteilten Verarbeitung wie Apache Flink auf der technischen Ebene sind hier vielversprechende Ansätze.
  • Auch wenn die Ergebnisse der Abschlussarbeit vielversprechend und die Möglichkeiten moderner offener Software noch so cool sind, bleibt der alte Spruch "garbage in, garbage out". Modelle des maschinellen Lernens müssen trainiert werden und die in die Modelle einfliessenden Daten von möglichst guter Qualität sein. Für diesen Prozess braucht es sowohl Menschen, die sich mit Daten, deren Formaten aber auch deren Inhalten auskennen, wie auch Personen auf der Softwareseite. Mit unseren swissbib Erfahrungen bringen wir Know-How auf beiden Seiten ein und werden auch versuchen, in den anstehenden Monaten unsere Expertise, die wir mit unserer produktiven Komponente gesammelt haben und die uns nach wie vor hervorragende Ergebnisse liefert, noch besser zu dokumentieren. Damit erhoffen wir uns, Wissen zu erhalten als auch weiterzugeben. Zudem möchten wir dieses Wissen natürlich in verschiedenen Verfahren, wie zum Beispiel Maschinelles Lernen, einsetzen können und dadurch auch die Chance für Bibliotheken zur Weiterentwicklung nutzen.
  • Die Rohdaten, welche für das Trainieren von Maschinen verwendet wurden, haben noch nicht die Ausprägung und Qualität, wie wir sie in Jahren auf unserer produktiven Maschine aufbauen konnten. Ein nächster Schritt muss darin bestehen, auf unseren Swissbib-Datenstandard aufzusetzen.
  • Als Freizeitprojekt gestartet, bieten die erarbeiteten Resultate Einstiegsmöglichkeiten für Personen mit unterschiedlichem Hintergrund. Es war erfreulich zu beobachten, wie Andreas als promovierter Physiker mit Interesse und Ausdauer die MARC-Regeln der LOC studiert und den Input aus unserem swissbib Team für sein Arbeit aufgenommen hat. Das nun vorliegende Ergebnis, wie maschinelles Lernen auf den Bereich der Aggregation von bibliographischen Metadaten (Clustern) angewendet werden kann, bietet die Möglichkeit, die Magie besser zu fassen, die mit maschinellem Lernen und KI einhergeht. Dies auch für Menschen mit einem informationswissenschaftlichen und weniger technischen Hintergrund.
Wir freuen uns, wenn Sie unsere Blogserie zum Thema Deduplizierung von bibliographischen Daten mit Methoden des Maschinellen Lernens mitverfolgen. Noch mehr freut uns die aktive Teilnahme am Themengebiet und der Diskussion darüber.

Unter diesen links erhalten Sie den Zugriff auf die einzelnen Teile der dreiteilgen Blogserie, in der die verschiedenen Methoden sowie ihre Ergebnisse bewertet und gegenübergestellt werden:
  • Teil 1
  • Teil 2 (folgt bald)
  • Teil 3 (folgt bald)
Eine Anekdote zum Abschluss. Bei der Verteidigung des Projekts an der EPFL sass Andreas Prüfern gegenüber, die äusserten, dass er mit einem "grossartigen Datensatz" gearbeitet hat. Das hat selbstverständlich auch uns gefreut. Vielleicht ist dies aber auch ein Satz, der zum Nachdenken darüber anregt, ob unsere Daten nicht mehr verdient haben, als nur in ein Bibliothekssystem mit relationalem Datenbanksystem gesteckt zu werden.


For what feels like two or three years now, it has been almost impossible to find articles on the subject of data and information in which terms such as "Machine Learning", "Artificial Intelligence" (AI) or "Neural Networks" are not mentioned at least once and described as the recipe for success for the future. Should this mean that what we have been doing over the last 12 years is outdated and no longer relevant? The swissbib team is not known to shy away from new software technologies. We have always thought outside the box to see if new methods can be combined with our classic methods. The problem with this is that before you can choose, try out and perhaps productively use something promising from the multitude of possible options, you first have to fight your way through the basics and terminology of the new topic. Not so easy for a swissbib team that is not lavishly staffed with people and has to keep the shop (i.e. the "green, orange or whatever colored services") running.

In such a situation, sometimes enthusiasm for the subject, openness (also about software) and a network of people from outside our library organisations who can be made curious about cool projects with our data can help. This is what happened to Andreas Jud, a swissbib friend who studied Machine Learning methods in a continuing education course at EPF Lausanne. As part of his final project, he investigated which of the numerous methods can be used for clustering bibliographic metadata. On this blog series he will introduce the selected methods and results. The complete project work is freely available as a series of Jupyter notebooks.

In the swissbib project, the essence of all our activities is the handling and processing of (meta-) data. Normalizing, enriching, clustering (merging) as well as linking of information and all this on a machine basis is the foundation for our ability to offer services such as different discoveries, different APIs or services for third parties. Especially for the machine clustering of data we use the (commercial) software of a partner, which enables us to prepare data in a flexible way so that it can be used for different purposes. Over the years, this has not been a one-off process with a static result, but an iterative process in which we (in recent years especially our colleague Silvia Witzig) from the user side and our partner contributed mutual knowledge to the process of improving data preparation. Data preparation activities remain central to the quality of the services provided by swissbib.

Machine learning is based on data. Data from swissbib is therefore the foundation of Andreas' thesis at EPFL. With the data Andreas received in its raw form from the swissbib team, the resulting clusters are already of convincing quality. This is already anticipated at this point. After completion of the work, however, there are still areas that need to be worked on in order to transfer the results into a productive operation.
  • The project work of Andreas focused on the comparison of different methods of machine learning. Questions concerning the scaling of data volumes (as we have to cope with in the swissbib project with 45 million recordings) could not be considered. This open point still needs to be addressed. The formation of so-called pre-clusters on the content level and the use of frameworks for distributed processing such as Apache Flink on the technical level are promising approaches here.
  • Even if the results of the thesis are promising and the possibilities of modern open software are still cool, the old saying "garbage in, garbage out" remains. Machine learning models must be trained and the data used in the models must be of the best possible quality.  This process requires both people who are familiar with data, its formats and contents, and people on the software side. With our swissbib experience, we are contributing know-how on both sides, and in the coming months we will also try to document even better the expertise we have gained with our productive component, which continues to deliver excellent results. In this way, we hope to preserve and pass on knowledge. In addition, we would of course like to be able to use this knowledge in various processes, such as machine learning, and thus also take advantage of the opportunity for libraries to develop further.
  • The raw data, which were used for the training of machines, do not yet have the characteristics and quality as we could build them up in years on our productive machine. The next step must be to build on our swissbib data standard.
  • Launched as a leisure project, the results obtained offer entry opportunities for people with different backgrounds. It was gratifying to observe how Andreas, who holds a doctorate in physics, studied the MARC rules of the LOC with interest and perseverance and took up the input from our swissbib team for his work. The result now available on how machine learning can be applied to the field of aggregation of bibliographic metadata (clusters) offers the opportunity to better grasp the magic that goes along with machine learning and AI. This also applies to people with an information science and less technical background.
We would be pleased if you follow our blog series on the topic of deduplication of bibliographic data using machine learning methods. We are even more pleased about the active participation in and discussion of the topic.

Under these links you can access the individual parts of the three-part blog series, in which the different methods and their results are evaluated and compared:
  • Part 1
  • Part 2 (coming soon)
  • Part 3 (coming soon)
A closing anecdote. While defending the project at the EPFL, Andreas sat across from examiners who said that he had worked with a "great data set". Of course, we were pleased about that, too. But perhaps this is also a sentence that makes you think about whether our data didn't deserve more than just being put into a library system with a relational database system.

Years of experience in the preparation and processing of metadata meets methods of Machine Learning || swissbib-info

Deutsche Version english version

Jahrelange Erfahrung in der Aufbereitung und Verarbeitung von Metadaten trifft auf Maschinelles Lernen

Seit gefühlt zwei, drei Jahren lassen sich kaum mehr Artikel zum Thema Daten und Informationen finden, in denen nicht mindestens einmal Begriffe wie "Maschinelles Lernen", "Künstliche Intelligenz" (KI) oder "Neuronale Netze" erwähnt und als das Erfolgsrezept für die Zukunft beschrieben werden. Sollte damit das, was wir in den letzten 12 Jahren gemacht haben, veraltet und nicht mehr relevant sein? Das swissbib Team ist ja nicht dafür bekannt, sich vor neuen Softwaretechnologien zu scheuen. Wir schauen schon seit je her regelmässig über den Tellerrand um mitzubekommen, ob sich neue Methoden nicht mit unseren klassischen Methoden verbinden lassen. Das Problem dabei: Bevor man aus der Menge des Möglichen etwas Vielversprechendes wählen, ausprobieren und dann vielleicht produktiv einsetzen kann, muss man sich erstmal durch die Grundlagen und Begrifflichkeiten des neuen Themengebiets kämpfen. Nicht so einfach für ein swissbib Team, dass mit Personen nicht üppig ausgestattet ist und den Laden (sprich die "grünen, orangenen oder wie auch immer farbigen Services") am Laufen halten muss.

Helfen kann in so einer Situation manchmal Begeisterung für die Sache, Offenheit (auch von Software) und ein Netz von Personen von ausserhalb unseres Bibliothekskuchens, die man neugierig auf coole Projekte mit unseren Daten machen kann. So geschehen mit Andreas Jud, ein swissbib-Freund, der sich in einer Weiterbildung an der EPF Lausanne mit Methoden des maschinellen Lernens beschäftigt hat. Im Rahmen seines Abschlussprojekts hat er untersucht, welche der zahlreichen Methoden sich für das Clustern von bibliographischen Metadaten einsetzen lassen. In dieser Blog-Serie wird er in die ausgewählten Methoden und Ergebnisse einführen. Die komplette Projektarbeit ist als eine Serie von Jupyter Notebooks frei verfügbar.

Im swissbib Projekt ist die Essenz all unserer Aktivitäten der Umgang mit und die Aufbereitung von (Meta-) Daten. Normalisieren, Anreichern, Zusammenführen  (Clustern) sowie Verknüpfen von Informationen und dies alles auf maschineller Basis ist die Grundlage dafür, dass wir Services wie verschiedene Discoveries, unterschiedliche Schnittstellen oder Dienstleistungen für Dritte anbieten können. Vor allem für das maschinelle Clustern von Daten nutzen wir die (kommerzielle) Software eines Partners, die es uns flexibel ermöglicht, Daten so aufzubereiten, dass man sie für die unterschiedlichen Services einsetzen kann. Dies war über die Jahre kein einmaliger Vorgang mit einem statischen Resultat sondern ein iterativer Prozess, in denen sowohl wir (in den letzten Jahren vor allem unsere Kollegin Silvia Witzig) von der Nutzerinnenseite als auch unser Partner gegenseitig Wissen in den Prozess zur Verbesserung der Datenaufbereitung einbrachten. Die Aktivitäten zur Datenaufbereitung bleiben zentral für die Qualität der Dienstleistungen, die swissbib erbringt.

Maschinelles Lernen basiert auf Daten. Daten von swissbib sind daher die Basis der Abschlussarbeit von Andreas an der EPFL. Mit den Daten, die Andreas in ihrer Rohform vom swissbib Team erhalten hat, lassen sich Ergebniscluster von überzeugender Qualität ermitteln. Dies sei an dieser Stelle bereits vorweggenommen. Nach Abschluss der Arbeit bleiben aber Bereiche, an denen gearbeitet werden muss, um die Resultate in einen produktiven Betrieb zu überführen.
  • Die Projektarbeit von Andreas hatte ihren Schwerpunkt im Gegenüberstellen unterschiedlicher Methoden des maschinellen Lernens. Fragen zur Skalierung der Datenmengen (wie wir sie im swissbib Projekt mit 45 Millionen Aufnahmen bewältigen müssen) konnten nicht berücksichtigt werden. Dieser offene Punkt muss noch angegangen werden. Die Bildung von sogenannten pre-cluster auf der inhaltlichen sowie der Einsatz von Frameworks zur verteilten Verarbeitung wie Apache Flink auf der technischen Ebene sind hier vielversprechende Ansätze.
  • Auch wenn die Ergebnisse der Abschlussarbeit vielversprechend und die Möglichkeiten moderner offener Software noch so cool sind, bleibt der alte Spruch "garbage in, garbage out". Modelle des maschinellen Lernens müssen trainiert werden und die in die Modelle einfliessenden Daten von möglichst guter Qualität sein. Für diesen Prozess braucht es sowohl Menschen, die sich mit Daten, deren Formaten aber auch deren Inhalten auskennen, wie auch Personen auf der Softwareseite. Mit unseren swissbib Erfahrungen bringen wir Know-How auf beiden Seiten ein und werden auch versuchen, in den anstehenden Monaten unsere Expertise, die wir mit unserer produktiven Komponente gesammelt haben und die uns nach wie vor hervorragende Ergebnisse liefert, noch besser zu dokumentieren. Damit erhoffen wir uns, Wissen zu erhalten als auch weiterzugeben. Zudem möchten wir dieses Wissen natürlich in verschiedenen Verfahren, wie zum Beispiel Maschinelles Lernen, einsetzen können und dadurch auch die Chance für Bibliotheken zur Weiterentwicklung nutzen.
  • Die Rohdaten, welche für das Trainieren von Maschinen verwendet wurden, haben noch nicht die Ausprägung und Qualität, wie wir sie in Jahren auf unserer produktiven Maschine aufbauen konnten. Ein nächster Schritt muss darin bestehen, auf unseren Swissbib-Datenstandard aufzusetzen.
  • Als Freizeitprojekt gestartet, bieten die erarbeiteten Resultate Einstiegsmöglichkeiten für Personen mit unterschiedlichem Hintergrund. Es war erfreulich zu beobachten, wie Andreas als promovierter Physiker mit Interesse und Ausdauer die MARC-Regeln der LOC studiert und den Input aus unserem swissbib Team für sein Arbeit aufgenommen hat. Das nun vorliegende Ergebnis, wie maschinelles Lernen auf den Bereich der Aggregation von bibliographischen Metadaten (Clustern) angewendet werden kann, bietet die Möglichkeit, die Magie besser zu fassen, die mit maschinellem Lernen und KI einhergeht. Dies auch für Menschen mit einem informationswissenschaftlichen und weniger technischen Hintergrund.
Wir freuen uns, wenn Sie unsere Blogserie zum Thema Deduplizierung von bibliographischen Daten mit Methoden des Maschinellen Lernens mitverfolgen. Noch mehr freut uns die aktive Teilnahme am Themengebiet und der Diskussion darüber.

Unter diesen links erhalten Sie den Zugriff auf die einzelnen Teile der dreiteilgen Blogserie, in der die verschiedenen Methoden sowie ihre Ergebnisse bewertet und gegenübergestellt werden:
  • Teil 1
  • Teil 2 (folgt bald)
  • Teil 3 (folgt bald)
Eine Anekdote zum Abschluss. Bei der Verteidigung des Projekts an der EPFL sass Andreas Prüfern gegenüber, die äusserten, dass er mit einem "grossartigen Datensatz" gearbeitet hat. Das hat selbstverständlich auch uns gefreut. Vielleicht ist dies aber auch ein Satz, der zum Nachdenken darüber anregt, ob unsere Daten nicht mehr verdient haben, als nur in ein Bibliothekssystem mit relationalem Datenbanksystem gesteckt zu werden.


For what feels like two or three years now, it has been almost impossible to find articles on the subject of data and information in which terms such as "Machine Learning", "Artificial Intelligence" (AI) or "Neural Networks" are not mentioned at least once and described as the recipe for success for the future. Should this mean that what we have been doing over the last 12 years is outdated and no longer relevant? The swissbib team is not known to shy away from new software technologies. We have always thought outside the box to see if new methods can be combined with our classic methods. The problem with this is that before you can choose, try out and perhaps productively use something promising from the multitude of possible options, you first have to fight your way through the basics and terminology of the new topic. Not so easy for a swissbib team that is not lavishly staffed with people and has to keep the shop (i.e. the "green, orange or whatever colored services") running.

In such a situation, sometimes enthusiasm for the subject, openness (also about software) and a network of people from outside our library organisations who can be made curious about cool projects with our data can help. This is what happened to Andreas Jud, a swissbib friend who studied Machine Learning methods in a continuing education course at EPF Lausanne. As part of his final project, he investigated which of the numerous methods can be used for clustering bibliographic metadata. On this blog series he will introduce the selected methods and results. The complete project work is freely available as a series of Jupyter notebooks.

In the swissbib project, the essence of all our activities is the handling and processing of (meta-) data. Normalizing, enriching, clustering (merging) as well as linking of information and all this on a machine basis is the foundation for our ability to offer services such as different discoveries, different APIs or services for third parties. Especially for the machine clustering of data we use the (commercial) software of a partner, which enables us to prepare data in a flexible way so that it can be used for different purposes. Over the years, this has not been a one-off process with a static result, but an iterative process in which we (in recent years especially our colleague Silvia Witzig) from the user side and our partner contributed mutual knowledge to the process of improving data preparation. Data preparation activities remain central to the quality of the services provided by swissbib.

Machine learning is based on data. Data from swissbib is therefore the foundation of Andreas' thesis at EPFL. With the data Andreas received in its raw form from the swissbib team, the resulting clusters are already of convincing quality. This is already anticipated at this point. After completion of the work, however, there are still areas that need to be worked on in order to transfer the results into a productive operation.
  • The project work of Andreas focused on the comparison of different methods of machine learning. Questions concerning the scaling of data volumes (as we have to cope with in the swissbib project with 45 million recordings) could not be considered. This open point still needs to be addressed. The formation of so-called pre-clusters on the content level and the use of frameworks for distributed processing such as Apache Flink on the technical level are promising approaches here.
  • Even if the results of the thesis are promising and the possibilities of modern open software are still cool, the old saying "garbage in, garbage out" remains. Machine learning models must be trained and the data used in the models must be of the best possible quality.  This process requires both people who are familiar with data, its formats and contents, and people on the software side. With our swissbib experience, we are contributing know-how on both sides, and in the coming months we will also try to document even better the expertise we have gained with our productive component, which continues to deliver excellent results. In this way, we hope to preserve and pass on knowledge. In addition, we would of course like to be able to use this knowledge in various processes, such as machine learning, and thus also take advantage of the opportunity for libraries to develop further.
  • The raw data, which were used for the training of machines, do not yet have the characteristics and quality as we could build them up in years on our productive machine. The next step must be to build on our swissbib data standard.
  • Launched as a leisure project, the results obtained offer entry opportunities for people with different backgrounds. It was gratifying to observe how Andreas, who holds a doctorate in physics, studied the MARC rules of the LOC with interest and perseverance and took up the input from our swissbib team for his work. The result now available on how machine learning can be applied to the field of aggregation of bibliographic metadata (clusters) offers the opportunity to better grasp the magic that goes along with machine learning and AI. This also applies to people with an information science and less technical background.
We would be pleased if you follow our blog series on the topic of deduplication of bibliographic data using machine learning methods. We are even more pleased about the active participation in and discussion of the topic.

Under these links you can access the individual parts of the three-part blog series, in which the different methods and their results are evaluated and compared:
  • Part 1
  • Part 2 (coming soon)
  • Part 3 (coming soon)
A closing anecdote. While defending the project at the EPFL, Andreas sat across from examiners who said that he had worked with a "great data set". Of course, we were pleased about that, too. But perhaps this is also a sentence that makes you think about whether our data didn't deserve more than just being put into a library system with a relational database system.

Neuauflage der swissbib Linked Open Data API / Nouvelle version de l’API Linked Open Data de swissbib || swissbib-info

Deutsche Version Version française

Im ersten Teil unserer Blogserie haben wir die wesentlichen Neuerungen der linked swissbib Aktivitäten im letzten Jahr für Benutzerinnen kurz zusammengestellt. Dieser zweite Teil legt seinen Schwerpunkt auf die neuentwickelte Linked Open Data Schnittstelle und möchte den Leserinnen Hintergrundinformationen dazu geben, wie und warum diese als Teil des Projekts linked swissbib entwickelt wurde und welche Gründe zu ihrer Neuimplementierung im letzten Jahr führten.     


Das swissbib Projekt hat sich bereits sehr früh mit dem Thema strukturierte semantische Daten für das Web (LOD) auseinandergesetzt. Im Jahre 2014 reichten die Projektpartner 


einen Projektantrag im Rahmen des “Programm SUK 2013-2016 P-2” zur Erweiterung der swissbib-Plattform zu einem Service für verlinkte Metadaten ein.

Zur weiteren Unterstützung der Umsetzung konnte zusätzlich die Expertise des GESIS – LeibnizInstitute for the Social Sciences gewonnen werden.

Zu den inhaltlichen 5 Säulen des Projekts zählen:
  • Die Konvertierung aller in swissbib verfügbaren Daten in ein durch das Projekt erstelltes Datenmodell
  • Datenanreicherung durch Verlinkung mit weiteren Quellen
     
  • Erstellung einer REST Datenschnittstelle für die neuen RDF Daten
  • Soweit rechtlich möglich Bereitstellung eines Grossteils der schweizerischen bibliographischen Daten unter der offenen Lizenz CC0
Das Projekt konnte Ende des Jahres 2016 nach der Errichtung dieser 5 Säulen erfolgreich abgeschlossen werden.

Dem Programm P2 (jetzt P5) war bei der Genehmigung wichtig, dass die Projektergebnisse in den laufenden produktiven Betrieb von swissbib übernommen und damit Nutzerinnen die Möglichkeiten von semantisch vernetzten Daten aktiv angeboten werden können und das Projekt nicht nur reinen Forschungscharakter hat. Auch dieses Ziel wurde umgesetzt. Alle Daten, die jede Nacht in den Datenhub von swissbib einfliessen (i.d.R. rund 200.000 Dokumente mit Spitzen von mehreren Millionen), werden in den workflow zur Erstellung strukturierter RDF Daten eingespiesen und stehen damit grundsätzlich allen Services der swissbib Plattform sowie den clients unserer Schnittstellen zur freien Verfügung. Innerhalb der Discoverywerkzeuge der swissbib Plattform werden die RDF Daten vor allem für die Seiten mit Personen- und Themeninformationen genutzt, maschinelle clients verwenden die Linked Open Data Schnittstelle.

Zeit ist verstrichen, Erfahrungen im praktischen Betrieb wurden gesammelt und der Service swissbib entwickelte sich vor allem in den letzten 2 ½ Jahren immer stärker hin zu einer Plattform mit hoher Expertise im Bereich des Management von Daten primär aus dem kulturellen Sektor. Diese Datenkompetenz ist die zentrale Grundlage zur Bereitstellung von Services, die sowohl von Menschen als auch Maschinen genutzt werden können.

Neuimplementierung der Linked Open Data Schnittstellen

Welche Gründe führten zur kompletten Neuentwicklung dieser API:
  • Die technische Basis basierte seinerzeit auf dem PHP Framework API platform, das sich damals und auch heute noch grosser Beliebtheit bei der Realisierung von REST Schnittstellen erfreut. Diese Basis passte 2015 auch ideal in den sonstigen Technologiestack des swissbib Projekts. API Platform integrierte als eines der ersten Frameworks überhaupt das Hydra Vokabular als ein Bestandteil der linked data fragments, die eine  leichtgewichtige Variante für Sparql Server ermöglichen. Der Grossteil der Implementierung konnte durch zwei Studenten im Rahmen einer Projektarbeit an der FH Nordwestschweiz umgesetzt werden. Dennoch erwies sich die Techologie als nicht unbedingt passend für die Umsetzung von Anforderungen wie bspw. Reconciliation mit populären tools wie OpenRefine. Hier steht das lobid Projekt des Hochschulbibliothekszentrums Köln Pate für eine erfolgreicher genutzte Datenschnittstelle zur GND. Der von lobid genutzte Technologiestack, das Play Framework, passt unterdessen auch viel besser zur sonstigen swissbib Datenplattform. Der Sourcecode der neuen API ist wie alle anderen Entwicklungen von swissbib frei abruf- und verfügbar.

  • swissbib entwickelt sich immer mehr zu einer Datenplattform, auf der (strukturierte) Daten in Datenpipelines ge-clustert sowie für Services aufbereitet werden und in Zukunft auch für die interaktive Datenanalyse durch Menschen bereitstehen. Dazu setzen wir bereits jetzt Big Data Technologien wie Apache Kafka, Apache Flink und Apache Beam ein. Auf der Elag 2019 gaben wir einen Einblick, wie wir die Datendrehscheibe Apache Kafka für die Orchestrierung von Workflows mit Microservices nutzen. Auf Basis dieser Technologien entwickeln wir Bausteine der swissbib Datenplattform, eine unabdingbare Voraussetzung für zukunftsfähige innovative Services. Mehr Einblick in diese Ideen gaben wir im Rahmen eines Weiterbildungsmoduls.
    In diese Welt lässt sich die technische Basis aus dem Jahre 2015 schlechter integrieren bzw. können wir uns als kleines Team neben dem beschriebenen Kern an Technologien nicht auch noch fokussieren.
     
  • Die seinerzeit entwickelten workflows zur Verlinkung der Daten genügen nicht mehr den heutigen Wünschen und Vorstellungen. Die neuen Datenkomponenten ermöglichen es uns, einen umfassenderen Hub für Personen und Organisationen aus den bibliographischen Ressourcen der swissbib Daten zu erstellen. Diese Identitäten verlinken wir nicht nur mit Ressourcen aus GND, DBPedia und Viaf (bisher) sondern neu mit Wikidata und allen weiteren Datensourcen, die mit den genannten Quellen in Verbindung stehen. Bereits jetzt haben wir einen erheblichen Zuwachs an Verlinkungen. Neu werden wir auf Basis der neuen Technologen weitere Methoden nutzen, um die Verlinkungsqualität stetig zu verbessern.     
Die neue Datenschnittstelle wird unsere deutlich verbesserten Verlinkungen anderen Diensten einfacher zur Verfügung stellen können. Sie kann die stabile technische Basis für bereits jetzt angedachte funktionale Weiterentwicklungen sein:
  • Reconciliation mit Open Refine  
  • Webabfragesprache GraphQL als Alternative zum REST Modell
  • wir freuen uns über weitere Wünsche und Ideen sowie aktive Mitarbeit 
Im folgenden dritten Teil unserer Blogserie zu den aktuellen Entwicklungen im Bereich semantische Daten auf der swissbib Plattform werden wir den Schwerpunkt auf praktische Beispiele legen, wie die neuen Funktionen der Schnittstelle https://data.swissbib.ch genutzt werden können. 


Dans un premier billet de blog, nous avons résumé les principales nouveautés de la partie Linked Open Data de swissbib des 12 derniers mois. Ce deuxième billet de blog se concentre sur la nouvelle interface Linked Open Data de swissbib. Il détaille pourquoi et comment cette interface a été implémentée.

Le projet linked swissbib



Le projet swissbib s'est emparé très tôt de la thématique des données sémantiques structurées pour le web (Linked Open Data). En 2014, les 3 partenaires :

ont déposé un projet auprès du Programme “CUS 2013-2016 P-2” pour le développement de la plateforme swissbib vers un service de type Linked Open Data.

De plus, le GESIS – LeibnizInstitute for the Social Sciences a aussi participé au projet lors de sa mise en oeuvre.

Le projet comportait les 5 parties suivantes :

  • Conversion de toutes les données de swissbib dans un nouveau modèle de données compatible avec le web sémantique
  • Enrichissement des données par l'interconnexion avec d'autres sources
  • Mise en place d'une API REST pour ces nouvelles données RDF
  • Utilisation des nouvelles données dans l'interface de swissbib, swissbib Basel Bern ainsi que le portail juridique Jusbib
  • Mise à disposition des données sous une licence CC0, quand les conditions juridiques le permettent (environ 80% des données)
Le projet a été terminé avec succès à la fin de 2016 avec la mise en fonction de ces 5 parties.

Pour le Programme P2 (maintenant P5), il était essentiel que les résultats du projet soient intégrés au fonctionnement de swissbib et que les utilisateurs puissent profiter des avantages des données sémantiques. Ce but a aussi été mis en oeuvre. Toutes les données qui arrivent chaque nuit dans le hub de données swissbib (en moyenne 200'000 documents, mais avec des pointes à plusieurs millions) passent à travers le processus de transformation en Linked Open Data. De cette façon, elles sont disponibles pour tous les services, que ce soit sur swissbib.ch ou alors via l'interface data.swissbib.ch. Dans l'outil discovery swissbib.ch, les données sont principalement utilisées dans le cadre des pages décrivant des personnes ou des sujets.

Le temps est passé et l'expérience s'est accumulée. Lors des 2 ½ dernières années, le service swissbib s'est développé de plus en plus vers un centre de compétence avec une grande expertise dans le domaine de la gestion des données culturelles. Ceci sert de base pour la mise à disposition de différents services pour des utilisateurs, des institutions ou alors pour des machines.

Nouvelle implémentation de l'interface Linked Open Data


Diverses raisons ont engendré le redéveloppement complet de cette interface data.swissbib.ch :

  • La première interface (2016) s'était basée sur la technologie PHP Framework API platform. C'était (et c'est encore) une technologie très populaire pour la réalisation d'interfaces REST. Cette technologie s'intégrait aussi très bien dans les technologies utilisées par swissbib pour ses services. PHP Framework API Platform était de plus une des premières plateformes qui intégrait le Vocabulaire Hydra, une partie de la spécification Linked Data Fragments qui permet une alternative légère à un serveur SPARQL. La majorité de l'implémentation a ét faite par deux étudiants dans le cadre d'un travail de projet à la FH Nordwestschweiz. Cependant, cette technologie s'est avérée pas totalement adéquate pour la mise en place de nouvelles fonctionnalités, comme par exemple la réconciliation avec des outils populaires comme OpenRefine. Dans ce domaine, le projet lobid de la Hochschulbibliothekszentrums Köln a développé une interface efficace et très utilisée pour la GND, les données d'autorité allemandes. De plus le technologie utilisée par lobid, Play Framework, s'intègre mieux avec les technologies actuellement utilisées par le hub de données swissbib. Le code source de la nouvelle API, comme toutes les applications développées par swissbib, est disponible en ligne sous une licence libre.
  • swissbib se développe toujours plus dans la direction d'une plateforme de données. Sur cette plateforme, on peut lancer des processus de clustering, d'enrichissements, de liens avec le web sémantiques... Ces données sont préparées pour différents services, comme par exemple l'analyse interactive de données par des personnes. A cet effet, nous utilisons différentes technologies du domaine Big Data, comme Apache Kafka, Apache Flink et Apache Beam. Lors de la conférence Elag 2019, nous avons donnée un aperçu de la manière dont nous utilisons la plaque tournante Apache Kafka pour l'orchestration de nos différents microservices. Sur la base de ces technologies, nous développements les éléments de la plateforme de données swissbib, un prérequis indispensable pour de futurs services innovants. Nous avons donné plus de détails sur ces éléments dans un récent module de formation. Dans ce nouvel environnement, la base technique de 2015 s'intégrait mal. En tant que petite équipe, nous préférons nous concentrer sur un noyau de technologies.
  • Le processus de "interlinking", qui permet de créer des liens avec d'autres sources du web sémantique, tel que développé à l'époque n'était plus suffisant pour répondre aux besoins d'aujourd'hui, comme par exemple l'avènement de wikidata. Les nouveaux composants développés ont permis la création d'un Hub de données beaucoup plus complet pour les personnes et organisations qui proviennent des ressources bibliographiques de swissbib. Ces identités sont désormais reliées à Wikidata, en plus de la GND, de DBPedia et de VIAF. Comme ces sources sont elles-mêmes liées à d'autres sources de données, les liens vont encore plus loin. Nous avons pu constaté une très grande augmentation de liens créés. Nous avons par exemple plus de 2 millions de personnes liées et enrichies. Avec ces nouvelles technologies, nous avons les possibilités d'améliorer constamment la qualité des liens.

La nouvelle interface Linked Open Data met à disposition nos données liées et enrichies pour d'autres services. Elle pourrait être la base pour de nouveaux développements tels que

  • Reconciliation avec Open Refine
  • Utilisation du langage de requête GraphQL comme alternative au modèle REST
  • Nous nous réjouissons de vos demandes et sommes à disposition pour la collaboration

Dans le prochain et troisième billet de blog de cette série autour des données sémantiques au sein de la plateforme swissbib, nous allons présenter quelques exemples pratiques d'utilisation de l'interface https://data.swissbib.ch et quelles sont les nouvelles possibilités rendues possibles par les technologies du web sémantique.


Neuauflage der swissbib Linked Open Data API / Nouvelle version de l’API Linked Open Data de swissbib || swissbib-info

Deutsche Version Version française

Im ersten Teil unserer Blogserie haben wir die wesentlichen Neuerungen der linked swissbib Aktivitäten im letzten Jahr für Benutzerinnen kurz zusammengestellt. Dieser zweite Teil legt seinen Schwerpunkt auf die neuentwickelte Linked Open Data Schnittstelle und möchte den Leserinnen Hintergrundinformationen dazu geben, wie und warum diese als Teil des Projekts linked swissbib entwickelt wurde und welche Gründe zu ihrer Neuimplementierung im letzten Jahr führten.     


Das swissbib Projekt hat sich bereits sehr früh mit dem Thema strukturierte semantische Daten für das Web (LOD) auseinandergesetzt. Im Jahre 2014 reichten die Projektpartner 


einen Projektantrag im Rahmen des “Programm SUK 2013-2016 P-2” zur Erweiterung der swissbib-Plattform zu einem Service für verlinkte Metadaten ein.

Zur weiteren Unterstützung der Umsetzung konnte zusätzlich die Expertise des GESIS – LeibnizInstitute for the Social Sciences gewonnen werden.

Zu den inhaltlichen 5 Säulen des Projekts zählen:
  • Die Konvertierung aller in swissbib verfügbaren Daten in ein durch das Projekt erstelltes Datenmodell
  • Datenanreicherung durch Verlinkung mit weiteren Quellen
     
  • Erstellung einer REST Datenschnittstelle für die neuen RDF Daten
  • Soweit rechtlich möglich Bereitstellung eines Grossteils der schweizerischen bibliographischen Daten unter der offenen Lizenz CC0
Das Projekt konnte Ende des Jahres 2016 nach der Errichtung dieser 5 Säulen erfolgreich abgeschlossen werden.

Dem Programm P2 (jetzt P5) war bei der Genehmigung wichtig, dass die Projektergebnisse in den laufenden produktiven Betrieb von swissbib übernommen und damit Nutzerinnen die Möglichkeiten von semantisch vernetzten Daten aktiv angeboten werden können und das Projekt nicht nur reinen Forschungscharakter hat. Auch dieses Ziel wurde umgesetzt. Alle Daten, die jede Nacht in den Datenhub von swissbib einfliessen (i.d.R. rund 200.000 Dokumente mit Spitzen von mehreren Millionen), werden in den workflow zur Erstellung strukturierter RDF Daten eingespiesen und stehen damit grundsätzlich allen Services der swissbib Plattform sowie den clients unserer Schnittstellen zur freien Verfügung. Innerhalb der Discoverywerkzeuge der swissbib Plattform werden die RDF Daten vor allem für die Seiten mit Personen- und Themeninformationen genutzt, maschinelle clients verwenden die Linked Open Data Schnittstelle.

Zeit ist verstrichen, Erfahrungen im praktischen Betrieb wurden gesammelt und der Service swissbib entwickelte sich vor allem in den letzten 2 ½ Jahren immer stärker hin zu einer Plattform mit hoher Expertise im Bereich des Management von Daten primär aus dem kulturellen Sektor. Diese Datenkompetenz ist die zentrale Grundlage zur Bereitstellung von Services, die sowohl von Menschen als auch Maschinen genutzt werden können.

Neuimplementierung der Linked Open Data Schnittstellen

Welche Gründe führten zur kompletten Neuentwicklung dieser API:
  • Die technische Basis basierte seinerzeit auf dem PHP Framework API platform, das sich damals und auch heute noch grosser Beliebtheit bei der Realisierung von REST Schnittstellen erfreut. Diese Basis passte 2015 auch ideal in den sonstigen Technologiestack des swissbib Projekts. API Platform integrierte als eines der ersten Frameworks überhaupt das Hydra Vokabular als ein Bestandteil der linked data fragments, die eine  leichtgewichtige Variante für Sparql Server ermöglichen. Der Grossteil der Implementierung konnte durch zwei Studenten im Rahmen einer Projektarbeit an der FH Nordwestschweiz umgesetzt werden. Dennoch erwies sich die Techologie als nicht unbedingt passend für die Umsetzung von Anforderungen wie bspw. Reconciliation mit populären tools wie OpenRefine. Hier steht das lobid Projekt des Hochschulbibliothekszentrums Köln Pate für eine erfolgreicher genutzte Datenschnittstelle zur GND. Der von lobid genutzte Technologiestack, das Play Framework, passt unterdessen auch viel besser zur sonstigen swissbib Datenplattform. Der Sourcecode der neuen API ist wie alle anderen Entwicklungen von swissbib frei abruf- und verfügbar.

  • swissbib entwickelt sich immer mehr zu einer Datenplattform, auf der (strukturierte) Daten in Datenpipelines ge-clustert sowie für Services aufbereitet werden und in Zukunft auch für die interaktive Datenanalyse durch Menschen bereitstehen. Dazu setzen wir bereits jetzt Big Data Technologien wie Apache Kafka, Apache Flink und Apache Beam ein. Auf der Elag 2019 gaben wir einen Einblick, wie wir die Datendrehscheibe Apache Kafka für die Orchestrierung von Workflows mit Microservices nutzen. Auf Basis dieser Technologien entwickeln wir Bausteine der swissbib Datenplattform, eine unabdingbare Voraussetzung für zukunftsfähige innovative Services. Mehr Einblick in diese Ideen gaben wir im Rahmen eines Weiterbildungsmoduls.
    In diese Welt lässt sich die technische Basis aus dem Jahre 2015 schlechter integrieren bzw. können wir uns als kleines Team neben dem beschriebenen Kern an Technologien nicht auch noch fokussieren.
     
  • Die seinerzeit entwickelten workflows zur Verlinkung der Daten genügen nicht mehr den heutigen Wünschen und Vorstellungen. Die neuen Datenkomponenten ermöglichen es uns, einen umfassenderen Hub für Personen und Organisationen aus den bibliographischen Ressourcen der swissbib Daten zu erstellen. Diese Identitäten verlinken wir nicht nur mit Ressourcen aus GND, DBPedia und Viaf (bisher) sondern neu mit Wikidata und allen weiteren Datensourcen, die mit den genannten Quellen in Verbindung stehen. Bereits jetzt haben wir einen erheblichen Zuwachs an Verlinkungen. Neu werden wir auf Basis der neuen Technologen weitere Methoden nutzen, um die Verlinkungsqualität stetig zu verbessern.     
Die neue Datenschnittstelle wird unsere deutlich verbesserten Verlinkungen anderen Diensten einfacher zur Verfügung stellen können. Sie kann die stabile technische Basis für bereits jetzt angedachte funktionale Weiterentwicklungen sein:
  • Reconciliation mit Open Refine  
  • Webabfragesprache GraphQL als Alternative zum REST Modell
  • wir freuen uns über weitere Wünsche und Ideen sowie aktive Mitarbeit 
Im folgenden dritten Teil unserer Blogserie zu den aktuellen Entwicklungen im Bereich semantische Daten auf der swissbib Plattform werden wir den Schwerpunkt auf praktische Beispiele legen, wie die neuen Funktionen der Schnittstelle https://data.swissbib.ch genutzt werden können. 


Dans un premier billet de blog, nous avons résumé les principales nouveautés de la partie Linked Open Data de swissbib des 12 derniers mois. Ce deuxième billet de blog se concentre sur la nouvelle interface Linked Open Data de swissbib. Il détaille pourquoi et comment cette interface a été implémentée.

Le projet linked swissbib



Le projet swissbib s'est emparé très tôt de la thématique des données sémantiques structurées pour le web (Linked Open Data). En 2014, les 3 partenaires :

ont déposé un projet auprès du Programme “CUS 2013-2016 P-2” pour le développement de la plateforme swissbib vers un service de type Linked Open Data.

De plus, le GESIS – LeibnizInstitute for the Social Sciences a aussi participé au projet lors de sa mise en oeuvre.

Le projet comportait les 5 parties suivantes :

  • Conversion de toutes les données de swissbib dans un nouveau modèle de données compatible avec le web sémantique
  • Enrichissement des données par l'interconnexion avec d'autres sources
  • Mise en place d'une API REST pour ces nouvelles données RDF
  • Utilisation des nouvelles données dans l'interface de swissbib, swissbib Basel Bern ainsi que le portail juridique Jusbib
  • Mise à disposition des données sous une licence CC0, quand les conditions juridiques le permettent (environ 80% des données)
Le projet a été terminé avec succès à la fin de 2016 avec la mise en fonction de ces 5 parties.

Pour le Programme P2 (maintenant P5), il était essentiel que les résultats du projet soient intégrés au fonctionnement de swissbib et que les utilisateurs puissent profiter des avantages des données sémantiques. Ce but a aussi été mis en oeuvre. Toutes les données qui arrivent chaque nuit dans le hub de données swissbib (en moyenne 200'000 documents, mais avec des pointes à plusieurs millions) passent à travers le processus de transformation en Linked Open Data. De cette façon, elles sont disponibles pour tous les services, que ce soit sur swissbib.ch ou alors via l'interface data.swissbib.ch. Dans l'outil discovery swissbib.ch, les données sont principalement utilisées dans le cadre des pages décrivant des personnes ou des sujets.

Le temps est passé et l'expérience s'est accumulée. Lors des 2 ½ dernières années, le service swissbib s'est développé de plus en plus vers un centre de compétence avec une grande expertise dans le domaine de la gestion des données culturelles. Ceci sert de base pour la mise à disposition de différents services pour des utilisateurs, des institutions ou alors pour des machines.

Nouvelle implémentation de l'interface Linked Open Data


Diverses raisons ont engendré le redéveloppement complet de cette interface data.swissbib.ch :

  • La première interface (2016) s'était basée sur la technologie PHP Framework API platform. C'était (et c'est encore) une technologie très populaire pour la réalisation d'interfaces REST. Cette technologie s'intégrait aussi très bien dans les technologies utilisées par swissbib pour ses services. PHP Framework API Platform était de plus une des premières plateformes qui intégrait le Vocabulaire Hydra, une partie de la spécification Linked Data Fragments qui permet une alternative légère à un serveur SPARQL. La majorité de l'implémentation a ét faite par deux étudiants dans le cadre d'un travail de projet à la FH Nordwestschweiz. Cependant, cette technologie s'est avérée pas totalement adéquate pour la mise en place de nouvelles fonctionnalités, comme par exemple la réconciliation avec des outils populaires comme OpenRefine. Dans ce domaine, le projet lobid de la Hochschulbibliothekszentrums Köln a développé une interface efficace et très utilisée pour la GND, les données d'autorité allemandes. De plus le technologie utilisée par lobid, Play Framework, s'intègre mieux avec les technologies actuellement utilisées par le hub de données swissbib. Le code source de la nouvelle API, comme toutes les applications développées par swissbib, est disponible en ligne sous une licence libre.
  • swissbib se développe toujours plus dans la direction d'une plateforme de données. Sur cette plateforme, on peut lancer des processus de clustering, d'enrichissements, de liens avec le web sémantiques... Ces données sont préparées pour différents services, comme par exemple l'analyse interactive de données par des personnes. A cet effet, nous utilisons différentes technologies du domaine Big Data, comme Apache Kafka, Apache Flink et Apache Beam. Lors de la conférence Elag 2019, nous avons donnée un aperçu de la manière dont nous utilisons la plaque tournante Apache Kafka pour l'orchestration de nos différents microservices. Sur la base de ces technologies, nous développements les éléments de la plateforme de données swissbib, un prérequis indispensable pour de futurs services innovants. Nous avons donné plus de détails sur ces éléments dans un récent module de formation. Dans ce nouvel environnement, la base technique de 2015 s'intégrait mal. En tant que petite équipe, nous préférons nous concentrer sur un noyau de technologies.
  • Le processus de "interlinking", qui permet de créer des liens avec d'autres sources du web sémantique, tel que développé à l'époque n'était plus suffisant pour répondre aux besoins d'aujourd'hui, comme par exemple l'avènement de wikidata. Les nouveaux composants développés ont permis la création d'un Hub de données beaucoup plus complet pour les personnes et organisations qui proviennent des ressources bibliographiques de swissbib. Ces identités sont désormais reliées à Wikidata, en plus de la GND, de DBPedia et de VIAF. Comme ces sources sont elles-mêmes liées à d'autres sources de données, les liens vont encore plus loin. Nous avons pu constaté une très grande augmentation de liens créés. Nous avons par exemple plus de 2 millions de personnes liées et enrichies. Avec ces nouvelles technologies, nous avons les possibilités d'améliorer constamment la qualité des liens.

La nouvelle interface Linked Open Data met à disposition nos données liées et enrichies pour d'autres services. Elle pourrait être la base pour de nouveaux développements tels que

  • Reconciliation avec Open Refine
  • Utilisation du langage de requête GraphQL comme alternative au modèle REST
  • Nous nous réjouissons de vos demandes et sommes à disposition pour la collaboration

Dans le prochain et troisième billet de blog de cette série autour des données sémantiques au sein de la plateforme swissbib, nous allons présenter quelques exemples pratiques d'utilisation de l'interface https://data.swissbib.ch et quelles sont les nouvelles possibilités rendues possibles par les technologies du web sémantique.


Die Zukunft des Schweizer Metakatalogs swissbib / Le futur du métacatalogue swissbib || swissbib-info

Deutsche Version Version française

Einiges wurde bereits berichtet, vieles blieb aber bislang noch offen: Wie geht es weiter mit swissbib nach dem Start der Swiss Library Service Platform SLSP am 1. Januar 2021? Nach einem Jahr intensiver Klärungsgespräche können wir nun erste konkrete Aussichten formulieren.

Metakatalog Schweiz und Discoveries

Ab dem 7. Dezember 2020 wird SLSP das neue Discovery für Bibliotheksbestände in der Schweiz stellen. In einem ersten Schritt werden primär wissenschaftliche Bibliotheken aus den bisherigen Verbünden IDS und RERO darin enthalten sein. Danach ist jedoch geplant, die Teilnehmerbasis von SLSP kontinuierlich auszuweiten sowie über ein hybrides Verfahren auch Drittsysteme anzubinden. Auch die lokalen swissbib Discoveries werden migriert bzw. teilweise abgestellt:
  • swissbib orange für die Bestände der Bibliotheken in Bern und Basel wird durch SLSP bzw. Primo VE abgelöst.
  • swissbib blau: Die Vereinigung der Juristischen Bibliotheken der Schweiz (VJBS) hat sich entschieden, ihren Katalog einzustellen.
Eine gemeinsame Mitteilung der Direktion der UB Basel, des swissbib-Beirates und SLSP (16.01.2020) schildert die Details:
"Ablösung von swissbib grün durch SLSP

Ende 2020 wird die UB Basel die Dienste von swissbib einstellen im Zuge der Inbetriebnahme des nationalen Angebotes von Swiss Library Service Platform (SLSP). Die Mehrheit der in swissbib beteiligten Bibliotheken und der Grossteil der Schweizer Bibliotheksbestände werden von der SLSP Discovery-Lösung ab Go-Live oder in der «zweiten Welle» abgedeckt. Für die Einbindung weiterer Bibliotheken, die nicht planen SLSP beizutreten, sind Lösungen bzw. Produktentwicklungen seitens der Firma Ex Libris in Aussicht gestellt worden.

Mit dem Go-Live von SLSP Ende 2020 wird ein Grossteil der Hochschulbibliotheken und viele andere wissenschaftliche Bibliotheken der Schweiz über das Discovery-Tool von SLSP auf Netzwerkebene recherchierbar sein. Diese Oberfläche ermöglicht auch einen direkten Zugang zu allen elektronischen Beständen und eine nahtlose Anbindung an alle Benutzungsfunktionalitäten inkl. Kurier.

In einer «zweiten Welle» sollen weitere Hochschul- und wissenschaftliche Bibliotheken zu SLSP stossen und ebenfalls in das Discovery eingebunden werden. Hierzu gehören andere Einrichtungen, die bereits Alma nutzen (beispielsweise Alexandria-Verbund) sowie weitere Bibliotheken, die einen Systemwechsel zu Alma planen (beispielsweise Bibliotheksverbund Graubünden, St. Galler Bibliotheksnetz, Liechtensteinische Landesbibliothek und Sistema Bibliotecario Ticinese).

Allerdings kann nicht davon ausgegangen werden, dass sämtliche von swissbib abgedeckten Bibliotheken von dieser «zweiten Welle» erfasst werden können. Somit wird es auch mittelfristig Bibliotheken geben, die nicht über das Discovery von SLSP recherchierbar sind. Hier handelt es sich voraussichtlich um kleinere bis mittelgrosse Kantonsbibliotheken sowie wissenschaftliche Spezialbibliotheken, die nicht Alma als Bibliothekssystem einsetzen. Um diese Drittsysteme nahtlos und ohne grossen technischen Aufwand in das schweizweite Discovery einzubinden, braucht es weitere Produktentwicklungen bei der Firma Ex Libris. Diese werden von Ex Libris in Aussicht gestellt, allerdings ohne Nennung eines konkreten Termins. Der zumindest vorübergehende Ausschluss dieser Bibliotheken aus dem nationalen Rechercheportal wird vom swissbib-Team an der UB Basel und dem Beirat von SLSP bedauert.

Allerdings hält SLSP am Ziel eines schweizweiten Discovery-Tools für alle wissenschaftlichen Bibliotheken fest und wird die Entwicklungen bei Ex Libris eng verfolgen. Idealerweise könnte die Bildung eines hybriden Discoveries (also mit Einbindung von Drittsystemen) direkt im Anschluss an die oben genannte «zweite Welle» in Angriff genommen werden.

Marie-Christine Doffey (Direktorin Schweizerische Nationalbibliothek) und Martin Good (Direktor BCU Fribourg) bedanken sich im Namen des SLSP Verwaltungsrates und SLSP Beirats beim swissbib Team für den ausgezeichneten und zuverlässigen Service von swissbib grün, den die Basler Kolleginnen und Kollegen während vieler Jahre zur Verfügung gestellt haben. Aus nationaler Sicht ist bzw. war swissbib ein Vorzeigeprojekt, das einerseits innovative technische Entwicklungen aufgegriffen und vorangetrieben hat, und andererseits für die Kundinnen und Kunden über alle Bibliotheksverbünde hinweg eine einheitliche Suchoberfläche angeboten hat.

Eine abschliessende Würdigung der Leistungen des swissbib Teams und ein Dankeschön an alle teilnehmenden Bibliotheken für ihre regelmässigen Datenlieferungen und grosszügige finanzielle Unterstützung während der letzten zwei Jahre soll gesondert und gegen Ende des Jahres erfolgen."

Nationallizenzen und Private User Remote Access (PURA)

Mit der am 29. November 2019 durch SLSP publizierten Mitteilung, dass der operative Teil des Konsortiums der Schweizer Hochschulbibliotheken in SLSP integriert wird, ist bestätigt, dass die Nationallizenzen künftig auch im SLSP-Discovery implementiert werden. Der jüngste Service von swissbib – Private User Remote Access PURA – kann durch den Einsatz von SWITCH edu-ID in SLSP ebenfalls realisiert werden. Für Details dazu empfehlen wir die direkte Kontaktaufnahme mit SLSP.

Schnittstellen zu den bibliografischen Metadaten

swissbib bietet heute neben den Discoveries auch offene Schnittstellen verschiedenster Art für den Metadatenbezug an. Diese können ab Ende 2020 von uns nicht weiter bedient werden (das genaue Datum werden wir noch kommunizieren). Den automatischen Datenexport nach WorldCat wird SLSP eigenständig weiterführen, auch die Anbindung an das Kartenportal bleibt bestehen.

Weitere Daten- und Schnittstellennutzer bitten wir, sich direkt bei SLSP zu melden, um die Möglichkeiten und Konditionen für den Metadatenbezug zu klären.

Know-How (und dessen Weitergabe) im Bereich Dataprocessing

Die Personen hinter swissbib waren in den vergangenen Jahren rege im Bereich der Weitergabe ihres Know-Hows unterwegs – an Tagungen und in verschiedenen Weiterbildungskursen wurden die Erfahrungen und Services präsentiert und erläutert. Diesen Geist möchten wir uns bewahren. Die im Rahmen von swissbib erarbeiteten Skills im Bereich Dataprocessing und Datentransformation und -anreicherung wird die Universitätsbibliothek Basel in Zukunft in anderen Projekten einsetzen und nachnutzen können.


Certains éléments avaient déjà été communiqués, mais beaucoup de choses restaient encore ouvertes. Que se passe-t-il pour swissbib après le lancement de la Swiss Library Service Platform SLSP le 1er janvier 2021 ? Après une année d'échanges intensifs, nous pouvons désormais formuler quelques perspectives concrètes.

Métacatalogue suisse et portails de découverte

Dès le 7 décembre 2020, SLSP mettra à disposition le nouveau portail de découverte des collections des bibliothèques suisses. Dans un premier temps, il couvrira principalement les bibliothèques scientifiques qui faisaient partie des réseaux IDS, RERO et SBT et qui feront partie de SLSP. Dans un deuxième temps, il est prévu d'intégrer d'autres bibliothèques dans SLSP ainsi que de connecter le portail de découverte de SLSP à des bibliothèques tierces.

Les portails swissbib spécifiques seront aussi migrés ou arrêtés:
  • swissbib orange pour les collections des bibliothèques de Berne et Bâle sera remplacé par SLSP, en l'occurrence par Primo VE
  • swissbib bleu (jusbib): l'association des bibliothèques juridiques suisses (ABJS) a décidé de ne plus maintenir ce catalogue.
Un communiqué commun de la direction de la bibliothèque de l'Université de Bâle, du conseil de swissbib et de SLSP le décrit précisément (16.01.2020):
"Remplacement de swissbib.ch (swissbib vert) par SLSP

Fin 2020, la bibliothèque de l'Université de Bâle va arrêter les services de swissbib, dans le cadre de l'entrée en fonction de l'offre nationale de la Swiss Library Service Platform (SLSP). La majorité des bibliothèques qui sont dans swissbib et une grande partie des collections des bibliothèques suisses seront disponibles dans le portail de découverte de SLSP dès le Go-Live ou dans une "deuxième vague". Pour l'intégration d'autres bibliothèques, qui ne projettent pas de rejoindre SLSP, des solutions et développements du côté de l'entreprise Ex Libris sont envisagés.

Avec le Go-Live de SLSP fin 2020, il sera possible de chercher dans les collections d'une grande partie des bibliothèques des Hautes Écoles ainsi que dans beaucoup d'autres bibliothèques scientifiques suisses via le portail de découverte de SLSP au niveau du réseau complet. Cette interface utilisateur permettra aussi l'accès direct à toutes les ressources électroniques ainsi que l'utilisation de toutes les fonctions de type compte utilisateur, y compris la commande de documents à travers le réseau.

Dans une "deuxième vague", d'autres bibliothèques scientifiques vont rejoindre SLSP et seront ainsi couvertes par le portail de découverte de SLSP. On y trouve des bibliothèques qui utilisent déjà Alma (comme par exemple le réseau Alexandria), ainsi que d'autres bibliothèques qui planifient un changement de système vers Alma (comme par exemple Bibliothesverbund Graubünden, St. Galler Bibliotheksnetz, Liechtensteinische Landesbibliothek et Sistema Bibliotecario Ticinese).

Toutefois, l'on ne peut pas escompter que toutes les bibliothèques qui sont couvertes actuellement par swissbib feront partie de cette "deuxième vague". A moyen terme, il y aura aussi des bibliothèques qui ne feront pas partie du portail de découverte de SLSP. Il s'agira probablement de petites à moyennes bibliothèques cantonales, ainsi que de bibliothèques scientifiques spécifiques, qui n'auront pas Alma comme système de gestion. Pour intégrer ces systèmes tiers de manière transparente dans le portail de découverte au niveau suisse, des développements sont nécessaires du côté de l'entreprise Ex Libris. Ils sont envisagés, toutefois sans calendrier précis pour l'instant. L'équipe swissbib de la bibliothèque de l'Université de Bâle ainsi que le comité consultatif de SLSP regrettent la disparition, a priori provisoire, de ces bibliothèques du portail de recherche national.

Toutefois, SLSP a clairement l'objectif de mettre à disposition un outil de découverte qui couvre toutes les bibliothèques scientifiques suisses et suivra de près les développements de Ex Libris. Idéalement, la création de ce portail de découverte hybride (incluant les systèmes tiers) pourrait se dérouler directement après l'intégration de la "deuxième vague" mentionnée plus haut.

Au nom du conseil d'administration de SLSP et du comité consultatif de SLSP, Marie-Christine Doffey (Directrice de la Bibliothèque nationale suisse) et Martin Good (Directeur de la BCU Fribourg) remercient l'équipe swissbib pour l'excellence et la fiabilité de swissbib.ch (swissbib vert) que les collègues de Bâle ont mis à disposition pendant de nombreuses années. Au niveau national, swissbib est et a été un projet phare. D'un côté, swissbib s'est emparé et a fait avancer l'utilisation de développements techniques innovants et de l'autre il a offert aux utilisateurs une interface de recherche unifiée au delà des réseaux de bibliothèques existants.

En fin d'année et en guise de conclusion, des remerciements seront adressés aux bibliothèques participantes pour leurs livraisons régulières de données et leur engagement financier généreux lors des deux dernières années. L'engagement de l'équipe swissbib sera aussi honoré."

Licences nationales et Private User Remote Access (PURA)

Le 29 novembre 2019, SLSP a annoncé que la partie opérationnelle du consortium des bibliothèques universitaires suisses sera intégrée dans SLSP. Avec cette annonce, il est confirmé que les licences nationales seront aussi implémentées dans le portail de découverte de SLSP.

Le plus récent service de swissbib – Private User Remote Access PURA – sera aussi réalisé dans SLSP qui utilisera le même système d'authentification: SWITCH edu-ID.

Pour des détails à ce sujet, nous vous recommandons de vous adresser directement à SLSP.

Interfaces de programmation vers les métadonnées bibliographiques

En plus du portail de découverte, swissbib met aussi à disposition différentes interfaces de programmation (API) pour la récupération des métadonnées bibliographiques. Celles-ci ne seront plus disponibles à la fin de 2020 (la date exacte sera communiquée ultérieurement). L'export automatique vers WorldCat sera repris par SLSP, ainsi que la livraison des métadonnées au Kartenportal.

Nous prions les utilisateurs de nos interfaces de s'annoncer auprès de SLSP pour connaître les possibilités et conditions de récupération des métadonnées.

Compétences (et leur transmission) dans le domaine du traitement des données

Les personnes derrière swissbib ont été très actives dans les années passées pour transmettre leur savoir-faire : les expériences et services ont été présentés dans des conférences et dans des cours de formation continue. Nous voulons préserver cet esprit. La bibliothèque de l'Université de Bâle va réutiliser les compétences acquises dans le cadre de swissbib (traitement, transformation et enrichissement des données) dans le cadre d'autres projets dans le futur.

Die Zukunft des Schweizer Metakatalogs swissbib / Le futur du métacatalogue swissbib || swissbib-info

Deutsche Version Version française

Einiges wurde bereits berichtet, vieles blieb aber bislang noch offen: Wie geht es weiter mit swissbib nach dem Start der Swiss Library Service Platform SLSP am 1. Januar 2021? Nach einem Jahr intensiver Klärungsgespräche können wir nun erste konkrete Aussichten formulieren.

Metakatalog Schweiz und Discoveries

Ab dem 7. Dezember 2020 wird SLSP das neue Discovery für Bibliotheksbestände in der Schweiz stellen. In einem ersten Schritt werden primär wissenschaftliche Bibliotheken aus den bisherigen Verbünden IDS und RERO darin enthalten sein. Danach ist jedoch geplant, die Teilnehmerbasis von SLSP kontinuierlich auszuweiten sowie über ein hybrides Verfahren auch Drittsysteme anzubinden. Auch die lokalen swissbib Discoveries werden migriert bzw. teilweise abgestellt:
  • swissbib orange für die Bestände der Bibliotheken in Bern und Basel wird durch SLSP bzw. Primo VE abgelöst.
  • swissbib blau: Die Vereinigung der Juristischen Bibliotheken der Schweiz (VJBS) hat sich entschieden, ihren Katalog einzustellen.
Eine gemeinsame Mitteilung der Direktion der UB Basel, des swissbib-Beirates und SLSP (16.01.2020) schildert die Details:
"Ablösung von swissbib grün durch SLSP

Ende 2020 wird die UB Basel die Dienste von swissbib einstellen im Zuge der Inbetriebnahme des nationalen Angebotes von Swiss Library Service Platform (SLSP). Die Mehrheit der in swissbib beteiligten Bibliotheken und der Grossteil der Schweizer Bibliotheksbestände werden von der SLSP Discovery-Lösung ab Go-Live oder in der «zweiten Welle» abgedeckt. Für die Einbindung weiterer Bibliotheken, die nicht planen SLSP beizutreten, sind Lösungen bzw. Produktentwicklungen seitens der Firma Ex Libris in Aussicht gestellt worden.

Mit dem Go-Live von SLSP Ende 2020 wird ein Grossteil der Hochschulbibliotheken und viele andere wissenschaftliche Bibliotheken der Schweiz über das Discovery-Tool von SLSP auf Netzwerkebene recherchierbar sein. Diese Oberfläche ermöglicht auch einen direkten Zugang zu allen elektronischen Beständen und eine nahtlose Anbindung an alle Benutzungsfunktionalitäten inkl. Kurier.

In einer «zweiten Welle» sollen weitere Hochschul- und wissenschaftliche Bibliotheken zu SLSP stossen und ebenfalls in das Discovery eingebunden werden. Hierzu gehören andere Einrichtungen, die bereits Alma nutzen (beispielsweise Alexandria-Verbund) sowie weitere Bibliotheken, die einen Systemwechsel zu Alma planen (beispielsweise Bibliotheksverbund Graubünden, St. Galler Bibliotheksnetz, Liechtensteinische Landesbibliothek und Sistema Bibliotecario Ticinese).

Allerdings kann nicht davon ausgegangen werden, dass sämtliche von swissbib abgedeckten Bibliotheken von dieser «zweiten Welle» erfasst werden können. Somit wird es auch mittelfristig Bibliotheken geben, die nicht über das Discovery von SLSP recherchierbar sind. Hier handelt es sich voraussichtlich um kleinere bis mittelgrosse Kantonsbibliotheken sowie wissenschaftliche Spezialbibliotheken, die nicht Alma als Bibliothekssystem einsetzen. Um diese Drittsysteme nahtlos und ohne grossen technischen Aufwand in das schweizweite Discovery einzubinden, braucht es weitere Produktentwicklungen bei der Firma Ex Libris. Diese werden von Ex Libris in Aussicht gestellt, allerdings ohne Nennung eines konkreten Termins. Der zumindest vorübergehende Ausschluss dieser Bibliotheken aus dem nationalen Rechercheportal wird vom swissbib-Team an der UB Basel und dem Beirat von SLSP bedauert.

Allerdings hält SLSP am Ziel eines schweizweiten Discovery-Tools für alle wissenschaftlichen Bibliotheken fest und wird die Entwicklungen bei Ex Libris eng verfolgen. Idealerweise könnte die Bildung eines hybriden Discoveries (also mit Einbindung von Drittsystemen) direkt im Anschluss an die oben genannte «zweite Welle» in Angriff genommen werden.

Marie-Christine Doffey (Direktorin Schweizerische Nationalbibliothek) und Martin Good (Direktor BCU Fribourg) bedanken sich im Namen des SLSP Verwaltungsrates und SLSP Beirats beim swissbib Team für den ausgezeichneten und zuverlässigen Service von swissbib grün, den die Basler Kolleginnen und Kollegen während vieler Jahre zur Verfügung gestellt haben. Aus nationaler Sicht ist bzw. war swissbib ein Vorzeigeprojekt, das einerseits innovative technische Entwicklungen aufgegriffen und vorangetrieben hat, und andererseits für die Kundinnen und Kunden über alle Bibliotheksverbünde hinweg eine einheitliche Suchoberfläche angeboten hat.

Eine abschliessende Würdigung der Leistungen des swissbib Teams und ein Dankeschön an alle teilnehmenden Bibliotheken für ihre regelmässigen Datenlieferungen und grosszügige finanzielle Unterstützung während der letzten zwei Jahre soll gesondert und gegen Ende des Jahres erfolgen."

Nationallizenzen und Private User Remote Access (PURA)

Mit der am 29. November 2019 durch SLSP publizierten Mitteilung, dass der operative Teil des Konsortiums der Schweizer Hochschulbibliotheken in SLSP integriert wird, ist bestätigt, dass die Nationallizenzen künftig auch im SLSP-Discovery implementiert werden. Der jüngste Service von swissbib – Private User Remote Access PURA – kann durch den Einsatz von SWITCH edu-ID in SLSP ebenfalls realisiert werden. Für Details dazu empfehlen wir die direkte Kontaktaufnahme mit SLSP.

Schnittstellen zu den bibliografischen Metadaten

swissbib bietet heute neben den Discoveries auch offene Schnittstellen verschiedenster Art für den Metadatenbezug an. Diese können ab Ende 2020 von uns nicht weiter bedient werden (das genaue Datum werden wir noch kommunizieren). Den automatischen Datenexport nach WorldCat wird SLSP eigenständig weiterführen, auch die Anbindung an das Kartenportal bleibt bestehen.

Weitere Daten- und Schnittstellennutzer bitten wir, sich direkt bei SLSP zu melden, um die Möglichkeiten und Konditionen für den Metadatenbezug zu klären.

Know-How (und dessen Weitergabe) im Bereich Dataprocessing

Die Personen hinter swissbib waren in den vergangenen Jahren rege im Bereich der Weitergabe ihres Know-Hows unterwegs – an Tagungen und in verschiedenen Weiterbildungskursen wurden die Erfahrungen und Services präsentiert und erläutert. Diesen Geist möchten wir uns bewahren. Die im Rahmen von swissbib erarbeiteten Skills im Bereich Dataprocessing und Datentransformation und -anreicherung wird die Universitätsbibliothek Basel in Zukunft in anderen Projekten einsetzen und nachnutzen können.


Certains éléments avaient déjà été communiqués, mais beaucoup de choses restaient encore ouvertes. Que se passe-t-il pour swissbib après le lancement de la Swiss Library Service Platform SLSP le 1er janvier 2021 ? Après une année d'échanges intensifs, nous pouvons désormais formuler quelques perspectives concrètes.

Métacatalogue suisse et portails de découverte

Dès le 7 décembre 2020, SLSP mettra à disposition le nouveau portail de découverte des collections des bibliothèques suisses. Dans un premier temps, il couvrira principalement les bibliothèques scientifiques qui faisaient partie des réseaux IDS, RERO et SBT et qui feront partie de SLSP. Dans un deuxième temps, il est prévu d'intégrer d'autres bibliothèques dans SLSP ainsi que de connecter le portail de découverte de SLSP à des bibliothèques tierces.

Les portails swissbib spécifiques seront aussi migrés ou arrêtés:
  • swissbib orange pour les collections des bibliothèques de Berne et Bâle sera remplacé par SLSP, en l'occurrence par Primo VE
  • swissbib bleu (jusbib): l'association des bibliothèques juridiques suisses (ABJS) a décidé de ne plus maintenir ce catalogue.
Un communiqué commun de la direction de la bibliothèque de l'Université de Bâle, du conseil de swissbib et de SLSP le décrit précisément (16.01.2020):
"Remplacement de swissbib.ch (swissbib vert) par SLSP

Fin 2020, la bibliothèque de l'Université de Bâle va arrêter les services de swissbib, dans le cadre de l'entrée en fonction de l'offre nationale de la Swiss Library Service Platform (SLSP). La majorité des bibliothèques qui sont dans swissbib et une grande partie des collections des bibliothèques suisses seront disponibles dans le portail de découverte de SLSP dès le Go-Live ou dans une "deuxième vague". Pour l'intégration d'autres bibliothèques, qui ne projettent pas de rejoindre SLSP, des solutions et développements du côté de l'entreprise Ex Libris sont envisagés.

Avec le Go-Live de SLSP fin 2020, il sera possible de chercher dans les collections d'une grande partie des bibliothèques des Hautes Écoles ainsi que dans beaucoup d'autres bibliothèques scientifiques suisses via le portail de découverte de SLSP au niveau du réseau complet. Cette interface utilisateur permettra aussi l'accès direct à toutes les ressources électroniques ainsi que l'utilisation de toutes les fonctions de type compte utilisateur, y compris la commande de documents à travers le réseau.

Dans une "deuxième vague", d'autres bibliothèques scientifiques vont rejoindre SLSP et seront ainsi couvertes par le portail de découverte de SLSP. On y trouve des bibliothèques qui utilisent déjà Alma (comme par exemple le réseau Alexandria), ainsi que d'autres bibliothèques qui planifient un changement de système vers Alma (comme par exemple Bibliothesverbund Graubünden, St. Galler Bibliotheksnetz, Liechtensteinische Landesbibliothek et Sistema Bibliotecario Ticinese).

Toutefois, l'on ne peut pas escompter que toutes les bibliothèques qui sont couvertes actuellement par swissbib feront partie de cette "deuxième vague". A moyen terme, il y aura aussi des bibliothèques qui ne feront pas partie du portail de découverte de SLSP. Il s'agira probablement de petites à moyennes bibliothèques cantonales, ainsi que de bibliothèques scientifiques spécifiques, qui n'auront pas Alma comme système de gestion. Pour intégrer ces systèmes tiers de manière transparente dans le portail de découverte au niveau suisse, des développements sont nécessaires du côté de l'entreprise Ex Libris. Ils sont envisagés, toutefois sans calendrier précis pour l'instant. L'équipe swissbib de la bibliothèque de l'Université de Bâle ainsi que le comité consultatif de SLSP regrettent la disparition, a priori provisoire, de ces bibliothèques du portail de recherche national.

Toutefois, SLSP a clairement l'objectif de mettre à disposition un outil de découverte qui couvre toutes les bibliothèques scientifiques suisses et suivra de près les développements de Ex Libris. Idéalement, la création de ce portail de découverte hybride (incluant les systèmes tiers) pourrait se dérouler directement après l'intégration de la "deuxième vague" mentionnée plus haut.

Au nom du conseil d'administration de SLSP et du comité consultatif de SLSP, Marie-Christine Doffey (Directrice de la Bibliothèque nationale suisse) et Martin Good (Directeur de la BCU Fribourg) remercient l'équipe swissbib pour l'excellence et la fiabilité de swissbib.ch (swissbib vert) que les collègues de Bâle ont mis à disposition pendant de nombreuses années. Au niveau national, swissbib est et a été un projet phare. D'un côté, swissbib s'est emparé et a fait avancer l'utilisation de développements techniques innovants et de l'autre il a offert aux utilisateurs une interface de recherche unifiée au delà des réseaux de bibliothèques existants.

En fin d'année et en guise de conclusion, des remerciements seront adressés aux bibliothèques participantes pour leurs livraisons régulières de données et leur engagement financier généreux lors des deux dernières années. L'engagement de l'équipe swissbib sera aussi honoré."

Licences nationales et Private User Remote Access (PURA)

Le 29 novembre 2019, SLSP a annoncé que la partie opérationnelle du consortium des bibliothèques universitaires suisses sera intégrée dans SLSP. Avec cette annonce, il est confirmé que les licences nationales seront aussi implémentées dans le portail de découverte de SLSP.

Le plus récent service de swissbib – Private User Remote Access PURA – sera aussi réalisé dans SLSP qui utilisera le même système d'authentification: SWITCH edu-ID.

Pour des détails à ce sujet, nous vous recommandons de vous adresser directement à SLSP.

Interfaces de programmation vers les métadonnées bibliographiques

En plus du portail de découverte, swissbib met aussi à disposition différentes interfaces de programmation (API) pour la récupération des métadonnées bibliographiques. Celles-ci ne seront plus disponibles à la fin de 2020 (la date exacte sera communiquée ultérieurement). L'export automatique vers WorldCat sera repris par SLSP, ainsi que la livraison des métadonnées au Kartenportal.

Nous prions les utilisateurs de nos interfaces de s'annoncer auprès de SLSP pour connaître les possibilités et conditions de récupération des métadonnées.

Compétences (et leur transmission) dans le domaine du traitement des données

Les personnes derrière swissbib ont été très actives dans les années passées pour transmettre leur savoir-faire : les expériences et services ont été présentés dans des conférences et dans des cours de formation continue. Nous voulons préserver cet esprit. La bibliothèque de l'Université de Bâle va réutiliser les compétences acquises dans le cadre de swissbib (traitement, transformation et enrichissement des données) dans le cadre d'autres projets dans le futur.