The AI revolution, which culminated recently in the release of GPT-4, not only impacted how we process natural language but the very same principles could readily be transferred to other sequential data such as protein sequences. Adapting these techniques to computational biology changed the way we process proteins today fundamentally. By simply feeding single amino acid sequences to large language models trained to parse and understand protein sequences, researchers were able to build state-of-the-art predictors on top that estimate the effect of mutations, the subcellular localization of proteins, their binding regions, or even guide the design of variations with expected functions. Even though, it was shown that these protein language models (pLMs) learn a rudimentary understanding of a protein’s 3D structure solely from 1D sequences, the large abundance of high-quality 3D structures available since the release of AlphaFold2 raises the question, whether this wealth of 3D information could be somehow leveraged directly during the pLM pre-training. Towards this end, we map 3D structures to 1D strings using Foldseek which uses a learned mapping from 3D coordinates to a 1D string. The resulting 3Di alphabet was shown to capture structural information well enough to detect extremely remote homologs that could not be detected by other means such as sequence alignments. Here, we assess whether we could get more informative protein representations compared to pLMs trained solely on amino acids by training multiple pLMs either solely on amino acids (baseline) or 3Di sequences (gain from the structure) or a merger of both (best of both worlds) and benchmark their performance on various downstream tasks. To establish a meaningful comparison, we did extensive hyper-parameter optimizations on our model and scaled up training to UniRef50 - a large protein sequence database. Our findings show that 3Di sequences are good at predicting structure-related information but not at chemistry-based tasks. Instead, the combination of both types of information seems to be the most promising path.     «

The AI revolution, which culminated recently in the release of GPT-4, not only impacted how we process natural language but the very same principles could readily be transferred to other sequential data such as protein sequences. Adapting these techniques to computational biology changed the way we process proteins today fundamentally. By simply feeding single amino acid sequences to large language models trained to parse and understand protein sequences, researchers were able to build state-of...     »

Die AI-Revolution, die kürzlich mit der Veröffentlichung von GPT-4 ihren Höhepunkt erreichte, hat nicht nur die Arbeitsweise der Computerlinguistik grundlegend beeinflusst, sondern auch alle anderen Disziplinen die mit sequentielle Daten arbeiten. Da sich dieselben Prinzipien auch auf die Bioinformatik übertragen lassen, hat sich dadurch auch die Art und Weise wie wir heute Proteinsequenzen verarbeiten grundlegend verändert. Indem man großen Sprachmodellen auf Aminosäuresequenzen trainiert, konnten diese Modelle lernen, Proteinsequenzen zu analysieren und bis zu einem gewissen Maß zu verstehen. Daraus konnten Forscher modernste Vorhersagemodelle entwickeln, die den Effekt von Mutationen, die subzelluläre Lokalisierung von Proteinen oder ihre Bindungsstellen vorhersagen. Zusätzlich konnten dieselben Methoden dazu genutzt werden um neue Proteinvarianten zu generieren. Obwohl gezeigt wurde, dass diese Protein-Sprachmodelle (pLMs) ein rudimentäres Verständnis der 3D-Struktur eines Proteins allein aus 1D-Sequenzen erlernen, stellt sich angesichts der Fülle hochwertiger 3D-Strukturen seit der Veröffentlichung von AlphaFold2 die Frage, ob diese 3D-Informationen direkt während des pLM-Trainings genutzt werden können. Zu diesem Zweck haben wir 3D-Strukturen mithilfe von Foldseek auf 1D-Strings abgebildet, wobei eine erlernte Zuordnung von 3D-Koordinaten zu einem 1D-String verwendet wird. Es wurde gezeigt, dass das resultierende 3Di-Alphabet strukturelle Informationen gut genug erfasst, um extrem entfernte Homologe zu erkennen, die auf andere Weisen wie Sequenzvergleiche nicht erkannt werden konnten. Hier bewerten wir, ob wir im Vergleich zu pLMs, die ausschließlich auf Aminosäuren trainiert sind, aussagekräftigere Proteinrepräsentationen erhalten können, indem wir mehrere pLMs entweder ausschließlich auf Aminosäuren (Basislinie) oder auf 3Di-Sequenzen (Gewinn aus der Struktur) oder einer Kombination von beiden (das Beste aus beiden Welten) trainieren. Dazu vergleichen wir ihre Performance auf verschiedenen nachgelagerten Aufgaben. Um einen sinnvollen Vergleich herzustellen, haben wir umfangreiche Hyperparameter-Optimierungen an unserem Modell durchgeführt und das Training auf UniRef50 - einer großen Datenbank für Proteinsequenzen - skaliert. Unsere Ergebnisse zeigen, dass 3Di-Sequenzen gut geeignet sind, um strukturbezogene Informationen vorherzusagen, aber nicht für chemiebasierte Aufgaben. Stattdessen scheint die Kombination beider Arten von Informationen der vielversprechendste Weg zu sein.     «

Die AI-Revolution, die kürzlich mit der Veröffentlichung von GPT-4 ihren Höhepunkt erreichte, hat nicht nur die Arbeitsweise der Computerlinguistik grundlegend beeinflusst, sondern auch alle anderen Disziplinen die mit sequentielle Daten arbeiten. Da sich dieselben Prinzipien auch auf die Bioinformatik übertragen lassen, hat sich dadurch auch die Art und Weise wie wir heute Proteinsequenzen verarbeiten grundlegend verändert. Indem man großen Sprachmodellen auf Aminosäuresequenzen trainiert, kon...     »