Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 14
How to use cuadron11/berria-v2-ft with sentence-transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("cuadron11/berria-v2-ft")
sentences = [
"Zeintzuk dira estrategia feminista independentistak iaz nabarmendutako hiru erronka nagusiak?",
"«Aljerian egin nintzen Gandhiren zale eta indarkeriaren etsai»\n\nUrtebete da Txomin Peillen (Paris, 1932 – Kanbo, 2022) hil zela, abenduak 9 zituela. Ontsa zen urtebetetze egunean goizean. Handik ordu batzuetara gaizkitu, eta eri zen. Laster, gorpu. Ligin datza, aita zenaren herrian.\n\nEgilea: Miel A. Elustondo / Data: 2024-01-02\n\n...\n\nLigiraino heldu zara, beraz. Ez da zure etxe ondoan! Zenbat kilometro badira zure etxetik honaino?... Behar zenuen nire urtebetetze egunean Baionara etorri, hazilaren 17an! Egun hartan mintzatu ginen azkenekoz, Josebak [Sarrionandia] ez zuela etortzerik esan zenidan, eta zu ere ez zinela etorriko. Gure azken mintzaldia izan zen, bizien munduan.\n\nBuruak ez dizu huts egiten, horratik!\n\nAzken ordura arte argi izan nuen gogoa. Besterik da gorputza, ez baininduen lagundu, baina laurogeita hamar urtetan gorputza ontsa duen inor ez dut bizian ezagutu... Eta, zer berri da bizien artean?... Jakin dut Miranderi buruzko filma [Mirande, film bat egiteko zirriborroa] egin zuela Josu Martinezek. Ikusia dut itzalaz beste alde honetan. Ez da gaizki egina. Egiazko Mirande ageri du, bederen, ez du hura sobera goratzen, ez apaltzen ere. Filma egina da, eta horrek balio du.\n\nFilm hori dela-eta, bertan ageri zara. Nola ikusi duzu zeure burua?\n\nXahartua! Kar, kar… Zer nahi duzu, bada?! Adinak ez du barkatzen. Baina atsegin ukan dut, zeren film horrek balio izan du, besteak beste, Miranderen poema bat berreskuratzeko! Mirandek nire iloba Frantzeskari igorritakoa, nire anaia Roberten alabari. Martinez ni filmatzen ari zela, telefonoak jo zuen, eta hartu nuen, ilobarena baitzen deia. Esan nion elkarrizketa batean nintzela, film bat grabatzen ari Mirandez. Orduan, Frantzeskak esan zidan bazuela poema bat, bera sortu zenean [1957, irailak 30] Mirandek idatzia. Eta gordetzen zuen oraindik!\n\nLigiko eliza, hilerritik ageri. ZALDI ERO\n\n«Franciscae Peillenicae Laudes». Goizeko errezo edo otoitza…\n\nAgur zuri, Frantzeska,\n\nKelt’ et’ euskaldun neska,\n\nLili-haur eder freska\n\nLoratu berririkan,\n\nBizia zuretako\n\nizan bedi gisako:\n\nBihotz-minik bagako\n\nPlazerez betherikan.\n\n\n\nJendeak miraturik\n\nSo zaizkitzu, zurturik,\n\nBait dituzu harturik\n\nPrimantzaz onak oro:\n\nAma bezain grazios,\n\nAita bezain prezios,\n\nEz batere vizios…\n\nZer behar da haboro?\n\n\n\nZu baino, izar maite,\n\nCharmantago, nor laite?\n\nHargatik izan zaite\n\nOngi-jin Lur honetan;\n\nHargatik urthez asko,\n\nUsain onezko flasko,\n\nThesaur bretoin ‘ta basko,\n\nArgi ‘zazu guretan.\n\n\n\nEz dago zurekin hitz egiterik, tartean Jon Mirande sartu gabe…\n\nEta zer nahi duzu, bada! Bizien artean azkena izan nintzen hura ezagutu zuena! Miranderen ilobak hor dira beti, baina gaztetxo ziren. Hala ere, familiatik kanpo, ez da beste inor. Piarres Lafitte, Jean Haritxelar, Piarres Xarriton… hilak dira denak. Nire anaia Robert ere hor da beti, ezagutu zuen Mirande, denbora batean, gu bi anaiok elkarrekin izaten baikinen Miranderen etxean. Baina Robert laster berezi zen gugandik, zeren Mirandek izutzen baitzuen. Ni ez ninduen izutzen, saiatzen nintzen beti gauzen eztitzen, baina ez zen aise. Egun batean, haustura izan genuen Mirandek eta biok.\n\nZein izan zenuen harekin hausteko arrazoia?\n\nArtikulu bat egin nuen, eta eskuin muturreko bretoi aldizkari batean eman zuen Mirandek. Hura ikusi nuelarik, jabetu nintzen kapitulu bat kendu zuela. Kultura politikak Europan aipatzen nituen, eta Hitlerren kontra mintzatu nitzen. A!, gaixo Hitler! Miranderen ustetan gizon hura ez zen ukitu behar! Eta bada beste gertakari bat Miranderekin moztera behartu ninduena. Egun batez, esan zidan behar zuela bretoi, flandriar eta zenbait gutxiengorekin talde bat sortu, gure hizkuntzen alde. Bazen bilkura bat, eta Miranderekin joan nintzen hara. Atea ireki zutenean, «Heil Hitler!» izan zen agurra! «Non sartu nau honek, ordea?!». Eta erabaki nuen ez nuela gehiago harremanik ukanen Miranderekin. Bizpalau urte egon ginen elkar ikusi gabe.\n\n«Artikulu bat egin nuen, eta eskuin muturreko bretoi aldizkari batean eman zuen Mirandek. Hura ikusi nuelarik, jabetu nintzen kapitulu bat kendu zuela».\n\nBego Jon Mirande bakean. Mintza zakizkigu zeure buruaz, arrisku gorria baitago Mirandez betetzeko orrialde guztiok. Parisen jaio euskalduna zu, zerk eraman zituen zuen gurasoak Zuberoatik Parisera?\n\nEz zen bizia egiteko beste modurik! Gure aita zen Joanes Peillen, Ligiko Dordorraga etxekoa. Sei haurride ziren: batek etxean behar zuen, eta etxetik kanpora besteek. Nagusia zen gure aita, anaia gehiena, eta haurride zaharrena zen etxean gelditzen. Aitaitak hitz eman zion gure aitari, etxeko izanen zela. Bitartean, gure aita osaba baten etxaldean ibili zen lanean, eta lanean ikasten. Itzuli zenean, bere aitak erran zion arreba ezkonduko zela etxera! Hala ere, gure aita Zuberoan gelditzen ahal zen, Maulen fabrikak baitziren, baina haietan lan egitea desohore zen. Izeba Ana Bentaberrikoak kontatzen zuen: «Mauleko fabriketan gizonak komunista dituzu, eta neskak puta!».\n\nBa ote?\n\nBai. Fabrikako lana ez zen ongi ikusia! [Jon] Miranderen lehengusina batekin nintzen egun batean, hori kontatu, eta esan zidan: «Niri gertatu zait hori. Fabrikan sartu nintzelarik, jendeek puta bezala ikusten ninduten!». Eta, bestalde, bazen Parisera joateko fama ere! Behar zen hara joan, familia burges zintzo batera neskame edo mutil! Gure aita udaltzain izan zen. Gauetan estudiatu, eta ikasi zuen irakurtzen eta idazten, eta sartu ahal izan zen udaltzain gisako, beste hainbat euskaldun bezala.\n\nAma zenuten Larraine Bentaberriko alaba. Igela aldizkarian baziren zenbait bertso Bentaberrin bilduak…\n\nBi kantore, Bentaberriko kaieretan ediren genituenak: «Eskiulako soldaduaren khantoriak», eta «Igaran Sen Bladis». «Igaran Sen Bladis Ospitaleseki / Hirur sos baizik e'nian ordian eneki / Berriz ere agi banendi halako butillerekin / Beiria bethe gabetarik nik bertan besoa goiti...». Gure ama zen Maddalen Karrikaburu. Bederatzi urtetan atera zuten eskolatik, eta etxean izan zen, hamasei urtetan lehengusina baten etxera Bordelera joan zen arte, lanean ikastera. Handik bi urtera, 1911n, Parisen zen, beti lanean. Ama beti lanean! Eskuin eta ezker ibili zen sukaldari, Eliseo zelaietako Claridge hotelean sartu zen arte. Han, arroparen ardura izan zuen. Hara baino lehen, beti sukalkintzan ibili zen. Sukaldari ona zen! Behar nuen beragandik ikasi, baina ez nuen egin!\n\n«Gure ama zen Maddalen Karrikaburu. Bederatzi urtetan atera zuten eskolatik, eta etxean izan zen, hamasei urtetan lehengusina baten etxera Bordelera joan zen arte, lanean ikastera».\n\nHan ezagutu zuten elkar zuen gurasoek, eta 1932an ekarri zintuzten mundura, Montmartren.\n\nBai, eta orain auzo noblea duzu, baina orduan ez zen horrela. Gainera, gu auzoko mugan bizi ginen, ez Montmartre zaharrean, Pigalle beherean baizik, Joseph de Maistre karrikan, bosgarren zenbakian. Han bizi izan ginen Bigarren Mundu Gerla arte, orduan Ligira etorri baikinen, eta iragan genituen hiru urte hemen, Zuberoan, 1942 arte. Eta hemen ibili ginen eskolan ere, baina nik ez nekien euskaraz mintzatzen! Ulertzen nuen, baina besterik ez. Nire anaia Robertek bai, bazekien. Haur bakarra izan zelarik, euskaraz hitz egin zioten, eta Parisen ere. Ni etorri nintzenean, aldiz, gure gurasoek pentsatu zuten hobe nuela frantsesez ikasi, eskolara joateko-eta.\n\nHori ez da albiste...\n\nBeti izan da horrelako diglosia bat, gure artean! Hastean, ama euskaraz mintzatzen zitzaidan, eta euskaraz erantzuten nion nik, baina berak frantsesera jotzen zuen berehala! Komeriak baziren! Eta euskara galdu nuen, euskara ez nuela hitz egiten izan nintzen hamalau urte arte. Ulertu bai, baina hitz egin ez. Ezin. Berdin gertatu zen Miranderen etxean: gurasoak euskaraz ari zirela entzuten zuen, baina frantsesez zuzentzen zitzaizkion berari… Nire kasuan, euskara errekuperatu behar nuela erabaki nuenean, arratsetan, nire gelara joateko ordez, salara joaten nintzen, han izaten baitziren gurasoak, eguneko gauzak kontatzen, beti euskaraz! Eta ni ere han, euskaraz entzuten, eta ikasten.\n\nGerla garai gogorra XX. mendea. Lehen Mundu Gerlan izan zenituzten aita-osabak. Bigarren Gerla ere ezagutu zenuten. Hurrena, Aljeriakoan izan zinen zu...\n\nAitak Turkian egin zuen soldadutza. Herrialde hura alemanen alde zen 1914ko Gerla Handian, eta turkiar soldaduek armeniarrak sarraskitzen zituztela ikusi zuen. Ezker eta eskuin, armeniar hilak ikusi zituela kontatzen zuen, eta hilen artean bazirela haurrak, emakumeak eta zaharrak. Kontatzen zuen salbatu ziren batzuk Frantziara igorri zituztela. Handik etorri eta, 1928an, Karlomagno pastorala egin zelarik, aita türk errege ezarri zuten. «Hik badakikek nola diren jende horiek! Haiek bezala egin behar duk!», erran zioten.\n\nIragan mendeko 70eko hamarkadaren amaiera aldera, Santa Garaziko Iturburu etxe atarian: Teresa (Peillenen emaztea), Joseba Sarrionandia, Txomin, eta Itziar Salaberri. JOSE ENRIKE URRUTIA CAPEAU\n\nBigarren Mundu Gerla garaia…\n\nAita bere arma eta guzti joan zen erresistentziarekin, zeren Pariseko polizia erresistentziara iragan zen, kasik osoki, eta armak eman zizkieten. Gerlarekin, behin, hamabost egunez aita batere ikusi gabe egon nintzen. Gero, etxera etorri zelarik, Mauser fusila zuen eskuetan! Gero, berriz joan zen! Oroitzen naiz ere, hamahiru urtetan, osaba Allande Parisera itzuli zela, Alemanian preso egon ondoren. Hark galdegin zion gure amari zergatik ez nintzen euskaraz mintzatzen. Pariseko bi osabekin hasi nintzen euskararen arrarotasunaz ohartzen. Haiek, eta izeba Ana Bentaberrikoak, eta lehengusuek, lagundu ninduten euskaradun izaten.\n\nHurrena, zeure aldi: soldadu izan zinen Aljeriako gerlan.\n\n1954ko hazilean eraman ninduten. Biologia ikasketak egiten ari nintzen, kontzientziak inor hiltzea eragozten zidan, eta objekzioa egitea pentsatu nuen. Elizagarai zalgiztar komandantearen ikustera joan nintzen, gerra ministerioan euskaldun bat ezagutzen bainuen. Elizagaraik esan zidan, nahiz ez zen ofizialki Aljerian gerratea, objekzioa eskatzen banuen preso sartuko nindutela eta, beharbada, bortxaz hara igorriko. Armadako osasun zerbitzuan sartzeko kontseilatu ninduen. Horrela, intendentzian zebiltzan soldadu askoren gisara, ez nuen balizko etsaien tirokatzeko beharrik izan. Aljeriar zibilak sendatzen iragan nuen hango denbora gehiena, erizain.\n\nLau urte egin zenituen han, eta izugarrikeria franko ikusi ere bai.\n\nHasieran mediku militarra nuen nagusi, baina hark paperak betetzen iragaten zuen denbora. Niri utzi zidan musulman zibilen ardura, nahiz ez nintzen mediku. Ume eriak salbatu genituen, hainbat. 1960ko hazila arte izan nintzen Aljerian, batailoi ttipi batean, eta hemezortzi hilabetean gure taldeko 29 soldadu izan ziren hilak. Gazte ginen denok, bortxaz hara eramanak. Nire gerrate hura bitxia izan da, hala ere, ez baitut inor tirokatu. Saiatu naiz jendeen sendatzen. Badakit anitz gogoz kontra borrokatu zirela, alferrik.\n\n«Elizagaraik esan zidan, nahiz ez zen ofizialki Aljerian gerratea, objekzioa eskatzen banuen preso sartuko nindutela eta, beharbada, bortxaz hara igorriko».\n\nZer esan nahi duzu, «alferrik»?\n\nOntsa bagenekien bankuek eta industria-jendeek Aljeria utzia zutela, zango-beltz aberatsek beren ondasunak Frantzian zituztela aizolbean, eta, amerikarrak eta errusiarrak FLNren alde izanki, “Frantzia handiak” burua makurtu beharko zuela. Baiki, Aljerian egin nintzen Gandhiren zale eta indarkeriaren etsai. Afganistango gerlan, zenbait frantses soldadu hil ziren, eta istilu handiak sortu ziren horregatik. Ez, hala ere, Aljerian hildakoengatik, prentsak ez baitzituen aipatzen ere!\n\nOrain ere bada aski gerla munduko bazterretan. Beharbada, hobe genukeen Mirandez hizketan segitu izan bagenu.\n\nBeharbada! Etorri berriz ere, nahi duzunean, mintzatu gara nahi duzunaz. Ez naiz hemendik mugitzekotan. Ligin izango nauzu, zain. Eta esan Josebari [Sarrionandia] ere etortzeko. Gaztetan ezagutu nuen, eta beti badut orduko argazki bat ere! Orain beti ari da esaten zorretan dela nirekin, kartzelatik ihesi, zenbait astez gure etxea utzi niolako Baionan. Emaztea eta biok Santa Garazin ginen, eta Baionara joan behar genuela esaten zidanean, nik ezetz esaten nion, nire lanak bukatu behar nituela lehenik. Ez nion emazteari esan Baionako etxean espetxetik ihes egindako mutila genuela gordeta! Kar, kar… Eta holaxe!\n\n1\n\nAljerian ikusiak\n\n«Zaharra naiz. Frantsesek ez dakite denbora galtzen dutela eta, hala, nahiz galarazten diedala. Ez zaizkit axola bizitzea, hiltzea: etsaiek tortura nazakete, ez dut aitortuko. Gainera, zer dakit? Egiten nauten artean ez dituzte gazteagoak egiten, eta gazteagoek aitor dezakete. Goiza gela hutsean joan zait. Biluzik jarri naute, barrabiletan jo. Gero, elektra-hari bat ahoan, bestea koskoiletan. Beste lagunetan zer salto itsusia egiten dugun erakutsi didate. Elektrika-indarra gorputza gaindi kurritzen denean, hiltzen den ardia bezala zapartatzen gara. Lehen aldian buruan min izugarria eman dit, eta giharretan oinazea. Zaila naiz, eta O.R. [Officier de Renseignements] galdeketariak ez daki beren “jejen”-ari [gégéne, generadore] ohitzen, egiten, naizela. Alferretan goiza joan zaie. Larruzko gerrikoarekin jo naute. Nire larru zimurtuari zer? Lotuta nagoenean eta aurpegira ematen didatenean gehienik min».\n\n(«Otsoak gara» ipuin zatia, Aldjezairia askatuta liburuan).",
"Sobran al daukagu Martxoaren 8a?\n\nEgilea: Aiora Epelde Agirre eta Kizkitza Gil de San Vicente Gurrutxaga / Data: 2024-03-07\n\nOhartzerako, berriz ere, Martxoaren 8a. Harrapatu gaitu enegarrenez egun seinalatuak. Eta, agenda ikusita, ez al dugu sobran aurten Emakume Langileon Nazioarteko Eguna? Halako egunetan urtearen balantzea egiten dugu maiz: zer utzi dugun bidean, zer jaso, zer erein... Eta, urtebete honetan, Euskal Herrian aldaketarako gogoa ernatu da, patxadaz han eta hemen ereiten eta lantzen ari ginena —eta ari garena—. Horren isla izan dira, besteak beste, bizitza, herri, eta mundu duin eta justuagoen aldeko askotariko borroka eta aldarriak, eta horrek eragindako aldaketarako herri gogoa. Baina, zer eman dio grina horrek borroka feministari? Eta zer eman dio borroka feministak grina horri? Elkarrekin gurutzatzen diren galderak dira, eta, nola ez, erantzunak.\n\nIaz, Euskal Herriaren aldaketarako aukerez hitz egiten genuen, eta hura sustatu beharraz. Norabide horretan, ezinbestekoa generitzon estrategia feminista independentistari, eta hiru erronka nagusi nabarmendu genituen: erreakzioari aurre egitea, borrokaz irabazitako eskubideak defendatuz; feminismoarekiko atxikimendua duen gehiengo sozial subiranista antolatzea, ortzi-muga bat eskainiz —euskal estatu feminista eta harako trantsizio feminista—; eta Euskal Herrian borroka ziklo feminista berri bat abiatzea, jauzi historiko bat eginez zaintza eskubidearen unibertsalizazioan.\n\nUrtebete igarota, zerbait azpimarratzekorik bada, zaintza eskubide kolektiboaren aldeko borroka eta haren mugarri nagusia izan den Greba Feminista Orokorra dira. Euskal Herriko Mugimendu Feministak zaintzaren auzia agendan kokatu du, denon bizitzak erdigunean jarriz, Herri Akordioaren bueltan aliantzak josiz, eta instituzioak interpelatuz. Eta, bereziki, Euskal Herrian posible dela, eta Euskal Herritik egin behar dugula nabarmendu du, horretarako trantsizio feminista ezinbestekoa izanik. Sistema bera errotik eraldatzera datorren borroka da, ezbairik gabe. Horixe izan da, hain justu, aldaketarako herri gogoak altxatu dituen bandera nagusietako bat.\n\nUrtebete honek utzi digu, halaber, estrategia feminista independentistaren norabidean beste mugarri garrantzitsu bat ere: emakume feminista subiranista eta independentisten topalekua den Talaia Feminista, zeinak 2023. urteko dosierra egin duen. Guretzat Talaia ezinbesteko tresna da Euskal Herriko gehiengo subiranista eta feministaren aliantza sendotzeko, baita euskal estatu feministaranzko bidean eragiteko ere. Dosierrak urteak emakumeengan eta Euskal Herriko trantsizio feministan izandako inpaktuari erreparatu die. Eta, tartean, euskal feminismoak erakutsitako erantzuteko eta eragiteko gaitasuna azpimarratu ditu.\n\nEta, Talaia Feminista eta haren 2023. urteko dosierra hizpide hartu ditugunez, indarguneez gain, ezin aipatu gabe utzi dosierrak atzerapausoak ere jarri dituela mahai gainean. Honako hauek, besteren artean: bizi baldintzen okertzean sakondu izana (larrialdi ekologikoa, emakumeon eta euskal jendartearen erosahalmenaren jaitsiera...), hainbat esparrutan izandako indarkeria (matxista, euskararen aurkakoa...), eta zenbait sektoreren erreakzio atzerakoiak. Beraz, azken urtebeteak ilunetik ere izan du, argitik nola.\n\nEdonola ere, gure iritziz, borroka feministarentzat urte oparoa izan da, eta hark ekarpen handia egin dio 2023ko martxotik hona harrotu den esperantzaren eta eraldaketaren haizeari. Eta haize horrek lagundu du, era berean, borroka feministaren bandera astintzen. Azaroa izan da ziur asko horren erakusle argiena: eskutik joan dira bizitza ororen, euskararen, herri zapalduen, burujabetzaren eta lan baldintza duinen aldeko aldarriak. Horregatik, urteak argitik eta ilunetik izan badu ere, argi esan dezakegu: aldaketarako aukera abian da jadanik, eta Euskal Herria martxan dago; martxan, feminismotik.\n\nMartxoaren 8ak harrapatu gaituela esanez ekin diegu lerro hauei, geure buruari galdetuz ea aurten ez ote dugun sobran egun seinalatu hori. Izan ere, Euskal Herrian borroka feministak jadanik ez dauka efemerideen zain egon beharrik, norabide eta estrategia argi baten araberako agenda propio bat baitu, bere mugarri eta prozesu propioekin. Haatik, eta agendak ohiko hitzorduek zenbaitetan harrapatzen bagaituzte ere, argi daukagu Martxoaren 8a ez dugula sobran; ez aurten, eta ezta aurrera begira ere, asko dugu ospatzeko eta, bereziki, asko aldarrikatzeko. Batzuetan eseri behar dugu, eta ikusi nondik gatozen, non gauden. Eseri, norantz joan nahi dugun oroitzeko eta errebeldian gaudenon artean komunitatea sentitzeko. Eta halako egun eta efemerideek horretarako ere balio (behar) digute.\n\nMartxoan sartu gara, eta udaberria bizi-bizi dator Euskal Herrian —udazkena bezainbat—. Herri erronka handiak ditugu parez pare datozen aste eta hilabeteotan; eta haizea, berriz, alde. Eta 2024. urteak zer ekarriko digun zain egon gabe, ekitea dagokigu; ekitea, egitea eta eragitea. Euskal Herriaren eta emakumeon askapen prozesuan aurrera egiten jarraitu behar dugu, eta eraldaketa feministarako indarra antolatuta dago gurean. Aurtengo Martxoaren 8a horren isla izango da beste behin ere: mugimendu feministaren bandera eta aldarriak astinduko ditugu, gure bizitzekin negoziorik ez egiteko aldarrikatuz, eta ardurak hartzeko exijituz. Euskal Herria loratzen ari da, besteak beste, borroka feministari esker. Eta guk, independentziarako indarra hauspotzen jarraituko dugu, euskal estatu feministaranzko bidean.",
"Norabide horretan, ezinbestekoa generitzon estrategia feminista independentistari, eta hiru erronka nagusi nabarmendu genituen: erreakzioari aurre egitea, borrokaz irabazitako eskubideak defendatuz; feminismoarekiko"
]
embeddings = model.encode(sentences)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [4, 4]This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
(1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("cuadron11/berria-v2-ft")
# Run inference
sentences = [
'Zer argudio erabili dute Israelek eta Ameriketako Estatu Batuek Europako hiru herrialdeek Palestinako Estatua aitortzeko hartutako erabakia kritikatzeko?',
'Maiatzaren 28an Palestinako Estatua errekonozituko dute Espainiak, Norvegiak eta Irlandako Errepublikak\n\nEgilea: Jone / Data: 2024-05-22\n\nEspainiak, Norvegiak eta Irlandako Errepublikak, urratsa egin, eta maiatzaren 28an Palestinako Estatua aitortuko dutela iragarri dute, «gatazkari irtenbidea» emateko asmoz. Espainiako Diputatuen Kongresuan egindako agerraldian eman du horren berri Pedro Sanchez gobernuko presidenteak, eta azpimarratu du «bakeagatik, koherentziagatik eta justiziagatik» hartu dutela erabakia. Bi aldeek negoziatzea «ezinbestekoa» dela esan du; baina «baldintza berdinetan». Irlandak eta Norvegiak ere gauza bera jakinarazi dute. Jonas Gahr Store Norvegiako lehen ministroaren arabera, Israelek eta Palestinak nork bere estatua izatea da gatazkarako «irtenbide bakarra», eta azpimarratu du bakoitzak bere estatuan «bakean bizitzeko eskubidea» dutela. Simon Harris Irlandako Errepublikako lehen ministroaren esanetan, «bake iraunkorra» lortzeko helburuarekin egingo dute aitortza. «Irlandarentzat eta Palestinarentzat egun historikoa da gaurkoa».\n\nDiputatuen Kongresuan txalo zaparradarekin hartu dute erabakia. «Hitzetatik ekintzetara pasatzeko abagunea da. Nahiz eta hormak sortu, herriak bonbardatu eta legez kanpoko kokalekuak eraiki, Palestinako lurrak eta identitateak existituko dira aurrerantzean ere». Sanchezek azpimarratu duenez, erabakia ez da Israelen aurkakoa, ezta Hamasen aldekoa ere, «bi estatuen arteko irtenbidearen aldekoa» baizik.\n\nAntzera mintzatu da Irlandako Errepublikako lehen ministroa ere. Harrisen ustez, hartutako azken erabaki horren eraginez, Israelek ez du «ezer galtzen», eta baztertu egin du Tel Avivek dioena, errekonozimenduak «terrorismoa sustatzea» eragingo duela, alegia. Halaber, Irlandako Errepublikako Gobernuak adierazi du Palestina estatu gisa onartzeak «moderazioa» indartuko duela Israel erabiltzen ari den «gerra eta zapalkuntza» estrategiaren aldean.\n\nNazioartearen menia eskariei dagokienez, Sanchezek salatu du Israelgo lehen ministro Benjamin Netanyahu horiei «entzungor» egiten ari dela, eta eskolak, ospitaleak eta etxebizitzak bonbardatzen diharduela oraindik. Hots, «Gaza suntsitzen». Gogoratu du aste honetan Netanyahu atxilotzeko agindua emateko eskatu duela Nazioarteko Zigor Auzitegiko fiskalburuak: «Garbi dut Netanyahuk ez duela Palestinarako bake proiekturik». Hamasen aurka borroka egitea «beharrezkoa eta zilegi» dela esan du, baina Israel egiten ari den «suntsiketa» kritikatu du. «Israel egiten ari den erasoaldiak gorrotoa betikotzea besterik ez du eragingo, eta hori ezin da onartu».\n\nHiru herrialde europarren erabakiak askotariko erreakzioak izan ditu. Espero bezala, Israel haserre agertu da, eta Palestina bakarrik ez, «Hamas ere» aitortzea leporatu die Norvegiari, Espainiari eta Irlandako Errepublikari. Bide beretik jo dute AEB Ameriketako Estatu Batuek, hots; Etxe Zuriak uste du Palestinaren aitortza «negoziazio batzuen ondorio» izan beharko litzatekeela, eta ez «alde bateko» erabaki bat. Ekialde Hurbileko beste zenbait herrialdek, ordea, emandako pausoa txalotu dute, hala nola Saudi Arabiak, Qatarrek eta Jordaniak.\n\nAitortza sinbolikoa\n\nInplikazio praktikoak eta juridikoak baino, aitortzak gehiago ditu konnotazio sinbolikoak. Aitortza juridikoki praktikoa izateko, ezinbestekoa litzateke Palestinaren mugak zehaztuta izatea, eta aitortutako gobernu bat agintean izatea; gaur egun, PAN Palestinako Aginte Nazionalak agintzen du Zisjordanian, eta Hamasek Gazan, nahiz eta nazioarteak ez duen azken horren agintaritza aitortzen. Halere, urrats garrantzitsua da.\n\nMahmud Abbas PANeko presidenteak erabakia txalotu du, eta, haren ustez, lagunduko du herri palestinarraren autodeterminazio eskubidea finkatzeko eta bi estatuen irtenbiderako neurriak hartzeko. «Munduko herrialde guztiei, batez ere europarrei, eskatzen diegu Palestinako Estatua onar dezatela, nazioartean onartutako bi estaturen irtenbidearekin bat etorriz».\n\nPAE Palestina Askatzeko Erakundearen idazkari nagusi Hussein Al-Xeikhk esan du «abagune historikoa» dela hamarkada luzeetako palestinarren «borroka nazionalaren, sufrimenduaren, minaren, okupazioaren, arrazakeriaren, hilketaren, zapalkuntzaren, abusuaren eta suntsipenaren» ostean: «Hau da eskualdeko egonkortasuna, segurtasuna eta bakea lortzeko bidea». Arabiar Ligak ere «esker onez» hartu du iragarpena, eta Ahmed Abulgeit erakundeko idazkari nagusiak esan du hiru herrialdeak gatazkaren historiaren «alde egokian» jarri direla. Nazioarteko komunitateko gainerako herrialdeei eredu hori jarraitzeko eskatu die, «printzipio eta ausardia» urrats bat delakoan.\n\nHamasek ere hartu du hitza, eta komunikatu baten bidez, «urrats garrantzitsua» dela adierazi du. Era berean, gainerako herrialdeei dei egin die «eskubide nazional legitimoak aitortzeko, Palestinako herriak askapenaren eta independentziaren alde duen kausa babesteko eta okupazio sionista amaitzeko».\n\nEuropako gainerako herrialdeekin ere harremanetan izan direla azaldu dute Norvegiak, Irlandako Errepublikak eta Espainiak, eta asteon horietako batzuek ere Palestinako Estatua aitortuko dute. Hori espero du Sanchezek: «Espero dugu Mendebaldeko herrialdeek ere bide hori hartzea. Segituko dugu nazioarteko komunitatea presionatzen eta Palestina babesten».\n\nHain zuzen, herrialde batzuk hasi dira haien asmoak iragartzen. Esloveniako Gobernuak adierazi du laster egingo duela bat Palestinaren errekonozimenduarekin. Frantziak, berriz, esan du «abagune egokian» egin behar dela aitortza, «erabakigarria» izan dadin. Stephane Sejourne Atzerri ministroaren hitzetan, Palestinaren aitortza ez da «tabua» Frantziarentzat. Maltak ere «momentu egokia iristen denean» errekonozituko du.\n\nOraingoz, Nazio Batuen Erakundeko 140 herrialde inguruk errekonozitzen dute Palestinako Estatua, eta Europan, zehazki, zortzik: Bulgariak, Poloniak, Txekiar Errepublikak, Errumaniak, Eslovakiak, Hungariak, Ziprek eta Suediak. Datorren astean batuko zaizkie Espainia, Irlandako Errepublika eta Norvegia.\n\nSuediak 2014an egindako aitortzak eztabaida piztu zuen EBko estatu kideen artean, eta hainbat ganbera legegilek ebazpenak onartu zituzten, Palestina estatu gisa onartzeko eskatzeko asmoz beren gobernuei. Halaber, 2014ko abenduaren 17an Europako Parlamentuak bat egin zuen Palestinaren errekonozimendu aldarrikapenarekin, gehiengoa zuten talde politikoen ebazpen bateratu bat babestuta: aldeko 498 boto, kontrako 111 boto eta 88 abstentzio lortu zituen.\n\nEH Bilduk adierazpen politikotik harago egitera deitu du\n\nVSona handikoa izan da hiru herrialdeek hartutako erabakia, eta Euskal Herriko zenbait alderdi politiko ere mintzatu dira horren inguruan. Kasurako, EH Bilduk Espainiako Diputatuen Kongresuan duen eledun Mertxe Aizpuruak gobernuak hartutako erabakia babestu du, baina adierazi du adierazpen politikoa baino «zerbait gehiago» behar dela. «Albiste ona da. Palestinako herria hamarkadetan ari da hori eskatzen, eta estatu honek oraindik ez zion kasurik egin. Gustatuko litzaiguke errekonozimendu hau askoz lehenago iritsi izana, horretarako sarraski bat gertatu behar izan gabe». Neurriak hartzeko exijitu du; horien artean, Israelekin harreman ekonomiko eta politikoak etetea.\n\nAitor Esteban EAJko eledunaren ustez, berriz, nahiz eta aitortza sinbolikoa izan, balioko du Israel ohartarazteko: «Israeli laster iritsiko zaio ispiluan begiratzeko ordua, eta ez zaio gustatuko ikusiko duena».',
'Belateko tunelak itxiko dituzte abuztuaren 19tik urriaren 31ra\n\nEgilea: Haize Oiartzabal Aizpuru / Data: 2024-08-13\n\nNafarroako Gobernuak Belateko eta Almandozko tunelak itxiko ditu abuztuaren 19tik urriaren 31ra, N-121-A errepidean tunela bikoizteko lanak direla eta. Bi hilabete eta erdi horietan, trafikoa NA-1210 errepidetik desbideratuko dute. Alternatiba gisa, ibilgailu astunei gomendatu diete A-15 eta AP-15 errepideetatik joateko. Mozketak Baztango eta Ultzamaldeko bizilagunei eraginen die, batik bat.\n\nBelateko tunela bikoizten ari dira, Europako araudiak eskatzen duen moduan. Aditzera eman dutenez, tunelaren hegoaldeko ahoan lanak aitzin doazelako itxiko dituzte bi igarobideak. Zehazki, hegoaldeko isurialdean eta ahoan egin beharreko lur erauzketen harira hartu dute erabakia. Lanek 45 hilabete iraunen dutela aurreikusten da; hau da, 2028ko amaierara arte iraungo dute.\n\nErrepidea moztuta, Belateko portua igo beharko dute ibilgailuek. Horrek erran nahi du bidaia hamar minutu luzatzea eta lau bat kilometro gehiago egitea. Hemeretzi kilometro ditu mendateak, eta arras aldapatsua da. Gainera, errepidea estuagoa da, eta bihurgune itxiak ditu.\n\nEzpondaren indusketa egin aitzineko bibrazioen azterketen emaitzak ezagutu eta aztertu ondoren hartu dute zirkulazioa eteteko neurria. Lurra oso zatituta dagoela ondorioztatu dute, lanen zuzendaritzak eta lanean ari diren enpresek idatzitako txosten tekniko batean; beraz, lur erauzketa lanek iraun bitartean errepideko zirkulazioa eten behar dela adierazi dute, gidarien eta langileen segurtasuna bermatzeko. Izan ere, indusketak N-121-A errepidearen ondoko mendi hegalean egiten ari dira.\n\nOscar Txibite Lurralde Kohesiorako kontseilariak gaur goizean jakinarazi dizkie itxieraren behin betiko datak eta lanaren xehetasunak Baztan-Bidasoa eskualdeko alkateei, Baztango Udalean egindako bileran: «Helburua segurtasuna zaintzea, lanak arintzea eta Belateko tunela bikoizteko obrek eragindako eragozpenak gutxitzea da, hogei urteko aldarrikapenen ondoren, martxan baitaude».\n\nTunela aldi baterako itxita, luiziak gertatzeko arriskua txikitu nahi dute, gobernuaren esanetan; gainera, «garraioaren plangintza» hobetuko dela eta lanen denbora murriztuko dela esan dute. Oscar Txibitek zehaztu du lanak egiteko epea «hiruzpalau hilabete inguru» laburtuko dela, itxierarekin.\n\nBelateko tunelak bikoizteak azken urteotako Nafarroako lan publikoen proiektu «garrantzitsu eta handizaleenetako» bat martxan paratzea dakarrela adierazi du Txibitek. «Eskaera historiko bati erantzuten dio, eta agerian uzten du Nafarroako Gobernuak bide segurtasunarekin duen konpromisoa, foru erkidegoa Europarekin lotzen duen errepideetako batean».\n\nNafarroako Gobernuak tunela bikoizteko lanak adjudikatu zizkien Acciona Construccion SA, Excavaciones Fermin Oses SM eta Servinabar 2000 SM enpresei, 62,9 milioi eurotan, BEZ balio erantsiaren zerga aparte.\n\nTunel berriaren neurriak\n\nBelateko tunel berria hegoalderako noranzkoan —Iruñerakoan— erabiliko da. Noranzko bakarreko bidea bihurtuta, tunel bakoitzetik igaroko den ibilgailu kopurua murriztu egingo dela azaldu du kontseilariak.\n\n2,9 kilometro luze izanen da, egungo galeriak duenaren antzekoa. Horrez gain, larrialdietarako bortz galeria eraikiko dituzte, 500 metrotik behin egungo tunelarekin lotzeko. Horrela, «erantzuteko gaitasun handiagoa eta esku hartze arinagoa» bermatuko dela erran du Txibitek.\n\nBertzalde, tunel berriko bi erreietako bakoitza 3,5 metro zabal izanen da. Bazterbidea hiru metrokoa izanen da eskuineko aldean, eta metro batekoa ezkerreko aldean. Galtzadaren alde bietan 0,75 metroko bi espaloi eginen dituzte. Gainera, hamazazpi haizagailuko aireztapen sistema bat edukiko du, 30 megawatt-etik gorako sute posibleei aurre egiteko asmoz ingurumen mailari eutsi eta kea ateratzeko.\n\nTunelaren kanpoaldeari dagokionez, lau semaforo, ixteko bi hesi eta mezularitza panel bat paratuko dituzte. Barrualdea, berriz, erreiari kalte egiteko hamasei panelekin, abiadura mugatzeko bertze hamaseirekin, hamasei semafororekin, bi mezularitza panelekin eta seinaleztapen fotoluminiszente batekin hornituko du',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7427, 0.0414],
# [0.7427, 1.0000, 0.0826],
# [0.0414, 0.0826, 1.0000]])
berria-v2-ftTripletEvaluator| Metric | Value |
|---|---|
| cosine_accuracy | 0.8115 |
anchor and positive| anchor | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| anchor | positive |
|---|---|
Zenbateko aldea dago EITBko ETB2 eta ETB1 telebista kateen arteko gastuetan 2025ean, funtzionamendu eta pertsonal gastuak kontuan hartuta? |
EITBk 218,6 milioi euroko aurrekontua izango du 2025ean, aurten baino 6,7 milioi handiagoa |
Zein desberdintasun egon zen Catherine Grisen —Marine Le Penen kabineteburu ohiaren— Europako Parlamentuan eta alderdiaren egoitzan egindako lan-ordutegien artean, akusazioaren arabera? |
Hasi da Europako Parlamentuko funtsak desbideratzeagatik Le Peni egingo dioten epaiketa |
Zergatik eskatu du barkamena Pello Reparazek Zetak taldearen kontzertuen sarreren online salmentagatik? |
Zetak taldeak bitan beteko du Illunbe irailean, eta hirugarren saioko sarrerak baino ez daude jada |
MultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim",
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0
}
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
Zeintzuk dira estrategia feminista independentistak iaz nabarmendutako hiru erronka nagusiak? |
Sobran al daukagu Martxoaren 8a? |
«Inoiz ez dut piezarik egin bere ederragatik; beti ikertu dut jatorria» |
Zeintzuk dira estrategia feminista independentistak iaz nabarmendutako hiru erronka nagusiak? |
Sobran al daukagu Martxoaren 8a? |
Ongi etorriak eta ongi joanak izan zaitezte |
Zeintzuk dira estrategia feminista independentistak iaz nabarmendutako hiru erronka nagusiak? |
Sobran al daukagu Martxoaren 8a? |
Egindakoa gizarteratzeko ordua |
MultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim",
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0
}
per_device_train_batch_size: 64learning_rate: 2e-05warmup_steps: 0.1eval_strategy: epochper_device_eval_batch_size: 64batch_sampler: no_duplicatesper_device_train_batch_size: 64num_train_epochs: 3max_steps: -1learning_rate: 2e-05lr_scheduler_type: linearlr_scheduler_kwargs: Nonewarmup_steps: 0.1optim: adamw_torch_fusedoptim_args: Noneweight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08optim_target_modules: Nonegradient_accumulation_steps: 1average_tokens_across_devices: Truemax_grad_norm: 1.0label_smoothing_factor: 0.0bf16: Falsefp16: Falsebf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Nonetorch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneuse_liger_kernel: Falseliger_kernel_config: Noneuse_cache: Falseneftune_noise_alpha: Nonetorch_empty_cache_steps: Noneauto_find_batch_size: Falselog_on_each_node: Truelogging_nan_inf_filter: Trueinclude_num_input_tokens_seen: nolog_level: passivelog_level_replica: warningdisable_tqdm: Falseproject: huggingfacetrackio_space_id: trackioeval_strategy: epochper_device_eval_batch_size: 64prediction_loss_only: Trueeval_on_start: Falseeval_do_concat_batches: Trueeval_use_gather_object: Falseeval_accumulation_steps: Noneinclude_for_metrics: []batch_eval_metrics: Falsesave_only_model: Falsesave_on_each_node: Falseenable_jit_checkpoint: Falsepush_to_hub: Falsehub_private_repo: Nonehub_model_id: Nonehub_strategy: every_savehub_always_push: Falsehub_revision: Noneload_best_model_at_end: Falseignore_data_skip: Falserestore_callback_states_from_checkpoint: Falsefull_determinism: Falseseed: 42data_seed: Noneuse_cpu: Falseaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedataloader_drop_last: Falsedataloader_num_workers: 0dataloader_pin_memory: Truedataloader_persistent_workers: Falsedataloader_prefetch_factor: Noneremove_unused_columns: Truelabel_names: Nonetrain_sampling_strategy: randomlength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falseddp_backend: Noneddp_timeout: 1800fsdp: []fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}deepspeed: Nonedebug: []skip_memory_metrics: Truedo_predict: Falseresume_from_checkpoint: Nonewarmup_ratio: Nonelocal_rank: -1prompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | berria-v2-ft_cosine_accuracy |
|---|---|---|---|---|
| 0.6418 | 500 | 0.4059 | - | - |
| 1.0 | 779 | - | 0.9235 | 0.8000 |
| 1.2837 | 1000 | 0.1434 | - | - |
| 1.9255 | 1500 | 0.1001 | - | - |
| 2.0 | 1558 | - | 0.8740 | 0.8059 |
| 2.5674 | 2000 | 0.0633 | - | - |
| 3.0 | 2337 | - | 0.8714 | 0.8115 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{oord2019representationlearningcontrastivepredictive,
title={Representation Learning with Contrastive Predictive Coding},
author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
year={2019},
eprint={1807.03748},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/1807.03748},
}
Base model
intfloat/multilingual-e5-large